至顶网软件频道消息:前不久iPhone Xs发布会上,A12凭借超强机器学习能力再次吸睛。虽然芯片上的超强迭代极大提升手机性能,但对于iPhone用户而言,搭载A12能获得更优质的图像是更为深刻的体验。比如 “Smart HDR”能让照片高光和阴影的细节更丰富出色; iPhone Xs的景深摄像头,能针对焦外作出优化,拍完照片后再调整景深,形成精美的人像照片等等。
事实上,以iPhone等代表的智能终端出现,一直在推动视频和图片等图像技术由高清向超高清演进。为满足人们对高品质信息的需求,内容平台企业一直积极探索新技术,但仍面临诸多问题。首先,目前网络上传输的图片尺寸与用户屏幕尺寸不匹配,当低质量图片在高分辨率屏幕下展示时,会引起视觉效果的损失。其次,网络上的图片经过层层压缩,内容平台企业难以从网络上获取到高清高质量的图片。第三,随着业务的发展,而提升图像质量提升势必会引起带宽成本的提升,高额的带宽成本的提升不可忽略。
为此,金山云推出让图片变清晰的“神器”—— KIE(Kingsoft Image &AI Enhancement),它基于AI技术对画质进行重建增强,为用户带来超清的图像视觉体验。除了支持移动端,还新增服务端方案,以支持更多应用场景,让画质更清晰。
服务端图片处理 一种更高清的实现方式
金山云KIE服务端解决方案,是在服务端,利用超分辨率和画质修复等技术,修复图像的噪点、马赛克等损失,并重构图像的局部与细节,大大提升用户的观看体验。与移动端处理方式不同的是,服务端方案以计算能力更高的服务器为载体,并通过分层多模型处理,来实现图片画质的优化和增强。
从左至右分别是原图、KIE移动端方案、KIE服务端方案
不仅如此,服务端解决方案具备更强的画质增强能力。在网络结构方面, 服务端的KIE模型采用了DenseNet和倒残差网络结构,通过特征图的升维(信息冗余)和降维,可以让网络自动寻找起主要作用的特征信息。为了进一步提升服务端模型的效果,该网络中巧妙的堆叠了更多的基础构建块,网络深度达到50层之多,在训练时通过采用学习率自适应衰减技术,可进一步缩短训练时间,提高拟合精度。在训练数据方面,在原数据集的基础上,又对部分场景进行了数据补充,进而达到更好的效果。
可以说,金山云KIE服务端解决方案具备更深层的网络结构,因而在去噪、平滑等方面均能达到更好的效果,可以给用户带来更清晰、干净的视觉体验。经主观评测,目前服务端方案处理的有效率可达95%以上。在人物类、文字类、静物类等具体场景,服务端方案均有较好的优化效果。
更多场景覆盖 让企业“一劳永逸”
一般来说,在移动端的画质增强是将分发至手机上的图片做实时渲染。可由于手机的计算能力有限,且不同终端的计算能力差别较大,移动端方案的应用场景和处理效果受到诸多限制。
为此,相比于要考虑不同终端的性能配置,在服务端进行图片处理则更显”便捷”,它可直接将处理好的高质量图片分发至用户,而不用考虑不同终端的差异化,可以做到一次优化,N处适配,真正做到一劳永逸。目前,KIE服务端解决方案可以覆盖到各类图片场景,可对新闻资讯类插图、浏览器feed流图片、社交平台图片、长/短视频封面、直播封面、老照片、Gif动图等进行优化。
采用KIE解决方案图片细节对比
从左至右分别是原图、KIE移动端方案、KIE服务端方案
值得一提的是,金山云KIE服务端解决方案支持私有化部署和云服务两种方式,前者拥有简单易操作的部署方案,并能以接口的方式供客户在本地服务器上调用,无需做资源迁移。而云服务方案则可以直接在云上对客户图片进行画质增强处理,操作简单,且不需客户维护本地服务器,极大提高效率!
好文章,需要你的鼓励
这项由加州大学圣地亚哥分校和微软研究院合作开发的REAL框架,通过程序分析反馈训练大型语言模型生成高质量代码。与传统方法不同,REAL采用强化学习将代码安全性和可维护性作为奖励信号,不依赖人工标注或特定规则。研究在多个数据集上的实验表明,REAL在保证功能正确性的同时显著提高了代码质量,有效解决了"即兴编程"中的安全漏洞和维护性问题,为AI辅助编程提供了新的范式。
加州大学伯克利分校与Meta FAIR研究团队开发了"Self-Challenging"框架,让大语言模型通过自己创建和解决任务来提升能力。该方法引入创新的"Code-as-Task"格式,包含指令、验证函数、示例解决方案和失败案例,确保生成的任务既可行又有挑战性。在工具计算、网页浏览、零售服务和航班预订四种环境测试中,仅使用自生成训练数据,Llama-3.1-8B模型性能提升了两倍多,证明AI可以通过自我挑战实现有效学习,减少对人类标注的依赖。
南洋理工大学与SenseTime Research合作提出了PoseFuse3D-KI,一种创新的人体中心关键帧插值框架。该方法将3D人体模型信息融入扩散过程,解决了现有技术在处理复杂人体动作时产生扭曲结果的问题。研究团队开发了专门的SMPL-X编码器直接从3D空间提取几何信息,并设计了融合网络将3D线索与2D姿态无缝整合。他们还构建了CHKI-Video数据集,包含2,614个视频片段及完整的人体标注。实验结果显示,PoseFuse3D-KI在PSNR上提升9%,LPIPS减少38%,显著超越现有方法。
这项研究提出了LongGuide算法,解决了大型语言模型在长文本生成任务中的局限性。研究团队发现,仅依靠上下文学习无法使模型充分掌握文本的语言和格式特性。LongGuide通过自动生成两种指导原则:度量指导原则和输出约束指导原则,显著提升了模型性能。在七种长文本生成任务中,该方法使开源和闭源模型的ROUGE-L评分平均提高约6%。LongGuide具有通用性强、易于学习、成本效益高等优点,为提升AI长文本生成能力提供了新方向。