北京时间2023年7月5日上午,2023全球数字经济大会主论坛在北京国家会议中心开幕。在探讨主题为:围绕AI大模型的未来格局的高端对话环节,昆仑万维科技股份有限公司CEO方汉先生分享了昆仑万维开发的AI大模型在B端和C端领域的应用前景。方汉表示,昆仑万维是从2020年开始做预训练大模型的研发,是国内最早走技术路线的企业之一。
在B端领域,方汉认为数据处理和收集是目前最主要的工作。他解释说,在进行大模型预训练时,需要将所有数学题的公式转换为文本格式,并附上解题过程。随后,这些数据被输入到模型中,以使大模型真正掌握人类解题的能力。对于金融、法律、能源等行业,方汉强调大模型企业的重要任务是协助将这些行业的专有数据转换为文本格式,因为大模型只能理解文本格式的数据,而图表和公式都需要转换成文字描述。
此外,方汉还强调需要记录各行各业的商业逻辑和技术逻辑,将所有逻辑文本化后输入到大模型中,以实现大模型在各行各业中的落地。他认为这是一项艰巨的任务,但相信所有从事大模型研发的企业都在紧锣密鼓地进行这项工作。
在C端领域,方汉指出用户主要使用大模型进行工作和娱乐。在工作方面,大模型可以助力个人信息处理。通过将全世界使用各种语言撰写的人类知识转化为中文,并提供给C端客户,大模型可以在各种办公、公文写作、程序编写和学习等领域提供卓越的辅助。在娱乐方面,方汉预计,在未来3-5年内,大模型将产生更多的端到端内容制作工具,彻底改变文学、音乐、漫画、动画、短视频、长视频和影视等行业的内容生产形式和流程。这将使更多人无门槛地进入内容创作领域,极大丰富人类的娱乐生活。
好文章,需要你的鼓励
这项研究由浙江大学、复旦大学等机构联合完成,提出了ReVisual-R1模型,通过创新的三阶段训练方法显著提升了多模态大语言模型的推理能力。研究发现优化的纯文本冷启动训练、解决强化学习中的梯度停滞问题、以及分阶段训练策略是关键因素。ReVisual-R1在各类推理基准测试中超越了现有开源模型,甚至在某些任务上超过了商业模型,为多模态推理研究开辟了新途径。
这项研究提出了一种名为"批评式微调"的创新方法,证明仅使用一个问题的批评数据就能显著提升大语言模型的推理能力。研究团队对Qwen和Llama系列模型进行实验,发现这种方法在数学和逻辑推理任务上都取得了显著提升,平均提高15-16个百分点,而且只需要强化学习方法1/20的计算资源。这种简单高效的方法为释放预训练模型的潜在推理能力提供了新途径。
新加坡国立大学研究团队开发了名为IEAP的图像编辑框架,它通过将复杂编辑指令分解为简单原子操作序列解决了当前AI图像编辑的核心难题。研究发现当前模型在处理不改变图像布局的简单编辑时表现出色,但在需要改变图像结构时效果差。IEAP框架定义了五种基本操作,并利用思维链推理技术智能分解用户指令,实验证明其性能显著超越现有方法,尤其在处理复杂多步骤编辑时。
Character AI的研究者开发出TalkingMachines系统,通过自回归扩散模型实现实时音频驱动视频生成。研究将预训练视频模型转变为能进行FaceTime风格对话的虚拟形象系统。核心创新包括:将18B参数的图像到视频DiT模型改造为音频驱动系统、通过蒸馏实现无错误累积的无限长视频生成、优化工程设计降低延迟。系统可让多种风格的虚拟角色与人进行自然对话,嘴型与语音同步,为实时数字人交互技术开辟了新可能。