至顶网软件频道消息:上周发表的《自然》(Nature)杂志刊载了IBM和麻省理工学院在量子计算机上实现机器学习的一些有趣的研究结果。
文章提及,在有些机器学习方面,量子计算机实际上比经典(即是说电子)计算机更具有一定的优势。
至于量子是否可以导致“杀手级应用程序”尚无定论。如果只是一些在量子计算中可以做而在经典计算中很难做到的东西是不足以成为杀手级应用程序的;必须是值得做的东西。
IBM旗下T.J. Watson研究中心的研究人员(包括Vojtech Havlícek、AntonioD.Córcoles、Kristan Temme、Abhinav Kandala、Jerry M. Chow和Jay M. Gambetta)与麻省理工学院理论物理中心的Aram W. Harrow合作撰写了《自然》杂志文章,题为“量子增强特征空间里的监督学习” (https://www.nature.com/articles/s41586-019-0980-2)。另外有一篇独立的补充材料文章 (https://static-content.springer.com/esm/art%3A10.1038%2Fs41586-019-0980-2/MediaObjects/41586_2019_980_MOESM1_ESM.pdf)也绝对值得一读。
Temme和Gambetta还撰写了一篇博客文章(https://www.ibm.com/blogs/research/2019/03/machine-learning-quantum- advantage/)。
以上的研究人员在IBM的“IBM Q”量子机器上运行了机器学习算法,而且他们是用两个量子比特(Qubits)完成的,因此是个现在就能用的实际系统,并不是要等十年后才可能上线的几十个量子比特。
IBM的双量子比特量子机将数据编成“特征映射”,用了两层Hadamard门及名为相位门的交织。(图:
IBM)。
研究人员用量子比特构建了一个分类器程序,该程序根据数据中的模式学习如何将数据分配到不同的类别。他们发现如果用两个 Hadamard门构建分类器就可以得到比传统计算机更复杂的功能。Hadamard门是一种类似于傅里叶变换的数据转换。
他们用的的机器学习并不是深度学习,而是传统上被称为“浅”网络的机器学习,他们用了 “支持向量机”或SVM的量子版,SVM是由Vladimir Vapnik在上世纪90年代提出的。
具单个权重“内核”的SVM将输入数据转换为“特征映射”后,数据可以被彻底分离并置放在不同的桶里。 Havlícek及其同事寻找的是在经典计算机上难以计算的特征映射。他们在文章里提到,他们发现一些所需要的特征映射,这些特征映射需要用到上面提到的多个Hadamard门。
问题是会不会有人想要极复杂的特征映射。深度学习领域多年来都是认为SVM方法和类似内核方法比诸如卷积神经网络(CNN)或递归神经网络( RNNs)等支持深度神经网络的的方法性能差一些。
蒙特利尔大学MILA学院的Yoshua Bengio及其同事在2013年的文章里提到,深层网络可表达成等级结构(https://arxiv.org/abs/1206.5538)。深度学习的全部意义在于,计算限制的约束迫使深度网络使用一个规则达到产生抽象的目的,从而导致有意义的普遍化。
正如Bengio在文章里写的,“我们可以用层次结构里的其他概念来描述我们周围的世界,这是一个有用的概念,层次结构里高层更抽象的概念可以用不那么抽象的概念来定义。”
机器学习的深度学习形式的智能来自限制。限制迫使抽象的分级,进而导致数据更复杂的表达方法。IBM研究人员也是在寻求构建表达的方法,只不过他们要构建的是一个非常难于计算的单一特征映射。
好文章,需要你的鼓励
这项由加州大学圣地亚哥分校和微软研究院合作开发的REAL框架,通过程序分析反馈训练大型语言模型生成高质量代码。与传统方法不同,REAL采用强化学习将代码安全性和可维护性作为奖励信号,不依赖人工标注或特定规则。研究在多个数据集上的实验表明,REAL在保证功能正确性的同时显著提高了代码质量,有效解决了"即兴编程"中的安全漏洞和维护性问题,为AI辅助编程提供了新的范式。
加州大学伯克利分校与Meta FAIR研究团队开发了"Self-Challenging"框架,让大语言模型通过自己创建和解决任务来提升能力。该方法引入创新的"Code-as-Task"格式,包含指令、验证函数、示例解决方案和失败案例,确保生成的任务既可行又有挑战性。在工具计算、网页浏览、零售服务和航班预订四种环境测试中,仅使用自生成训练数据,Llama-3.1-8B模型性能提升了两倍多,证明AI可以通过自我挑战实现有效学习,减少对人类标注的依赖。
南洋理工大学与SenseTime Research合作提出了PoseFuse3D-KI,一种创新的人体中心关键帧插值框架。该方法将3D人体模型信息融入扩散过程,解决了现有技术在处理复杂人体动作时产生扭曲结果的问题。研究团队开发了专门的SMPL-X编码器直接从3D空间提取几何信息,并设计了融合网络将3D线索与2D姿态无缝整合。他们还构建了CHKI-Video数据集,包含2,614个视频片段及完整的人体标注。实验结果显示,PoseFuse3D-KI在PSNR上提升9%,LPIPS减少38%,显著超越现有方法。
这项研究提出了LongGuide算法,解决了大型语言模型在长文本生成任务中的局限性。研究团队发现,仅依靠上下文学习无法使模型充分掌握文本的语言和格式特性。LongGuide通过自动生成两种指导原则:度量指导原则和输出约束指导原则,显著提升了模型性能。在七种长文本生成任务中,该方法使开源和闭源模型的ROUGE-L评分平均提高约6%。LongGuide具有通用性强、易于学习、成本效益高等优点,为提升AI长文本生成能力提供了新方向。