微软团队,包括 TypeScript 创始人 Anders Heljsberg 在内,推出 TypeChat,旨在解决自然语言界面开发过程中面临的复杂问题。
发布新库的文章中表示,目前的 LLM(大语言模型的英文缩写)默认使用会话式自然语言,即诸如英语一类的人类交流时使用的语言。而解析自然语言是一项极其困难的任务。
TypeChat 基于 TypeScript 类型。TypeChat 库可以为 LLM(大语言模型)人工智能(如 OpenAI 的 ChatGPT)构建提示,要求LLM以符合类型的方式返回数据。如果回复未能通过验证,TypeChat会尝试通过进一步的交互进行修复。最终TypeChat 会对交互进行总结,以便在采取任何行动前进行确认。数据将以 JSON 格式传输,文档指出,由于“许多语言模型都擅长生成 JSON”。
微软团队提供的示例包括用户输入的情感分析、咖啡馆或餐厅的订餐、日历安排、数学计算以及在 Spotify 上播放音乐。
据称好处是准确性更高、编程更容易上手,另外,由于类型限制了人工智能的响应,因此安全性也更高一些。
OpenAI 几周前曾推出“新的Chat Completions API 中函数调用功能”。函数调用功能使得开发人员能够“在调用模型时通过 JSON 模式描述函数”,还可以令 LLM 输出一些带参数的 JSON 去调用这些函数。TypeChat 的想法并无不同,因为这意味着 LLM 的输出可以与开发人员的代码进行整合。
这样一来 TypeChat会不会是多余的呢?这个问题有人已经在 TypeChat 的 GitHub 仓库上提出过。但毫无疑问一部分的答案是,TypeChat旨在与任何 LLM 配合使用,而不仅仅是配合 OpenAI使用。尽管目前团队提供的所有示例都是在 OpenAI 或 Azure OpenAI 端点上运行,但考虑到微软与 OpenAI 的密切关系,这也就不足为奇了。
开发者的反应各不相同,有的说“迫不及待想试试 ”,也有的说“LLM就是专门生成自然语言输出,为什么我们要从这样的输出获取结构化输出呢?”另外其实已经有很多其他项目也是在解决同样的问题,尤其是微软自己的 Guidance 项目。
不过,TypeChat 的吸引力在于,数百万的开发者已经颇为熟悉TypeScript,而且TypeChat背后的团队包括 Hejlsberg 以及 TypeScript 高级项目经理 Daniel Rosenwasser、技术研究员 Steve Lucco 等资深人士。
真正的问题或许在于,到目前为止该项目带着浓厚的微软和 OpenAI 色彩,这可能会有碍于TypeChat团队希望的被厂商中立采用。
好文章,需要你的鼓励
这项研究针对现代文档检索系统中的关键缺陷:独立处理文档片段导致丢失上下文信息。研究团队开发了ConTEB基准测试来评估模型利用文档级上下文的能力,并提出了InSeNT方法,结合后期分块和创新的对比学习策略。实验表明,上下文感知嵌入显著提升检索性能,尤其在处理非自包含文本片段时,同时保持计算效率,对分块策略更具鲁棒性,并且在语料库规模扩大时表现更佳。这一研究为更智能的文档检索系统铺平了道路。
这项由布朗大学和Cohere实验室研究者联合进行的研究全面分析了大型语言模型(LLM)安全研究中的语言不平等现象。通过系统回顾近300篇2020-2024年间的安全相关论文,研究发现LLM安全研究严重偏向英语,即使中文这样的高资源语言也仅获得英语十分之一的研究关注,且这一差距正在扩大。研究还揭示非英语语言很少作为独立研究对象,且英语安全研究常忽略语言覆盖文档化。为解决这一问题,研究者提出了三个未来方向:开发文化敏感的评估基准、创建多语言安全训练数据,以及深入理解跨语言安全泛化挑战。
这项研究提出了ChARM,一种创新的角色扮演AI奖励建模框架,通过行为自适应边界和自我进化策略大幅提升AI角色的真实性和一致性。研究团队创建了包含1,108个角色的RoleplayPref数据集,实验表明ChARM比传统模型提高了13%的偏好排名准确率,应用于DPO技术后在多项基准测试中达到了领先水平。这一突破将为娱乐、教育和心理健康支持等领域带来更加自然、个性化的AI互动体验。
这篇研究重新审视了循环神经网络中的双线性状态转换机制,挑战了传统观点。高通AI研究团队证明,隐藏单元不仅是被动记忆存储,更是网络计算的积极参与者。研究建立了一个从实数对角线到完全双线性的模型层级,对应不同复杂度的状态跟踪任务。实验表明,双线性RNN能有效学习各种状态跟踪任务,甚至只需极少量训练数据。研究还发现,纯乘法交互比加法交互更有利于状态跟踪,为循环网络设计提供了新视角。