微软团队,包括 TypeScript 创始人 Anders Heljsberg 在内,推出 TypeChat,旨在解决自然语言界面开发过程中面临的复杂问题。
发布新库的文章中表示,目前的 LLM(大语言模型的英文缩写)默认使用会话式自然语言,即诸如英语一类的人类交流时使用的语言。而解析自然语言是一项极其困难的任务。
TypeChat 基于 TypeScript 类型。TypeChat 库可以为 LLM(大语言模型)人工智能(如 OpenAI 的 ChatGPT)构建提示,要求LLM以符合类型的方式返回数据。如果回复未能通过验证,TypeChat会尝试通过进一步的交互进行修复。最终TypeChat 会对交互进行总结,以便在采取任何行动前进行确认。数据将以 JSON 格式传输,文档指出,由于“许多语言模型都擅长生成 JSON”。
微软团队提供的示例包括用户输入的情感分析、咖啡馆或餐厅的订餐、日历安排、数学计算以及在 Spotify 上播放音乐。
据称好处是准确性更高、编程更容易上手,另外,由于类型限制了人工智能的响应,因此安全性也更高一些。
OpenAI 几周前曾推出“新的Chat Completions API 中函数调用功能”。函数调用功能使得开发人员能够“在调用模型时通过 JSON 模式描述函数”,还可以令 LLM 输出一些带参数的 JSON 去调用这些函数。TypeChat 的想法并无不同,因为这意味着 LLM 的输出可以与开发人员的代码进行整合。
这样一来 TypeChat会不会是多余的呢?这个问题有人已经在 TypeChat 的 GitHub 仓库上提出过。但毫无疑问一部分的答案是,TypeChat旨在与任何 LLM 配合使用,而不仅仅是配合 OpenAI使用。尽管目前团队提供的所有示例都是在 OpenAI 或 Azure OpenAI 端点上运行,但考虑到微软与 OpenAI 的密切关系,这也就不足为奇了。
开发者的反应各不相同,有的说“迫不及待想试试 ”,也有的说“LLM就是专门生成自然语言输出,为什么我们要从这样的输出获取结构化输出呢?”另外其实已经有很多其他项目也是在解决同样的问题,尤其是微软自己的 Guidance 项目。
不过,TypeChat 的吸引力在于,数百万的开发者已经颇为熟悉TypeScript,而且TypeChat背后的团队包括 Hejlsberg 以及 TypeScript 高级项目经理 Daniel Rosenwasser、技术研究员 Steve Lucco 等资深人士。
真正的问题或许在于,到目前为止该项目带着浓厚的微软和 OpenAI 色彩,这可能会有碍于TypeChat团队希望的被厂商中立采用。
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。