微软近日宣布对AI插件生态系统进行重大扩展,将采用和OpenAI ChatGPT相同的开放插件标准。
与此同时,微软还推出了一系列新的Copilot工具,这些应用使用生成式AI来帮助用户完成认知任务,例如编写销售宣传、做笔记或者生成图像。
在Microsoft Build 2023大会上宣布这些公告之后,微软也对Microsoft Azure云平台进行了一波以AI为中心的更新,旨在提高开发者的工作效率,帮助企业利用AI的力量达到自己的目的。
扩展的插件生态系统
两年前,微软在推出GitHub Copilot时引入了“AI支持的Copilot”这一概念,Copilot是一种帮助开发者编写代码的工具。从那时起,Copilot就成了微软Bing、Microsoft 365、Dynamics 365、Viva等服务的额外助手。今天,微软对这个生态系统进行扩展,将涵盖Power BI、Power Pages、Microsoft Fabric和Windows,同时还推出了工具帮助开发者构建他们自己的Copilot,其中包括一些新的插件,让Copilot能够通过与第三方软件和服务交互变得更有用。
在OpenAI推出ChatGPT插件,以及本月早些时候微软推出Bing插件之后,AI插件最近才成为现实,这些插件让ChatGPT和Bing Chat能够帮助用户执行各种任务,例如查找和预订餐厅。
微软在一篇博文中分享道:“从根本上说,插件就像是一座桥梁,可能是一个大型语言模型之间的桥梁,这种模型是根据互联网公共数据以及企业可能出于利益关系而私下保留的所有数据进行训练的。这种插件是让Copilot在回答企业员工的问题时访问这些文件的一座桥梁。”
现在,微软所有Copilot产品都采用了和OpenAI为ChatGPT创建的相同的开放插件标准。微软解释说,这样,任何与ChatGPT配合使用的插件也将与微软的Copilot相互兼容。
这也意味着开发者可以使用单一平台为ChatGPT、Bing Chat、Dynamics 365 Copilot、Windows Copilot等服务开发他们自己的插件,这样开发者就可以更轻松地构建各种体验,使用户能够使用自然语言与他们的应用进行交互,微软这样表示。
提高AI生产力和安全性
毫无疑问,AI是今年Build大会的重要主题之一,扩展的Copilot和插件生态系统之后,是一系列与Azure相关的AI增强功能,旨在帮助云客户提高生产力和内容安全性。
例如,现在已经处于预览状态的Azure OpenAI服务更新,将使客户更容易将自己的数据添加到使用GPT-4构建的模型中(GPT-4是Open AI打造的最先进的大型语言模型),其中包括一个新的预配置吞吐量SKU,具有专用的或者预留的容量和插件,可以更轻松地集成外部数据源。
与此同时,Azure AI Content Safety是一项新的服务,可以帮助企业创建更安全的在线环境和社区,提供旨在检测跨多种语言、文本和图像中仇恨言论和暴力、性或自我伤害内容的AI模型。微软解释说,任何令人反感的内容都将被标记上严重性分数,从而让人工审核员查看哪些内容需要紧急关注。
Azure AI Content Safety将集成各种产品,包括Azure OpenAI Service以及Azure Machine Learning提示流。微软表示,该产品将于6月1日上市。
其他更新还包括目前处于预览状态的Azure Cognitive Search,它带来了矢量搜索功能,让应用能够按概念和关键字存储、索引和搜索。微软表示,除此之外开发者还可以构建应用以自然语言的方式生成个性化响应、提供产品推荐、检测欺诈和识别数据模式。
Azure Cognitive Search for Language现在也处于预览阶段,将帮助开发者在其应用中以交互方式自定义语言技能,从而为那些希望使用大型语言模型的组织加快实现价值。
Document Translation in Language Studio已经上线,这是一项新功能,可以批量翻译文档,而目前处于预览状态的Power Automate Translator连接器则提供了简单的工作流程自动化,可以翻译来自多个云、本地环境或者是本地存储中的文本和文档。
将生成式AI投入运营
AI方面,微软宣布对机器学习操作平台Azure Machine Learning进行一系列更新,据称这些更新旨在让团队更容易将负责任的生成式AI模型投入运营。
Azure Machine Learning include Prompt Flow的更新包括即将推出预览版的Prompt Flow,为提示、评估和调整大型语言模型提供简化的体验,将使团队能够快速创建快速工作流,并将这些工作流连接到多个语言模型和数据源,使用工具来衡量其质量。
现在微软对基础模型的支持也可以预览了,微软提供了原生功能以利用Azure Machine Learning组件和管道从开源存储库中微调和部署基础模型。预览中的其他功能还包括,在Responsible AI仪表板中支持文本和图像数据,允许用户在训练和评估阶段评估使用非结构化数据构建的大型模型,以及“模型监控”功能,提供了用于跟踪生产中模型性能的工具以实现持续改进。
最后,微软宣布了各种其他更新,以支持Azure Machine Learning的大规模协作、治理和快速开发,包括托管功能库、Microsoft Purview连接器、托管网络隔离、支持DataRobot 9.0、Azure Machine Learning注册表以及Azure Container for PyTorch。
好文章,需要你的鼓励
邻里社交应用Nextdoor推出重新设计版本,新增本地新闻、实时警报和名为"Faves"的AI功能,用于发现本地商户和地点。该应用与3500家本地出版商合作提供新闻内容,通过Samdesk和Weather.com提供天气、交通、停电等实时警报。Faves功能利用15年邻里对话数据训练的大语言模型,为用户提供本地化AI推荐服务,帮助用户找到最佳餐厅、徒步地点等本地信息。
Skywork AI推出的第二代多模态推理模型R1V2,通过创新的混合强化学习方法,成功解决了AI"慢思考"策略在视觉推理中的挑战。该模型在保持强大推理能力的同时有效控制视觉幻觉,在多项权威测试中超越同类开源模型,某些指标甚至媲美商业产品,为开源AI发展树立了新标杆。
英国生物银行完成了世界上最大规模的全身成像项目,收集了10万名志愿者的超过10亿次扫描数据,用于研究人体衰老和疾病过程。该项目历时11年,每次扫描耗时5小时,投资6200万英镑。目前已有8万人的成像数据供全球研究人员使用,剩余数据将于年底前发布。项目已开发出能预测38种常见疾病的AI工具,并在心脏病、痴呆症和癌症诊断方面取得突破。
这项由北京大学等多所高校联合完成的研究,首次对OpenAI GPT-4o的图像生成能力进行了全面评估。研究团队设计了名为GPT-ImgEval的综合测试体系,从文本转图像、图像编辑和知识驱动创作三个维度评估GPT-4o,发现其在所有测试中都显著超越现有方法。研究还通过技术分析推断GPT-4o采用了自回归与扩散相结合的混合架构,并发现其生成图像仍可被现有检测工具有效识别,为AI图像生成领域提供了重要的评估基准和技术洞察。