基准测试体系、风险管理体系、落地路线图……，中国信通院发布多项大模型重磅成果 原创

2023年12月24日，由中国信息通信研究院（以下简称“中国信通院”）主办、人工智能关键技术和应用评测工业和信息化部重点实验室协办的“2024中国信通院ICT深度观察报告会”人工智能伙伴分论坛在北京召开。

会上，中国信通院启动了“CAICT人工智能伙伴计划”，并对外发布了“方升”大模型基准测试体系、人工智能风险管理体系、大模型落地路线图1.0、2023大模型数据资源地图和治理路径等重磅成果。

中国信通院院长余晓晖在会上指出，新一轮人工智能发展浪潮已经呈现出了三方面态势：

一是通用人工智能前景初步呈现，大规模预训练模型已经展现出了强大的语言理解、知识计算和逻辑推理能力，对多模态、多任务的适应性也在不断增强；

二是人工智能融合应用不断提速，基于人工智能的感知识别、数据建模优化、知识推理决策等应用已经深度嵌入到了各个领域，从研发设计、生产制造、经营管理、客户服务，智能化的产品和服务不断推陈出新；

三是人工智能治理共识正在形成，人工智能技术快速发展将带来难以预知的潜在风险，各国从法律规范、技术标准、评估测试等方面，正在加强体系建设。

我国提出了《全球人工智能治理倡议》，全球各国人工智能治理进程也在不断提速，正在形成越来越多的共识。

会上，余晓晖院长还总结了中国信通院这些年在推动人工智能产业研究上做出的工作，这些工作包括以下五个方面：

第一，全方位支持了国家人工智能顶层设计，中国信通院牵头支撑了相关部委多个人工智能产业的政策文件，承接了新一代人工智能产业创新重点任务揭榜挂帅中的一些重大任务；

第二，全体系布局了人工智能相关研究，中国信通院发布了《可信人工智能白皮书》、《人工智能白皮书》等成果，牵头编制了19项国际标准和70多项行业标准；

第三，建设了国家级人工智能创新平台载体，包括人工智能领域的关键技术应用评测、工信部部重点实验室，与人工智能国家实验室联合建立了大模型测试验证与协同创新中心，2022年率先推出了大模型评估测试体系，为33家企业提供了数十项测试服务；

第四，推动了人工智能赋能新型工业化，持续深耕工业、通信、医疗、金融、政务、智能网联汽车等重点领域；

第五，构建了人工智能产业协作网络，中国信通院牵头成立了中国人工智能产业发展联盟，这一联盟的成员单位已经超过920家，中国信通院还举办了“兴智杯”全国人工智能创新应用大赛等活动，为产业界搭建了供需对接、产学研用合作的高水平合作平台。

会上，“CAICT人工智能伙伴计划”正式启动，中国信通院副院长、人工智能研究中心主任魏亮与20家合作伙伴的领导，共同参与启动仪式。

在成果发布环节，中国信通院与北京智源研究院、认知智能全国重点实验室、天津大学发布联合发布了大模型评测体系3.0暨“方升”大模型基准测试体系，首期合作伙伴包括首都之窗、国家电网、天津大学、中国联通、中国电信研究院、东方财富、华为、甲骨易、海天瑞声。

中国信通院人工智能研究中心平台与工程化部主任曹峰在会上指出，中国信通院早在2022年就已经制定了1.0版本的大模型评测体系，主要针对模型开发和模型能力两个维度进行评测，2023年，中国信通院大模型评测体系升级到了2.0版本，评测标准中增加了模型运营、模型应用、模型可信三个维度进行评测。

此次发布的“方升”大模型基准测试体系是基于此前2.0版本再次升级，主要围绕产业需求、能力补齐、方法落地三个方面进行了升级。

目前，“方升”体系涵盖测试指标、测试方法、测试数据集、测试工具等内容，已经形成首个《大规模预训练模型基准测试-总体技术要求》标准。测试指标重点强化行业和场景导向的能力的考查，首次提出了自适应动态测试方法，测试数据超过百万条，并首次推出面向行业、通用、应用、安全的评测数据集6个。

大模型评测体系是“人工智能关键技术和应用评测工业和信息化部重点实验室”的一项重要成果，目前已经为20多家大模型企业提供60多项测试服务。下一步，重点实验室将围绕复杂应用场景、高质量评测数据集和先进评测技术开展深入研究，并持续招募“方升”体系合作伙伴。

会上，中国信通院发布的第二项成果是“人工智能风险管理体系”。

“人工智能风险管理体系”结合前期研究积淀与产业实践积累，深化人工智能风险治理研究，提出了“风险管理”与“流程管理”深度融合的风险治理方案，实现了治理路径的更新升级。

据中国信通院人工智能研究中心安全与元宇宙部主任石霖介绍，具体在风险管理方面，提出了“智能程度”与“危害程度”程度相结合的风险分级思路，构建了“风险识别-风险定级-风险应对”的风险管理链路；流程管理方面，打通了“技术提供方、应用提供方、应用使用方”全链条风险管理链路，将风险治理理念及人工智能治理要求贯穿于人工智能各类活动的全流程，满足不同技术领域、不同业务规模的产业实践需要。

“人工智能风险管理体系”旨在打造成具有国际共识性和产业影响力的中国版人工智能风险管理方案。

会上，中国信通院还发布了“大模型落地路线图框架”和“2023大模型数据资源地图和治理路径”等成果。

其中，“大模型落地路线图框架”结合落地关键问题和行业实践经验，按现状诊断、能力建设、应用服务、运营管理等四个阶段，提出落地建议。

“2023大模型数据资源地图和治理路径”则是由中国信通院牵头，联合中国联通、交通银行、中科院文献情报中心等40余家单位共同编制，为高质量训练数据集的获取和治理提供参考。

党的二十大报告提出，要推动战略性新兴产业融合集群发展，构建新一代信息技术、人工智能、生物技术、新能源、新材料、高端装备、绿色环保等一批新的增长引擎。

与此同时，我国人工智能产业规模也在持续扩大，我国人工智能核心产业规模已经达到了5000亿元，企业数量超过4300家。

未来几年，人工智能发展将迎来关键窗口期，人工智能普遍应用也将深刻改变全球经济和社会发展格局。