
北京时间2023年7月5日上午,2023全球数字经济大会主论坛在北京国家会议中心开幕。在探讨主题为:围绕AI大模型的未来格局的高端对话环节,昆仑万维科技股份有限公司CEO方汉先生分享了昆仑万维开发的AI大模型在B端和C端领域的应用前景。方汉表示,昆仑万维是从2020年开始做预训练大模型的研发,是国内最早走技术路线的企业之一。
在B端领域,方汉认为数据处理和收集是目前最主要的工作。他解释说,在进行大模型预训练时,需要将所有数学题的公式转换为文本格式,并附上解题过程。随后,这些数据被输入到模型中,以使大模型真正掌握人类解题的能力。对于金融、法律、能源等行业,方汉强调大模型企业的重要任务是协助将这些行业的专有数据转换为文本格式,因为大模型只能理解文本格式的数据,而图表和公式都需要转换成文字描述。
此外,方汉还强调需要记录各行各业的商业逻辑和技术逻辑,将所有逻辑文本化后输入到大模型中,以实现大模型在各行各业中的落地。他认为这是一项艰巨的任务,但相信所有从事大模型研发的企业都在紧锣密鼓地进行这项工作。
在C端领域,方汉指出用户主要使用大模型进行工作和娱乐。在工作方面,大模型可以助力个人信息处理。通过将全世界使用各种语言撰写的人类知识转化为中文,并提供给C端客户,大模型可以在各种办公、公文写作、程序编写和学习等领域提供卓越的辅助。在娱乐方面,方汉预计,在未来3-5年内,大模型将产生更多的端到端内容制作工具,彻底改变文学、音乐、漫画、动画、短视频、长视频和影视等行业的内容生产形式和流程。这将使更多人无门槛地进入内容创作领域,极大丰富人类的娱乐生活。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。