2019年4月10日,阿克拉(Accra)万豪酒店里非洲第一个人工智能中心的一名工人站在谷歌人工智能中心(加纳)的横幅前。 (摄影:CRISTINA ALDEHUELA /法新社/Getty Images)
所谓的数据贴标者可以说是数字世界的建筑工人。非洲数据贴标者准备的信息是硅谷人工智能工作的重要组成部分。谷歌、微软、Salesforce和雅虎等公司用的是Samasource。而Samasource是一家美国公司,雇用肯尼亚一些最贫穷的科技工人来创建人工智能培训数据和图像信息。可以说,如果没有人类标签,人工智能就一无是处,那么,科技公司是否会继续拿捏好将成为全球经济中最具活力部分的离岸产业的尺度呢?
数据标签是机器学习的必要组成部分,这些公司显然有足够的动机使用世界上最低工资地区的工人。再加上2018年人工智能数据准备的市场已达5亿美元,据Cognilytic的资料,该市场预计到2023年底将达到12亿美元(https://www.cognilytica.com/2019/03/06/report-data-engineering-preparation-and-labeling-for-ai-2019/)。
Samasource公司给Kenyan AI数据贴标者(https://www.bbc.com/news/technology-46055595 )提供的“生活工资”为每天约9美元,CultureBanx(https://www.culturebanx .com / cbx-weekly-24/2019/5/26/google-amp-microsoft-banking-on-africas-ai-labeling-workforce)指出,Kenyan普通工人的工资为每天约3美元,但9美元对于大型科技公司而言仍然是小钱。这些公司要找美国数据标签专家在这个价位上做这种无聊、重复、永无止境的工作是很难的。这样的低工资工作不仅仅仅出现在非洲,东南亚也有。
微软的Mary Gary告诉记者,这些工人发挥的作用很重要,而经济学家们却没有办法解决市场定价的问题(https://www.axios.com/the-ai- sharecroppers-b316d333-ce00-47a1 -afd5-219d6138461e.html)。Gary表示, “我们一直把这种劳动定价为耐用货品,但它却是价值主张的集体智慧。”
大型科技公司提供这些代工的主要原因是,数据准备和工程任务消耗的时间占了大多数人工智能和机器学习项目的80%以上。时间就是金钱,这些公司自然不想付很多钱给重复贴标签的人。
就连英特尔的数据科学负责人Gary也指出,将这些职位外包是一种常见的做法,她表示,“常规的拥有适当数据科学领导地位的公司已经将数据科学家和数据工程师或数据贴标人之间区分开来,而且会经常聘请供应商进行数据注释工作。 ”
当人工智能按预期那样工作时,许多科技公司都会赞不绝口,但亮丽的外表必须有一个庞大的人工智能低工资劳动力基础支撑。这些低工资劳动力要上传图像,然后识别图里的人、动物、建筑物、汽车、其他标志甚至天空上的东西等等。在对数百万个图像执行了这种操作后,人工智能系统才可以开始在现实世界中识别这些对象。
人类不会很快从人工智能圈子里数据标记和人工智能质量控制这一块消失。而这些非洲工人正在帮助创建的技术要用在他们所居住的社区也还需要一段时间。这些劳动力中的许多人常常生活在贫困线以下,他们将继续为新型的、关乎人工智能数据支持的蓝领产业加油出力。
好文章,需要你的鼓励
这篇研究论文介绍了"Speechless",一种创新方法,可以在不使用实际语音数据的情况下训练语音指令模型,特别适用于越南语等低资源语言。研究团队通过将文本指令转换为语义表示,绕过了对高质量文本转语音(TTS)系统的依赖。该方法分三个阶段:首先训练量化器将语音转为语义标记;然后训练Speechless模型将文本转为这些标记;最后用生成的合成数据微调大型语言模型。实验表明,该方法在越南语ASR任务中表现出色,为低资源语言的语音助手开发提供了经济高效的解决方案。
《Transformer Copilot》论文提出了一种革命性的大语言模型微调框架,通过系统记录和利用模型训练过程中的"错误日志"来提升推理性能。研究团队受人类学习者记录和反思错误的启发,设计了一个"副驾驶"模型来辅助原始"驾驶员"模型,通过学习错误模式并在推理时校正输出。这一方法在12个基准测试上使模型性能提升高达34.5%,同时保持计算开销最小,展现了强大的可扩展性和可迁移性,为大语言模型的优化提供了全新思路。
德克萨斯大学Austin分校的研究团队提出了RIPT-VLA,一种创新的视觉-语言-动作模型后训练范式。该方法通过让AI模型与环境互动并仅接收简单的成功/失败反馈来学习,无需复杂的奖励函数或价值模型。实验证明,RIPT-VLA能显著提升现有模型性能,在轻量级QueST模型上平均提升21.2%,将大型OpenVLA-OFT模型推至97.5%的前所未有成功率。最令人惊叹的是,仅用一个示范样本,它就能将几乎不可用的模型在15次迭代内从4%提升至97%的成功率,展现出卓越的数据效率和适应能力。
北京大学与华为诺亚方舟实验室研究团队共同开发了TIME基准,这是首个专为评估大语言模型在真实世界场景中的时间推理能力而设计的多层级基准。该研究提出了三个层级的时间推理框架,包含11个细粒度任务,并构建了涵盖38,522个问答对的数据集,针对知识密集型信息、快速变化的事件动态和社交互动中的复杂时间依赖性三大现实挑战。实验结果表明,即使是先进模型在构建时间线和理解复杂时间关系方面仍面临显著挑战,而测试时扩展技术可明显提升时间逻辑推理能力。