最近,Amazon展示了基于人工智能的机器学习和计算机视觉算法与合成数据相结合的多种方式,以改进关键的零售自动化技术如Just Walk Out、Amazon One和Amazon Dash Cart。
近日,在美国拉斯维加斯举行的亚马逊re:MARS大会主题演讲中,Amazon实体零售和技术副总裁Dilip Kumar阐述了计算机视觉在实现这些技术方面所发挥的关键作用。例如,传感器、光学和机器视觉算法等领域的持续创新,让Just Walk Out(一种让购物者无需排队结账的技术)从中受益。
Kumar说,这些技术进步让Amazon能够减少Just Walk Out商店所需的摄像头数量,从而让他们更具成本效益,以及能够在本地运行各种算法。
“我们的传感器和算法已经发展到可以检测到各种商品,以及在大型百货商店购物行为上的差异,同时确保轻松的客户体验。当我们把Just Walk Out技术部署到第三方零售商那里的时候,我们还增加了算法所要考虑的环境多样性。”
与此同时,Amazon正在利用计算机视觉和传感器融合算法来扩展Dash Cart服务,该服务让顾客使用Amazon Fresh果蔬零售店购物的时候跳过收银台结账这一步骤。Kumar说,最重要的是,Amazon开发了更强大的算法,可以检测移动中的商品,并获取这些商品的重量和数量。
“机器视觉算法也有严格的延迟要求,因为我们需要实时地追踪客户的收据,”他补充说。
人工智能还有助于提供更好的客户推荐。例如,在Amazon的实体服装店Amazon Style,当顾客在店内扫描商品的时候,会收到一份根据这些商品提供的推荐商品列表。
“系统还会生成一些有互补性的选择,例如一件衬衫和一条牛仔裤,打造一套完整的搭配。我们竭尽全力确保购物的乐趣,同时通过机器学习算法提升体验。”
但是这一切都离不开合成数据。Kumar解释说,Amazon面临的挑战是,缺乏训练这些算法所需的多样化训练数据。为了解决这个问题,Amazon的研究人员开始着手构建大量合成数据或者由机器生成的逼真数据,可被用于对算法进行完善。
Kumar表示,就Just Walk Out来说,Amazon必须构建合成数据集来模拟真实的购物场景,例如,生成合成数据来模拟照明条件的变化,以分析各个商店的日光差异。此外,Amazon还合成了一些虚拟顾客,用于让算法学习如何同时应对众多顾客。
Amazon甚至利用合成数据生成掌纹来训练Amazon One,一种让人们使用手掌掌纹就可以在商店付款或者进入到某个实体位置所使用的服务。Kumar解释说,真正的掌纹很难获得,但Amazon需要对Amazon One的算法进行训练,来识别不同的人口统计、年龄组、温度、甚至是老茧和皱纹等变化,所以Amazon选择生成大量多样化的、逼真的合成手掌图像。
Amazon面临的最后一个挑战是,随着Amazon零售技术的不断升级,购物者的行为往往也会发生变化。Kumar解释说,Just Walk Out最初部署在规模较小的Amazon Go商店中,这些商店面积通常只有1800平方英尺,但后来被推广到规模更大、达到40000平方英尺或更大的商店。
这时候一个令人意想不到的挑战出现了,Amazon很快意识到顾客在这些商店里的行为是不同的。例如,在Amazon Fresh果蔬商店里,人们喜欢四处闲逛寻找最新鲜的商品,而在Amazon Go,顾客可能只购买一个三明治。同样地,把Just Walk Out技术扩展到旅游零售商和体育场馆等那里也带来了不同的挑战。
“所有这些情况都增加了算法的复杂性,我的团队将继续创新以满足客户和零售商的要求。” Kumar说。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。