Facebook开源强化学习工具包Horizon

Facebook开源了人工智能软件另一个重要的组成部分，旨在帮助开发者在其软件应用中构建“强化学习模型”。

从今天开始，开发者可以使用Facebook的Horizon软件工具包来构建可以通过反复试验和试错以学习执行特定计算任务的应用。

Facebook此前一直使用Horizon来执行很多任务，包括训练其系统以预测用户最有可能对哪些通知做出响应。例如，Horizon帮助Facebook了解某个用户更有对于他母亲的点赞做出回应，而不是在同一个帖子上互动的其他几十个人。因此，就会突出显示“妈妈”之类的内容，以便让用户做出反应。

Horizon还用于支持Facebook Messenger应用中的虚拟助理M为用户提供个性化建议。

强化学习是AI的一个子集，涉及到使用模拟环境来训练计算机程序执行特定任务。例如，Facebook还使用强化学习来决定向用户传输高清还是非高清的视频，具体取决于蜂窝连接强度甚至是位置等因素。因此，如果特定用户在地铁上信号较弱时，它可能就会发送占用带宽较低的视频。

Facebook并不是唯一一家使用强化学习的公司。作为Facebook在人工智能领域的主要竞争对手之一，Google也在使用强化学习技术来训练计算机玩中国围棋游戏，而无需人工输入。Google的AlphaGo后来在五场系列比赛中击败了现围棋世界冠军李世石。

Facebook工程师Jason Gauci、Edoardo Conti和Kittipat Virochsiri在一篇博客文章中解释说，通过强化学习，计算机可以根据其行为的结果获得奖励或惩罚。因此，就Facebook向用户发送通知这件事来说，每当发送给用户的通知得到了响应的时候，工程师都给予系统奖励。

但是，当通知未能引起用户响应的时候，系统会受到惩罚。随着时间的推移，系统 来说都是一项艰巨的任务，Constellation Research首席分析师兼副总裁Holger Mueller这样表示。他认为，此举将有助于推动采用和获得更多的关注，不过仍然存在很多挑战，因为Horizon是运行在Facebook的PyTorch机器学习框架上，而该框架正在努力跟上谷歌更受欢迎的TensorFlow的发展步伐。

Mueller说：“而且由于该平台没有这些专用的、特有的硬件，所以也引发了有关实施成本和总体拥有成本的问题。企业必须快速构建应用，因此他们倾向于选择集成的产品。尽管如此，这仍然是一个很好的举措，Facebook可以从PyTorch平台中实现更多用途、价值和差异化。”

Facebook称，Horizon是首个公开可用的强化学习软件，目前用户已经可以通过GitHub进行下载。