【YESLAB】Facebook发布新的深度学习框架

yeslab官方

Facebook发布新的深度学习框架

在人工智能（AI）的技术竞赛中有一支生命力旺盛的队伍，连著名的残差卷积网络的设计者都被它吸引，这支队伍就是Facebook。不论是从去年发布的自然语言处理框架PyText与强化学习平台Horizon，还是在今年一月份开放图像处理库Spectrum，所有的成绩都明确说明这支队伍想冲击AI技术界的No.1。然而就在本月，Facebook再放大招，发布了一个全新的深度学习框架，使数据科学家可以快速构建、复刻AI模型以及进行对比测试。你已经能够在Github上免费下载这个框架。

Github链接：github.com/facebookresearch/pythia

Pythia是在PyTorch机器学习框架之上构造的，主要用于视觉和语言任务，例如回答与视觉数据相关的问题并自动生成图像标签。它结合了Facebook AI Research在人工智能竞赛中的顶级技术，例如同时赢得VQA Challenge 2018和Vizwiz Challenge 2018的视觉和语言模型LoRRA（Look, Read, Reason & Answer）。这个预训练的模型可以很好地回答针对图像的提问，让AI能够横跨视觉与自然语言两个领域，效果如下图所示：

                              

想了解LoRRA模型的同学可以点击论文链接：https://arxiv.org/abs/1904.08920

Pythia还支持多数据集分布式训练，这意味着你可以同时训练多个语料库、图像库、视频库等。人类的智能是建立在对视觉、听觉、感觉等外在信息源的综合分析之上，AI迟早需要突破这一步，我们不能满足于仅拥有图像识别AI、自然语言处理AI、人机对话AI等，多模型融合是AI发展的趋势。Pythia也允许研究人员对算法底层进行调整，用户可以自定义损失函数、评价指标、训练过程和优化器等。

Facebook表示会有更多工具、数据集与模型在后续推出，目前Pythia的内置预训练模型如下表所示。

总之，这个框架旨在让开发与研究人员能投入更多精力用于原型设计与实验，加速人工智能应用及新算法的研究，并且为AI的多情景融入课题提供了更多思路，或许几个月后就会有更好的人机交互应用出现。当然，我们希望这类应用的创造者是学完Yeslab AI课程的你！

官网www.yeslab.net