元宇宙这盘棋，扎克伯格用AI技术下

大浪淘沙知金贵，随着新冠疫情这只黑天鹅对全球经济的打破与重塑，以往凭借“科创”一词便能在市场安稳成长的日子一去不复返，是金子还是沙砾都被长达三年之久的疫情给分得明明白白。

据悉，2月24日凌晨一点，扎克伯格举办了一场名为“元宇宙里的AI”的活动，活动中扎克伯格讲述了了Meta在AI领域的技术布局，这也是扎克伯格2022年首次谈及Meta将在语音翻译、AI创造以及语音助手等领域重点发力。

活动中，Meta宣布研发一款为每个人定制的翻译软件，研究人员通过构建高级的AI模型和一款适用所有语言的翻译器，希望能在“元宇宙”中打造一个无障碍交流的空间。

Meta计划研发一款新的AI系统BuilderBot，你在虚拟世界中说什么，AI就能给你展现对应的画面，不仅如此，Meta新推出了CAIRaoke项目，研发人员开发了一个端到端的神经模型，它可以提供与人们进行更多的交流，可以比以前简单对话的层面更深一步，能够理解人们说话的语境。

最新财报显示，Meta旗下的“元宇宙”的Reality Labs部门2021年亏损102亿美元。扎克伯格的AI大招，救得了众人都不看好的元宇宙吗？

Meta 2021 年股价变化图

01、Meta将发力语音翻译和语音助手

MetaCEO扎克伯格谈到，现在多数AI研究的重点是如何让AI更好地理解现实世界，但在未来，AI需要帮助人们在现实世界和虚拟世界都能实现导航等功能。并且由于虚拟世界总是在发生变化，AI应该像人类一样拥有理解环境和学习的能力。

Meta CEO 扎克伯格

扎克伯格介绍了AI在语音翻译、语音助手以及AI创造领域的应用，扎克伯格表示Meta正在打造“万能”的翻译对话软件项目，在去年十月的活动中，Meta AI宣布将打造一款翻译工具，该项目将分为两个部分推进。第一部分是覆盖全语种，Meta正在构建一个新的高级AI模型，该模型可以从需要训练的示例更少的语言中学习，然后实现数百种语言的专家级翻译。第二部分是打造通用语言翻译器，研究人员正在设计一些新方法，希望能将一种语言的语音实时翻译成另一种语言。

02、为元宇宙打造AI模型，Meta 打造多款触摸传感器

Meta的AI研究人员多年来一直在讨论如何建立一个丰富的、具有代表性的模型。并且这款新的模型不仅现在能够实现预测，还可以适用于未来。FacebookAIResearch的总经理Joelle Pineau说：“我们希望模型可以进行长期规划和推理，以便未来在现实世界和虚拟世界中都能做好AI代理。

FacebookAIResearch 的总经理Joelle Pineau

此外，她还向大家介绍几个Meta正在重点研究的方向，其中有一款是“机器人”。“它可以突破实验室或工厂等固定场景的限制。并且能够在家中、在办公室流畅地操作，自然地与人类交互。”Joelle Pineau 介绍道，“但我们同样需要机器人自己可以触摸等方式提高感知世界的能力。”

为此，Meta一直在研发新的触摸传感器。Meta正在与其他研究人员合作打造一款新的传感器，目前该传感器正处在原型阶段。与其他传感器不同的是，该触摸传感器的外层会有一层薄薄的膜，膜上嵌有磁性颗粒。当触摸传感器变形时，磁信号就会改变。通过这些变化，AI技术可以推断接触点施加力的大小，甚至能使用自我监督学习模型来自动校准传感器，使其更适用于各种场景。

触摸传感器

不仅如此，Meta还与其他研发机构合作开发的另一种数字传感器。该传感器的表面由可变形弹性材料组成，能够通过传感器内摄像头记录的图像变化来感受力的变化。

数字传感器

Joelle Pineau也提到，虚拟世界与真实世界之间仍有很大差距，要建立一个可靠的世界模型还有很多工作要做。尤其是，从简单的物体到人的全身运动都能实时呈现高分辨率的虚拟环境。在演讲中，她还宣布Meta的研究人员与Instagram的研究团队合作，计划发布一个名为Instagram Feed Ranking的原型系统。

03、打造“万能”翻译器，还支持百种语言自动标注

机器翻译专家Angela Fan认为，语言是我们用来理解与周围世界互动的主要途径之一。她介绍自己在加拿大生活以及在巴黎工作时，常常感受到语言障碍带来的深远影响。基于这些语音沟通壁垒，Meta希望每个人都能感受到最新的翻译技术，“我们希望所有未来的技术在默认情况下都是具有包容性的。”

据预测，全球大约有20亿人说的母语没有任何可用的翻译系统。并且，全球有数千种语言，但翻译系统如今只支持大约100种语言。如何创建真正适合每个人的翻译系统是Meta一直在思考的问题。

Angela Fan认为，创建更具包容性的翻译的第一步是开发能够支持多种语言的系统。“我们要是想要实现多语种翻译，我们就需要必须为每一个语言方向创建一个单独的模型，这样一来，我们就要创建数万个模型，这是一件非常复杂的事情。”

为了解决这一难题，Meta尝试根据不同的语言体系来加强模型的训练能力。比如说，罗曼什语作为一个小众语种，会与其他语言体系有共同点，语种之间的联系将会简化语言模型的开发过程。

“最近，我们在两个顶级翻译比赛中获胜。”她讲到，“我们证明了多语种系统确实比双语系统更好，通过增加模型大小，例如通过生成更多培训数据和缩小翻译规模，我们证明了多语种翻译是一个非常有前途的发展方向。”

除此之外，Meta还可以自动创建一些翻译数据的示例，而无须雇用人员手动翻译大量数据。目前，Meta已经支持一百多种语言实现自动创建数据集，并且部分数据集开源。

04、Meta计划打造超级语音助手，连续决策成AI交互关键

Meta AI的高级研究经理Alborz Geramifard谈到语音交互助手时表示，Meta旗下的语音交互助手是一种自监督学习的语音处理方案XLS-$，其特点是可识别128种语言，实现语音识别、语言识别、语音翻译等功能。他表示，Meta希望将语音识别技术与未来的虚拟技术结合，交谈是人与人互动的自然方式，而语音技术可以让我们与设备和虚拟系统互动，让虚拟体验与物理世界更加融为一体。

据悉，Meta号称训练XLS-R采用的公共数据是其他语言模型的近10倍，它可以识别的语言类型也是其他模型的两倍多。细节方面，训练XLS-R的数据包括43.6万小时的公开演讲录音，涉及有声读物、会议程序等各种内容。

此外，Meta根据4大多语言语音识别准对XLS-R进行评估，经过测试37种语言识别，发现XLS-R的表现优于此前的方案。而经过微调后，XLS-R可以在英语和21种其他语言之间实时语音互译。

Meta表示：我们发现，最大的语音模型包含20亿个参数，与规模更小的模型相比，大规模模型的效果更好，因为参数越多意味着包含更多种语言的数据，训练效果更充分。目前，XLS-R翻译法语、德语的准确性更高，其次是俄语、葡萄牙语等等。未来，Meta计划让XLR-R支持7000多种语言。他还谈到Meta想要打造超级语音助手。

05、结语

2022年初，扎克伯格遭受重创，自从元宇宙大火后，扎克伯格成为行走的元宇宙代言，而另一边Meta的股市表现却愁云惨淡。今年2月3日，Meta公布其财报，其中披露的元宇宙部门亏损从2019年45亿美元增加到2021年102亿美元。当天收盘其股价暴跌26%，创下美股历史最大跌幅，市值跌超2370亿美元。

显然，人们对扎克伯格的“元宇宙美梦”还处于观望状态。而今日的活动中，扎克伯格完全从技术角度出发，刻画了一套紧密围绕元宇宙的前沿AI技术蓝图，以得到投资者的信任，不过华尔街会为此买账吗？Meta的技术蓝图、扎克伯格的虚拟未来世界，这些问题尚需要一些时间来一一解答。