SeamlessM4T

Meta打造的一体化多语言多模式的翻译大模型SeamlessM4T，入选2023年度《时代》杂志最佳AI生产力工具榜单。

这款工具支持将近100种语言的实时同传翻译，支持语音⇋语音、文字⇋文字、语音⇋文字、文字⇋语音。

SeamlessM4T建立在Meta AI翻译模型的技术能力基础上，并重新设计Fairseq序列建模工具包，以创建更轻量级的模型和处理更多信息。

Meta表示，SeamlessM4T从“爬取的网页数据的公开可用存储库中”收集了400万小时的“原始音频”，该模型可以在近100种语言之间进行文本到语音的翻译，并支持35种语言的完全语音到语音翻译。

对于安全性和脱敏性，Meta表示，在开发SeamlessM4T时，团队构建了一个可以识别敏感词系统，目标是能够过滤了训练数据中不平衡的数据信息，从而检测和输出正确的翻译内容。而且，Meta研究人员还尝试清理误译一些脏话的数据集，以便更准确地检测何时使用。

此外，Meta还声称新的翻译模型比竞品更高效、更准确，甚至可以轻松搞定“中夹英”的复杂句子翻译任务。

与Meta开源模型LLama 2类似，这款模型也是开源的，因此它完全免费。Meta还公布了新的开源翻译数据集 SeamlessAlign，将44.3万小时的语音与文本、2.9万小时的语音转录数据进行对齐。目前，

MetaAI 的 SeamlessM4T 模型现已在 Hugging Face 上提供！

GitHub开源页面：

https://github.com/facebookresearch/seamless_communication