AI奇点网12月4日报道丨当地时间12月2日,Meta对外发布了新一代Seamless翻译大模型的新版本—— SeamlessM4T v2,这是一项新的多任务语音转换技术。SeamlessM4T v2 能够同时将语音转换成多种语言,并且能够保持语音的流畅度和自然度。
SeamlessM4T v2 在多种语言转换任务上都取得了优异的效果。例如,在英语到法语的转换任务上,SeamlessM4T v2 的准确率达到了 98%。在英语到中文的转换任务上,SeamlessM4T v2 的准确率达到了 97%。
Meta透露,SeamlessM4T第二代的改进包括跨语言更加精准地保留表达的原意,并将延迟降低到约两秒。
在世界各地,语言差异可能成为沟通的障碍,翻译系统可以使来自不同语言背景的人更无缝地分享知识和经验。然而,如今许多这些系统并不能保留人类沟通所具有的关键要素。此外,语调、停顿和强调都传递着帮助人们沟通情感和意图的重要信号。
AI大模型模仿的是人类口译员的工作模式,人类的语音和翻译对于诸如轮流发言和时间控制等微妙之处也非常敏感。例如,想象一下人类口译员的工作方式:他们在低延迟和准确翻译之间找到了恰到好处的平衡。等待时间过长会阻碍沟通的流畅进行,而速度过快则会影响翻译的整体质量。能够实现真实对话的翻译系统应该在所有这些沟通要素上都能够交付。
SeamlessM4T v2 支持以下任务:
Meta进行了大量的人工智能研究,旨在表达丰富、快速和高质量的人工智能翻译来消除语言障碍。Seamless Streaming模型可以实现最快2秒的延迟内进行语音和文本的翻译。任何人都可以通过SeamlessM4T v2 实现语音和文本的相互转换与翻译,实现更轻松的跨语言交流。
Meta已经在官网发布了一系列的开源模型,以促进开放研究和合作。如果你感兴趣使用这款翻译大模型的话,它是免费体验的,点击下方的卡片即可:
体验地址:
https://seamless.metademolab.com/expressive
上一篇:阿里发布辅助电商出图的AI设计生态工具(鹿班AI、堆友、Pic Copilot),用AI设计服务全球大小商家
下一篇:奥特曼参与投资半导体公司Rain,OpenAI斥资5100万美元购入这家公司的AI芯片
聚焦智能天文光学系统,打造人类“天眼”。
一家机器人公司如何穿越行业“死亡谷”?
教师职业三重变革:从编制铁饭碗到流量新战场,谁在定义未来教育者?
苹果发布超薄iPhoneAir,评价两极,或为折叠屏预热。
你是不是也经常遇到“AI配音”的视频?
苹果还没有熟透。
豆包
博思白板 — boardmix AI
扣子-AI办公
千问
讯飞绘文
讯飞绘文-免费AI写作
扣子-AI办公app
AI小聚
ZeroGPT
网站地图
Meta发布新一代实时人工智能翻译大模型SeamlessM4T v2:支持100多种语言,延迟不到2秒
AI奇点网12月4日报道丨当地时间12月2日,Meta对外发布了新一代Seamless翻译大模型的新版本—— SeamlessM4T v2,这是一项新的多任务语音转换技术。SeamlessM4T v2 能够同时将语音转换成多种语言,并且能够保持语音的流畅度和自然度。
SeamlessM4T v2 在多种语言转换任务上都取得了优异的效果。例如,在英语到法语的转换任务上,SeamlessM4T v2 的准确率达到了 98%。在英语到中文的转换任务上,SeamlessM4T v2 的准确率达到了 97%。
Meta透露,SeamlessM4T第二代的改进包括跨语言更加精准地保留表达的原意,并将延迟降低到约两秒。
在世界各地,语言差异可能成为沟通的障碍,翻译系统可以使来自不同语言背景的人更无缝地分享知识和经验。然而,如今许多这些系统并不能保留人类沟通所具有的关键要素。此外,语调、停顿和强调都传递着帮助人们沟通情感和意图的重要信号。
AI大模型模仿的是人类口译员的工作模式,人类的语音和翻译对于诸如轮流发言和时间控制等微妙之处也非常敏感。例如,想象一下人类口译员的工作方式:他们在低延迟和准确翻译之间找到了恰到好处的平衡。等待时间过长会阻碍沟通的流畅进行,而速度过快则会影响翻译的整体质量。能够实现真实对话的翻译系统应该在所有这些沟通要素上都能够交付。
SeamlessM4T v2 支持以下任务:
语音到语音翻译(S2ST)语音到文本翻译(S2TT)文本到语音翻译(T2ST)文本到文本翻译(T2TT)自动语音识别(ASR)Meta进行了大量的人工智能研究,旨在表达丰富、快速和高质量的人工智能翻译来消除语言障碍。Seamless Streaming模型可以实现最快2秒的延迟内进行语音和文本的翻译。任何人都可以通过SeamlessM4T v2 实现语音和文本的相互转换与翻译,实现更轻松的跨语言交流。
Meta已经在官网发布了一系列的开源模型,以促进开放研究和合作。如果你感兴趣使用这款翻译大模型的话,它是免费体验的,点击下方的卡片即可:
体验地址:
https://seamless.metademolab.com/expressive
上一篇:阿里发布辅助电商出图的AI设计生态工具(鹿班AI、堆友、Pic Copilot),用AI设计服务全球大小商家
下一篇:奥特曼参与投资半导体公司Rain,OpenAI斥资5100万美元购入这家公司的AI芯片
追觅「上天」,官宣成立天文BU|最前线
聚焦智能天文光学系统,打造人类“天眼”。
三临绝境,三度翻盘:一家机器人公司的15年“极限求生”
一家机器人公司如何穿越行业“死亡谷”?
招生锐减、硕博下沉、AI创业——教师职业的破与立
教师职业三重变革:从编制铁饭碗到流量新战场,谁在定义未来教育者?
OpenAI CEO奥特曼点赞iPhone Air,分析师直呼:它只是苹果的试验品
苹果发布超薄iPhoneAir,评价两极,或为折叠屏预热。
偷走全红婵声音,在网上卖鸡蛋?你看的明星带货直播,可能是AI偷来的……
你是不是也经常遇到“AI配音”的视频?
库克不再「挤牙膏」:iPhone薄了,AI缺席
苹果还没有熟透。
豆包
博思白板 — boardmix AI
扣子-AI办公
千问
讯飞绘文
讯飞绘文-免费AI写作
扣子-AI办公app
豆包
博思白板 — boardmix AI
扣子-AI办公
千问
讯飞绘文
讯飞绘文-免费AI写作
扣子-AI办公app
AI小聚
ZeroGPT