让霉霉说地道中文，背后玩家竟来自中国，7 个月收入百万美元

来源：锦懂家•2023-10-25 23:26•点击：

摘要让霉霉说地道中文，背后玩家竟来自中国，7 个月收入百万美元文 | 虞景霖尚恩编辑 | 邓咏仪最近，霉霉说地道中文的视频在全网疯传。没有机械的翻译腔，霉霉用自然而地道的语气...

让霉霉说地道中文，背后玩家竟来自中国，7 个月收入百万美元

文 | 虞景霖尚恩

编辑 | 邓咏仪

最近，霉霉说地道中文的视频在全网疯传。

没有机械的翻译腔，霉霉用自然而地道的语气讲述自己最近的游历，甚至连嘴型都卡点对上，效果堪称绝绝子。

还没有看过视频的小伙伴们，原视频奉上

来源：公开网络

视频作者表示，想要做出效果这样的视频，其中有三个很重要的因素：掌握地道的口语翻译、语音克隆和替换嘴型，但没有提到具体用到的模型。

来源：johnhuu 教英语

看到视频效果如此好，不少网友就开始试图找到 " 复刻之法 "。

一位网友就表示需要至少三步才能达到这种效果，Whisper 识别、Tortoise-TTS 合成带原始说话人音色的语音、Wav2lip 换嘴型。

来源：X（原 Twitter）

视频火了之后，吸引了更多人开始尝试，其中背后一款 AI 工具也被网友迅速扒出。

这不扒不知道，一扒吓一跳，这个工具竟然还是来自国内的一个初创团队做的。

全网爆火，HeyGen 被网友疯玩

全网火爆，网友纷纷动手玩了起来。

网友 @Gorden Sun 也复刻了一段霉霉说中文的视频，在排队等待 7000 个视频后，用 HeyGen 制作的视频翻译终于完成了。并直言：" 效果绝对目前最好，没有之一 "。

从视频可以看到，无论是口型完美，卡点和嘴型都对的。

不过作者也表示，虽然声音克隆稍有缺陷，毕竟 HeyGen 只通过 40 秒的视频来克隆音频，如果刻意对比原视频，情感还原度稍有欠缺。

HeyGen 虽然可以免费试用，但只能生成 1 分钟时长视频，且生成需要等待很长时间，而付费版最便宜的也要 24 美元 / 月。因此，就有热心网友贴出了如何用开源的工具，做出和 HeyGen 生成效果同样的视频。

比如，语音转文字 whisper、文字翻译 GPT、声音克隆 + 生成音频 so-vits-svc、生成符合音频的嘴型视频 GeneFace++。

除了这种中英互译的视频，HeyGen 在外网也是一片火爆景象，各种玩法都有。

比如，这位网友就用 HeyGen 制作了说 6 种不同语言的视频。

HeyGen 火爆程度可见一斑，而近日根据推特上一位分析师 Will 的统计显示，今年 8-9 月，各大文生图类 AI 网站的访问量均开始呈现下降趋势，但 HeyGen 的访问量却上升了 92%，流量跃居各大独立 AI 网站之首。

那么，这个被众多网友狂推，成为 AI 独立网站之首的 HeyGen，到底是什么来头？

国内创业团队，7 个月收入百万美元

2020 年 12 月，HeyGen 的背后玩家 " 诗云科技 " 在深圳成立。

据 36 氪此前报道，公司成立之初，就以 " 用 AI 生成内容，让用户以更低成本完成内容创作 " 为愿景，已获得来自红杉中国、真格基金等风投们累计近千万投资。

来源：X（Twitter）

HeyGen 要做 AI 视频创作领域的 Midjourney，在团队方面竟也有一些相似之处。目前，HeyGen 的团队只有大概 30 人，分布在全球各地，以远程办公形式进行合作。

HeyGen 的前身，一款名为 "Movio" 的 AI 视频翻译平台，背后所依靠的模型是自家的多模态内容生成引擎 "Surreal Engine"。

2022 年 7 月，诗云科技推出多模态内容生成引擎Surreal Engine，将内容生产分为 Understanding（理解）、Framing（视框化）、Rendering（渲染）三个步骤。区别于市面上的两大 3D 内容创作巨头：Epic Game 的 Unreal Engine 和 Nvidia 的 Omniverse，Surreal Engine 让普通人也可以轻松进行高维度、可交互的内容创作。