這麼看來，AI 配音真的可以「以假亂真、真假難辨」。

這兩天，美國女歌星黴黴（泰勒・斯威夫特）一則說中文的短視訊在各社群網路火了起來。有的播放量已經達到了 600 多萬。

在視訊裡，黴黴操著一口流利、地道的中文，神情自若，幾乎沒有早期譯製片女主角的那種腔調，口型也能對得上。

圖源：微博 @會火

還沒有看過視訊的小夥伴們，我們先來一睹為快。

視訊作者：johnhuu 教英語

感覺怎麼樣，是不是很神奇呢？

可以看到，不僅是黴黴，蕾切爾・布羅斯納安、川普、艾瑪・沃森、憨豆先生都掌握了一口正宗的中文。此外，小品演員蔡明在吐槽大會上「秀了一段流利的英文」。

作者表示，視訊製作中有三個重要的因素：掌握地道的口語翻譯、語音克隆和替換嘴型，每個步驟都要做好。不過，他沒有說明用到的具體模型是什麼。

視訊火了之後，更多的人開始了新的嘗試，也讓我們了解到了視訊背後使用到的 AI 生成工具 ——HeyGen。

Twitter使用者 @Gorden_Sun 同樣製作了一段黴黴說中文的視訊，這次口型完美，卡點和嘴型都對得上。有人評論到，「音色其實也很像了。」

作者表示，視訊裡面的翻譯是 HeyGen 自動完成的，質量可能不太好，他只需要上傳視訊並選擇要翻譯的語言就行了。

視訊字幕是作者自己加的，HeyGen 沒有該功能。此外視訊人物在情感還原度方面仍有欠缺。

不過，HeyGen 雖然可以免費試用，但需要等待很長時間。懂技術的小夥伴也可以尋找開源替代方案，比如語音轉文字 whisper、文字翻譯 GPT、聲音克隆 + 生成音訊 so-vits-svc、生成符合音訊的嘴型視訊 GeneFace++。

除了中英互換之外，國外還有人嘗試將英語翻譯成日語，效果同樣很不錯。他表示，該視訊同樣是使用 HeyGen 做的。

原始英文視訊如下：

轉換後日語視訊如下：

還有更離譜的是，有人使用 HeyGen 製作了說多達 6 種不同語言的視訊。對此有人評價稱，「HeyGen 將成為內容創造領域的攪局者。」

那麼，這個 HeyGen 是什麼來頭呢？原來它在兩個多月前就生成過一段爆火視訊。

HeyGen：做不輸 Midjourney 的 AI 視訊生成器

當時，HeyGen 生成了一個超逼真的數字人，還是創始人 Joshua Xu 親自上陣。人物的表情、動作、臉部微表情等等，都活靈活現地展現在你眼前。

HeyGen 的這段視訊掀起了一陣熱潮，但是因為還有一些效果缺陷，大家更加期待改善後的版本。

HeyGen 創始人 Joshua Xu 的 AI 生成數字人，眨眼頻率過高

HeyGen 背後的公司名叫詩云科技，成立於 2020 年。他們最初致力於做 AI 數字人生成，創始人 Joshua Xu 曾在 Snapchat 擔任主要工程師，負責機器學習領域。

Joshua Xu 曾發部落格表示，自 2022 年 7 月產品發佈以來，歷時 178 天，該公司 ARR （annual recurring revenue）已達到 100 萬美元。

HeyGen 為使用者提供更加便宜、省時的視訊製作方法。這打破了傳統視訊製作中費用高昂、週期長、人員雜亂和設備需求高等問題。