將來(lái)人與人之間的交流，是這樣嗎？

最近，一個(gè)名字叫做 ChatTTS 文字轉(zhuǎn)語(yǔ)音項(xiàng)目爆火，引起了大家的極大關(guān)注。短短三天， GitHub 上面已經(jīng)斬獲了 9.2 k 的 Star 量。

項(xiàng)目地址：https://github.com/2noise//ChatTTS/tree/main

作者本人也是如此 x 上表示，ChatTTS 突破開(kāi)源天花板。然而，目前開(kāi)源只是底模，沒(méi)有 SFT 監(jiān)管微調(diào)。

本項(xiàng)目將文本轉(zhuǎn)換為語(yǔ)音，效果如下：

ChatTTS 不僅可以說(shuō)中文，還可以說(shuō)英文。 hold 居住，還支持一些粗粒度控制，它允許你加入笑聲，說(shuō)話間斷，還有語(yǔ)氣詞，可玩性很強(qiáng)。

它可以復(fù)制已經(jīng)逝去的人的稀有聲音。如果你想再次聽(tīng)到喬布斯的新聞發(fā)布會(huì)，你可以隨時(shí)做到。聽(tīng)它模仿發(fā)霉的音色，無(wú)論是語(yǔ)氣還是語(yǔ)氣的變化，都很接近我，幾乎聽(tīng)不到。 AI 味道。

中英混說(shuō)也可以把握，這種半英半里的風(fēng)格獨(dú)闖留子圈，ChatTTS 已經(jīng)達(dá)到了語(yǔ)言能力 next level。

上述音頻來(lái)自 B 站：https://www.bilibili.com/videoBV1zn4y1o7iV/?share_source=copy_web&vd_source=983ec32a3036bb1cf2699e4fdbc2828

通過(guò)上述展示，我們不難發(fā)現(xiàn)，ChatTTS 能實(shí)現(xiàn)自然流暢的語(yǔ)音合成，同時(shí)支持多說(shuō)話的人；還可以預(yù)測(cè)和控制粗粒度的節(jié)奏特征，包括笑聲、間歇和插入詞；ChatTTS 在節(jié)奏方面超越了大多數(shù)開(kāi)源。 TTS 模型。

目前 ChatTTS 支持中文和英文。最大模型使用超過(guò) 10 練習(xí)一萬(wàn)小時(shí)的中英文數(shù)據(jù)。 HuggingFace 中開(kāi)源的版本是 4 沒(méi)有一萬(wàn)小時(shí)的訓(xùn)練 SFT 版本。

值得注意的是，上述所展示的音頻都是圍繞語(yǔ)音合成技術(shù)制作的，旨在展示科技成果，無(wú)意冒犯或侵犯他人權(quán)益。

項(xiàng)目一經(jīng)發(fā)布，各界網(wǎng)友紛紛嘗試，給出聲音的確真假難辨。

還有人拿 GPT 生成文本，讓 ChatTTS「讀」走出來(lái)，語(yǔ)調(diào)與真人的差距特別?。?/p>

效果如此之好，自然是想上手試試。怎樣才能使用？ ChatTTS 如果你的嘴替換，可以參考下面的方法來(lái)操作。

在線體驗(yàn)地址：https://huggingface.co/spaces/Dzkaka/ChatTTS

ChatTTS 主要有兩個(gè)功能，第一個(gè)是將文字轉(zhuǎn)換為語(yǔ)音，第二個(gè)是與大語(yǔ)言模型進(jìn)行實(shí)時(shí)語(yǔ)音對(duì)話。除了這些功能，你還可以「Audio Seed」調(diào)整數(shù)字指定演講者的音色，或者隨機(jī)搖骰子生成一個(gè)。但是很多測(cè)試人員表示，每次選擇相同的參數(shù)，生成的音色可能并不固定。

2Noise 據(jù)說(shuō)，現(xiàn)在支持音質(zhì)復(fù)制，但是需要更多的信息。

在文本框中輸入文本后，ChatTTS 會(huì)自動(dòng)為你產(chǎn)生節(jié)奏和間斷，還會(huì)加入一些，比如「隨后」這樣的語(yǔ)氣詞。如果您在輸入時(shí)在文本中加入 [laugh] 和 [uv_break]，可以手動(dòng)操作 ChatTTS 有些是在說(shuō)話間產(chǎn)生的「笑果」。

不過(guò) ChatTTS 目前還無(wú)法處理較長(zhǎng)的文本，有網(wǎng)友對(duì)有聲書(shū)進(jìn)行了挑戰(zhàn)，發(fā)現(xiàn)初始版本無(wú)法生成超越。 30 秒的音頻，需要手動(dòng)修復(fù)。當(dāng)遇到較長(zhǎng)的文字時(shí)，ChatTTS 分詞也會(huì)有問(wèn)題。

本文來(lái)自微信微信官方賬號(hào)“機(jī)器之心”（ID:編輯：陳萍，佳琪，36氪經(jīng)授權(quán)發(fā)布，almosthuman2014)。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com