從開源VibeVoice-ASR看語音模型的設(shè)計(jì)、數(shù)據(jù)、幻覺和未來

最近，微軟開源了VibeVoice-ASR，我也第一時(shí)間進(jìn)行了體驗(yàn)。首先，對(duì)微軟團(tuán)隊(duì)開源這個(gè)模型表示感謝。盡管在測(cè)試過程中發(fā)現(xiàn)了一些問題，但任何開源工作都值得尊重。作為開源工作，我們沒有任何理由要求太多，這些問題也都是可以解決的，況且微調(diào)代碼也即將開源。并且從我粗淺的直覺和簡(jiǎn)陋的測(cè)試上得出的結(jié)論：如果可以從數(shù)據(jù)覆蓋上進(jìn)一步優(yōu)化，這個(gè)模型應(yīng)該還是有潛力的。在此，我想基于這個(gè)工作，聊一聊VibeVoice-ASR的優(yōu)點(diǎn)與不足，并分享一些對(duì)模型設(shè)計(jì)和數(shù)據(jù)的思考。

多任務(wù)的模型設(shè)計(jì)

雖然模型命名為VibeVoice-ASR，但它并非單純的語音轉(zhuǎn)文字模型。VibeVoice-ASR集成了說話人日志、時(shí)間戳以及部分聲音事件檢測(cè)功能。

這樣的多任務(wù)設(shè)計(jì)符合大模型時(shí)代的技術(shù)趨勢(shì)，也契合未來的用戶需求。如今，僅實(shí)現(xiàn)語音轉(zhuǎn)錄已遠(yuǎn)遠(yuǎn)不夠。無論是底層模型還是上層應(yīng)用，乃至用戶對(duì)智能體驗(yàn)日益提升的期待，都要求我們從語音數(shù)據(jù)中提取更豐富的信息。用戶對(duì)產(chǎn)品的追求不再停留在基礎(chǔ)功能，而更多地轉(zhuǎn)向情感價(jià)值與類人體驗(yàn)。

關(guān)注聲音特性

先吐個(gè)槽，我非常反感各類PR文章的自夸，動(dòng)輒宣稱“世界第一”。（我能理解，畢竟要給投資人、客戶看，也需要曝光度。）但這種風(fēng)氣很容易誤導(dǎo)行業(yè)外的人。畢竟，包括我在內(nèi)，99%的負(fù)責(zé)人今天做什么，取決于早上在自媒體上刷到了什么（借用別人的段子）。

我認(rèn)為，聲音在機(jī)器理解用戶方面的價(jià)值被嚴(yán)重低估了。理解聲音，是通往“世界模型”、理解世界不可或缺的一環(huán)。

遺憾的是，目前除了Gemini，我還沒看到能與之比肩的系統(tǒng)。我也認(rèn)為這是谷歌布局未來重要的一步。（不得不提一句，至于那些號(hào)稱超越的，或許在某些測(cè)試集和指標(biāo)上能實(shí)現(xiàn)超越，這一點(diǎn)我并不否認(rèn)。）

VibeVoice-ASR模型其實(shí)讓我有所期待。至少，它是開源模型中明確對(duì)聲紋進(jìn)行建模的，并且在我真實(shí)測(cè)試集（家庭錄音，包括男性、女性、兒童）中，在區(qū)分度較大的場(chǎng)景下是可用的。

• “建模聲紋很難嗎？”“是的。”

• “聲紋識(shí)別現(xiàn)在做得很好了嗎？”“并沒有?！?/p>

聲紋作為聲音的底層屬性，與語音語義有很大不同。識(shí)別一個(gè)人的聲紋，對(duì)人類來說也并非易事。我們覺得容易，大多是因?yàn)槲覀兘佑|的聲紋往往是“已注冊(cè)”的。從模型實(shí)現(xiàn)來看，聲紋的做法看似簡(jiǎn)單，但實(shí)際效果并不理想，原因有多方面：

極易受環(huán)境干擾

與ASR相比，聲紋更易受聲學(xué)環(huán)境干擾。訓(xùn)練數(shù)據(jù)的覆蓋范圍、環(huán)境噪聲、信道差異，以及注冊(cè)與使用條件的不一致，都會(huì)影響最終效果。

聲紋具有時(shí)變性

聲紋會(huì)隨時(shí)間發(fā)生漂移，比如兒童的聲音變化最快，不同兒童之間的聲音區(qū)分也很困難，成人的聲音也會(huì)因狀態(tài)（如感冒、情緒）而改變。

聲紋數(shù)據(jù)自動(dòng)標(biāo)注困難

從數(shù)據(jù)標(biāo)注角度看，由于歷史上聲紋模型效果一般，再加上上述難點(diǎn)，導(dǎo)致自動(dòng)化標(biāo)注很難做到準(zhǔn)確。

幻覺問題較為突出

在體驗(yàn)VibeVoice-ASR模型的過程中，我發(fā)現(xiàn)最明顯的問題是幻覺。測(cè)試中，我注意到一個(gè)特別的現(xiàn)象：

數(shù)據(jù)中孩子的哭聲極容易觸發(fā)模型的幻覺。

最初我以為是數(shù)據(jù)過長(zhǎng)（約30分鐘）導(dǎo)致的，于是特意將哭聲部分單獨(dú)截取出來測(cè)試，但幻覺依然出現(xiàn)，比如下面的例子：

哭聲語譜圖

哭聲幻覺識(shí)別結(jié)果

另外一條數(shù)據(jù)，中間在含糊不清的地方發(fā)生幻覺：

這背后最主要的原因，應(yīng)該還是接下來要談的數(shù)據(jù)覆蓋問題。

長(zhǎng)度真的那么重要嗎？

對(duì)于文本大模型，長(zhǎng)度等于上下文，上下文窗口的確很重要。但對(duì)于語音模型，特別是偏重轉(zhuǎn)錄的模型，在當(dāng)前階段，長(zhǎng)度是否真的如此關(guān)鍵，我持保留態(tài)度。

VibeVoice-ASR提出的理由是：

首先，關(guān)于上下文斷裂問題——純音頻的上下文真能解決這個(gè)問題嗎？或許能部分緩解，但對(duì)多數(shù)場(chǎng)景來說，可能并非至關(guān)重要。文本層面的上下文或許已足以提升準(zhǔn)確率。

其次，工程復(fù)雜度方面，文中提到的說話人日志優(yōu)勢(shì)我很認(rèn)同，但這個(gè)和長(zhǎng)度其實(shí)關(guān)系不是特別大，我認(rèn)為更多的優(yōu)勢(shì)來自于識(shí)別+說話人的聯(lián)合建模。短句說話人日志的確很困難，但幾分鐘的數(shù)據(jù)進(jìn)行說話人相關(guān)的工作也沒有太大問題。如果可以把效果做好，后續(xù)通過一個(gè)混淆矩陣進(jìn)行相同說話人的聚類。如果長(zhǎng)語音識(shí)別確實(shí)可以做的好，那么降低系統(tǒng)復(fù)雜度的優(yōu)勢(shì)肯定是有的。

綜上所述，在當(dāng)前條件尚不成熟的情況下，過度強(qiáng)調(diào)長(zhǎng)度或許并不是最優(yōu)先的。相比長(zhǎng)度，我們更應(yīng)關(guān)注模型的穩(wěn)定性與準(zhǔn)確性。當(dāng)然，如果能處理更長(zhǎng)的音頻，那自然是更好的。

“垃圾”數(shù)據(jù)也有價(jià)值

從我測(cè)試中遇到的幻覺問題，結(jié)合當(dāng)前主流數(shù)據(jù)清洗流程的做法，會(huì)發(fā)現(xiàn)一個(gè)現(xiàn)象：

人們常用多個(gè)模型交叉驗(yàn)證，篩選出“有用且正確”的數(shù)據(jù)。

什么是“有用且正確”的數(shù)據(jù)？如果一條數(shù)據(jù)包含文字，且多個(gè)模型識(shí)別結(jié)果一致，就被認(rèn)為是有價(jià)值且標(biāo)注正確的。那么，那些被過濾掉的數(shù)據(jù)，其價(jià)值又該如何看待？

事實(shí)上，它們的價(jià)值在今天更應(yīng)被重視。原因如下：

幸存者偏差

這種方式篩選出的數(shù)據(jù)，都是以往模型基礎(chǔ)上的“幸存者”，數(shù)據(jù)質(zhì)量雖高，但對(duì)模型來說難度較低。換句話說，大量這類數(shù)據(jù)對(duì)模型能力的提升并無太大增益。如果模型只用這類數(shù)據(jù)訓(xùn)練，那么無論輸入什么，哪怕是人耳都難以聽清的語音，模型都可能用最大似然的方式“猜”一個(gè)最可能的結(jié)果，而不是“承認(rèn)困難”。一個(gè)懂得“示弱”的模型，或許也有其價(jià)值。

垃圾”數(shù)據(jù)的價(jià)值

所謂“垃圾數(shù)據(jù)”，正是那些被自動(dòng)標(biāo)注流程過濾掉的數(shù)據(jù)，它們的價(jià)值應(yīng)當(dāng)被重新審視。比如我測(cè)試數(shù)據(jù)中的哭聲片段，很可能會(huì)被清洗流程過濾掉。再加上這類聲音重復(fù)性強(qiáng)，更容易導(dǎo)致模型產(chǎn)生幻覺。

在強(qiáng)化學(xué)習(xí)中，也應(yīng)該加強(qiáng)對(duì)“壞”數(shù)據(jù)如何給予正確反饋的機(jī)制。

總結(jié)

非常高興看到越來越多的開源工作，推動(dòng)模型能力逐步提升。同時(shí)我們也應(yīng)認(rèn)識(shí)到，語音遠(yuǎn)非一個(gè)已被徹底解決的問題。無論是真實(shí)場(chǎng)景的數(shù)據(jù)表現(xiàn)，還是實(shí)際落地應(yīng)用，都還有很長(zhǎng)的路要走。隨著AI技術(shù)的進(jìn)步，市場(chǎng)對(duì)更優(yōu)秀的語音交互、合成與理解的需求顯著增加。真心希望有實(shí)力的公司能堅(jiān)持投入，去做那些困難卻正確的事。