獨(dú)家丨科大訊飛多模態(tài)：都說(shuō)端到端好，看誰(shuí)有本事先做出來(lái)

01.對(duì)咱普通人有啥影響？

第一，這個(gè)技術(shù)方向上首個(gè)國(guó)產(chǎn)突破，

且是產(chǎn)品級(jí)。

產(chǎn)品做到和演示做到，

區(qū)別有多大，

不用多說(shuō)。

產(chǎn)品級(jí)和模型級(jí)，

區(qū)別有多大，

不用多說(shuō)。

眾所周知的原因，

OpenAI對(duì)我們不Open。

現(xiàn)在想用好AI，只得國(guó)產(chǎn)有。

國(guó)產(chǎn)AI突破了，

并不意味它就完美了。

作為硬核科技迷妹，

我不能尬吹國(guó)產(chǎn)遙遙領(lǐng)先，

同樣也不能說(shuō)，

不用國(guó)產(chǎn)AI不是中國(guó)人。

第二，拉高語(yǔ)音嘮嗑水平。

一般來(lái)說(shuō)，

人類和機(jī)器人聊天的技術(shù)水平變化，

都能感知到，

但是不多。

你若問我：

這個(gè)技術(shù)能給普通人什么好處？

我只能說(shuō)體感上，

快是真快。

快是技術(shù)能力的直接表現(xiàn)之一。

理解強(qiáng)，要嘮很久才能確定。

對(duì)話快，嘮幾句就發(fā)現(xiàn)了。

可能有人會(huì)說(shuō)，

沒感到有“提速”。

我只能反駁，

我能從軟件底層系統(tǒng)層面看到明顯提速了。

提速的時(shí)間范圍。

三個(gè)系統(tǒng)變成一個(gè)系統(tǒng)了，

一個(gè)系統(tǒng)一秒，

大致是從3秒降低到1秒。

高端科技，就是這么樸實(shí)無(wú)華。

02.對(duì)同賽道廠商啥影響？

技術(shù)突破后，沖擊力很大。

畢竟，底層系統(tǒng)變了，

不是功能按鈕變了。

重大更新，名副其實(shí)。

以前誰(shuí)家敢吹機(jī)器人語(yǔ)音對(duì)話能力強(qiáng)，

過眼云煙。

也就是說(shuō)，

很多廠商一覺睡醒，

戰(zhàn)火燒到枕頭了。

有新技術(shù)的快，

沒新技術(shù)的慢。

有新技術(shù)的當(dāng)下1秒，

以后迭代成幾分之一秒。

老技術(shù)一頓操作猛如虎，

一看3秒原地杵。

競(jìng)爭(zhēng)，

如此殘酷。

如果不信，

那就打開手機(jī)里的訊飛星火APP，

手指點(diǎn)語(yǔ)音通話，讓超擬人說(shuō)話，

你會(huì)發(fā)現(xiàn)，

機(jī)器人回復(fù)時(shí)間（響應(yīng)時(shí)間）變得超快。

如果還想玩，

你使個(gè)壞，

瘋狂打斷，

一點(diǎn)禮貌都別講，

你又會(huì)發(fā)現(xiàn)，

對(duì)話又快又機(jī)智。

拿起手機(jī)感受一下，

否則，我說(shuō)什么都沒用。

我還問了星火APP，你這是啥設(shè)計(jì)？

它用女聲告訴我：

“我被設(shè)計(jì)成，

能連續(xù)處理和回應(yīng)信息流，

即使應(yīng)答被打斷，

也能從上次的狀態(tài)中繼續(xù)對(duì)話?！?/p>

另外，我補(bǔ)充一個(gè)產(chǎn)業(yè)視角。

任何不溫不火的技術(shù)，

只要OpenAI帶個(gè)廣告，

立刻頂流，

多模態(tài)也不例外。

GPT-4o是美國(guó)2024年5月的技術(shù)。

那些想緊緊咬住OpenAI的廠商，

最好能盡快拿出成果。

如果拿不出來(lái)，

那就相當(dāng)于承認(rèn)，

水平不行。

如果一直拿不出來(lái)，

那這個(gè)破星球，

待著就不痛快了。

為什么？

短短幾個(gè)月后，

國(guó)內(nèi)有極少數(shù)幾家公司突破這個(gè)技術(shù)了，

數(shù)量應(yīng)該不超過一只手，就能數(shù)清楚，

科大訊飛是其中一家。

那么問題來(lái)了，科大訊飛如何實(shí)現(xiàn)的？

03.到底是啥技術(shù)？

大旗不僅是GPT-4o扯起來(lái)的。

還一口氣帶火了三個(gè)方向：

圖片視頻語(yǔ)音。

既然文本（模態(tài)）已經(jīng)是必選項(xiàng)，

知名成果是大語(yǔ)言模型，

那么，多模態(tài)的“多”字，

還可以有很多選擇，

選圖像，

選視頻，

選語(yǔ)音

選其他傳感器數(shù)據(jù)，

多模態(tài)的每個(gè)方向都是一個(gè)戰(zhàn)略選擇，

當(dāng)然，土豪隨意，可選全部，

相信大家都看懂了，

想在哪一個(gè)方向上有所突破都不易。

選擇語(yǔ)音，或許就要做到：

語(yǔ)音輸入語(yǔ)音輸出，

它是一個(gè)完整的端到端過程。

這意味著，所有轉(zhuǎn)換在一個(gè)系統(tǒng)中完成，

也就是，“語(yǔ)音到語(yǔ)音端到端框架”。

我把這個(gè)術(shù)語(yǔ)講給一個(gè)抖音歷史博主的時(shí)候，

他皺了一下眉頭說(shuō)，

能不能講中文？

技術(shù)名稱的確有點(diǎn)復(fù)雜。

分開看都認(rèn)識(shí)，

合在一起又不好懂。

語(yǔ)音到語(yǔ)音是指什么？

這個(gè)好理解，

就是你說(shuō)人話，

機(jī)器人也對(duì)你說(shuō)人話。

高質(zhì)量人話，不是智障說(shuō)話，

本質(zhì)是輸入什么就輸出什么，

那些處理和轉(zhuǎn)換，發(fā)生在語(yǔ)音信號(hào)層面上。

這里有點(diǎn)晦澀，

那從軟件系統(tǒng)方面，可以這樣理解：

傳統(tǒng)老方法，

要三個(gè)系統(tǒng)（識(shí)別，理解，合成），

串連在一起，

缺一不可。

新方法僅用一個(gè)系統(tǒng)。

好比，上30層的高樓，

新方法一個(gè)垂直電梯直達(dá)了，

老方法

換乘三部電梯。

以一打三。

從結(jié)構(gòu)層面講，老方法時(shí)間上當(dāng)然快不起來(lái)

新方法用時(shí)短（時(shí)延低）。

當(dāng)然快。

04.短短幾個(gè)月就產(chǎn)品化了？

不吹不黑，

快肯定是有技術(shù)儲(chǔ)備。

十個(gè)恒大也不能一夜起高樓。

大約一年前，

我見到科大訊飛研究院院長(zhǎng)劉聰，

特意問了多模態(tài)進(jìn)展。

訊飛特色是在語(yǔ)音方向上有長(zhǎng)期積累。

語(yǔ)音這種模態(tài)的進(jìn)展當(dāng)然想聽他講。

聊下來(lái)，他告訴我重視，且布局。

具體不能說(shuō)得太細(xì)。

有些問號(hào)，

需要耐心才能畫下句號(hào)。

看到結(jié)果，

我推測(cè)他們儲(chǔ)備了：

第一，大量語(yǔ)音模型對(duì)比學(xué)習(xí)方案。

第二，大量掩碼自監(jiān)督學(xué)習(xí)訓(xùn)練方案。

第三，足夠使用的“特色”數(shù)據(jù)。

并且，這次“極速超擬人”的發(fā)布。

我和研究院的高建清副院長(zhǎng)，

以及幾位研究員聊了挺久。

我的推測(cè)得到了驗(yàn)證。

“從模型到上APP，

雖然三到四個(gè)月，

但是技術(shù)儲(chǔ)備早就開始。

比如，很早以前，訊飛就著手表征預(yù)訓(xùn)練?！?/p>

他們對(duì)這類方法足夠熟悉，

對(duì)語(yǔ)音這種模態(tài)也足夠理解。

看到這里，

應(yīng)該不會(huì)再誤以為，

星火APP上，更新了一個(gè)小功能。

我甚至看到，有人批評(píng)訊飛，

躺在人工智能1.0的功勞簿上。

我再換個(gè)視角強(qiáng)調(diào)，

為什么說(shuō)“不小”呢？

那些日常接到的騷擾式推銷電話里的人聲，

還有高德APP導(dǎo)航用的各色語(yǔ)音包，

新老方法，

完全是兩碼事。

要是談技術(shù)晦澀，

那就赤裸裸地談錢，

新技術(shù)可能讓定制化語(yǔ)音包的成本打骨折。

可能不是在描述發(fā)不發(fā)生，

而是我不確定是一折還是兩折，

畢竟，我沒有財(cái)務(wù)成本的底稿。

除了語(yǔ)音，基礎(chǔ)大模型也很關(guān)鍵。

此處也不贅述了，

我引用一句高建清副院長(zhǎng)對(duì)我說(shuō)的原話：

“我們做的話，

一定是既有語(yǔ)音基礎(chǔ)，

也有認(rèn)知大模型的基礎(chǔ)。

有這兩個(gè)基礎(chǔ)，

我們肯定不會(huì)是從頭做。”

所以，他們?nèi)剿膫€(gè)月就做出來(lái)，

靠的不是走捷徑。

當(dāng)下，GPT-4o語(yǔ)音能力仍是期貨，

這話不是別人說(shuō)的，就是我說(shuō)的。

據(jù)說(shuō)八月中旬是給一些阿爾法用戶開放了，

但是好像大家都還是用不了。

既然科大訊飛做到了，

那么就很有資格，來(lái)談他們的認(rèn)知。

朋友們，請(qǐng)深吸一口氣，

學(xué)霸專區(qū)到了。

05.獨(dú)家特供一：對(duì)齊與統(tǒng)一

以一打三的新方法，

總有點(diǎn)硬核技術(shù)含量，

“對(duì)齊”就是其中一個(gè)。

起猛了，

差點(diǎn)看成互聯(lián)網(wǎng)大廠黑話。

模態(tài)對(duì)齊旨在建立對(duì)不同模態(tài)的共同理解，

它通常將不同模態(tài)的語(yǔ)義空間進(jìn)行對(duì)齊。

即在提取含義相近的不同模態(tài)數(shù)據(jù)的特征后，

得到相近的特征向量。

這兩句就寫得很專業(yè)了，

我承認(rèn)，是書上抄來(lái)的。

書名是，

《多模態(tài)人工智能：

大模型核心原理與關(guān)鍵技術(shù)》。

理論是理論，

訊飛是實(shí)踐。

我總結(jié)一下，

三個(gè)舊系統(tǒng)不僅慢，

數(shù)據(jù)形式轉(zhuǎn)換還會(huì)難免丟失很多信息。

而換成現(xiàn)在一個(gè)新系統(tǒng)，

信息始終以表征的形式傳遞，

能少損失很多信息。

對(duì)齊很關(guān)鍵，而對(duì)齊又通常是實(shí)現(xiàn)統(tǒng)一的一個(gè)前提步驟。

另一個(gè)，術(shù)語(yǔ)“統(tǒng)一”躍入眼簾。

又起猛了，秦始皇統(tǒng)一六國(guó)嗎？

字是那個(gè)字，

意思不一樣。

這確實(shí)是AI技術(shù)術(shù)語(yǔ)。

專業(yè)上，統(tǒng)一是通過共享的表示和架構(gòu)，

來(lái)整合和處理不同模態(tài)的數(shù)據(jù)，

從而實(shí)現(xiàn)多種能力。

比如模型可以看圖片，看電影。

你咳嗽兩聲，機(jī)器人也能聽懂。

問你需不需要醫(yī)療廣告。

扯遠(yuǎn)了，

簡(jiǎn)單說(shuō)，既要又要，

既要會(huì)這個(gè)，又要會(huì)那個(gè)。

以前都是分開幾個(gè)語(yǔ)音模型來(lái)干的，

這種分開的語(yǔ)音模型，

門檻低，

開源多，

效果也就這樣了。

有了大語(yǔ)言模型之后，

效果上了個(gè)臺(tái)階。

語(yǔ)音模型加上大語(yǔ)言模型的能力，

這個(gè)進(jìn)展互聯(lián)網(wǎng)大廠都積極跟進(jìn)了。

用大上語(yǔ)言模型，

反正正確率都提升。

我來(lái)列幾個(gè)近期的：

字節(jié)跳動(dòng)的兩個(gè)，

Seed-ASR和Seed-TTS。

名字前綴都一樣。

而阿里巴巴通義實(shí)驗(yàn)室也有兩個(gè)，

SenseVoice和CosyVoice。

對(duì)不起，我又扯遠(yuǎn)了，

這些都不是新方法，

這些和“語(yǔ)音到語(yǔ)音端到端”是兩碼事。

我只想告訴你，抵達(dá)新技術(shù)，

沒有那么容易，

你把大語(yǔ)言模型搬過來(lái)能有一些用，

但也不是現(xiàn)階段的最好。

為什么？

因?yàn)闆]有“統(tǒng)一”。

“”統(tǒng)一能干啥？

能解決原有缺陷。

你把語(yǔ)音轉(zhuǎn)成文字，

那些音調(diào)音色語(yǔ)氣情緒之類的信息都丟棄了。

一個(gè)“啊”的聲音，就可能有多個(gè)意思，

轉(zhuǎn)成文字，就一個(gè)啊字。

語(yǔ)音多模態(tài)模型在保留音調(diào)、音色、語(yǔ)氣和情緒等特征時(shí)，

面臨的問題是，

如何將以上這些信息統(tǒng)一到一起處理，

這真是一個(gè)好問題。

06.獨(dú)家特供二：解耦

先談解耦的產(chǎn)品形態(tài)是什么樣的？

拿能成本打骨折的高德語(yǔ)音包為例，

以前于謙語(yǔ)音包上架高德地圖，

郭德綱“隔空懟”，不推薦下載。

現(xiàn)在要是這個(gè)語(yǔ)音包用能解耦的技術(shù)來(lái)做，

會(huì)是什么樣的呢？

于謙還說(shuō)同樣的話，燙同樣的頭，

語(yǔ)氣，音色都不變，

我改“語(yǔ)種”屬性，

于老師的話就變成了，英語(yǔ)，日語(yǔ)等語(yǔ)種。

而其他都不變。

“于謙為你導(dǎo)航，

關(guān)閉郭德綱模式”。

"Yu Qian is navigating for you,

turning off Guo Degang mode."

語(yǔ)音語(yǔ)調(diào)請(qǐng)讀者自行腦補(bǔ)。

估計(jì)郭德綱聽了，更不推薦下載。

當(dāng)然，這有賴于，

新技術(shù)是做到了能把“語(yǔ)種”屬性拆出來(lái)。

這是我的理解。

原理是，人們交流用說(shuō)話的語(yǔ)言（語(yǔ)種表征），

內(nèi)容（內(nèi)容表征），

還會(huì)用節(jié)奏語(yǔ)調(diào)（韻律表征）

和說(shuō)話者的聲音（音色表征），

來(lái)捕捉和傳遞語(yǔ)音中的全部信息。

俗稱，弦外之音，言外之意。

好的，幾句話把訊飛解耦語(yǔ)音表征講完了。

下課。

等一下，

如果你仍有強(qiáng)烈的求知欲，

我就往下講，

原理看似晦澀，其實(shí)一點(diǎn)也不簡(jiǎn)單。

高建清副院長(zhǎng)告訴我，

“語(yǔ)音里面，

哪些是說(shuō)話的內(nèi)容，

哪些是說(shuō)話人的音色，

哪些是韻律，

哪些是情感。

充分解耦出來(lái)，

再通過某種編碼的方式送到基礎(chǔ)大模型里?！?/p>

解耦異常重要。

究竟解耦了什么？

解耦了語(yǔ)音的屬性。

為什么這么做?

我認(rèn)為是為了更好地控制。

語(yǔ)音天然有很多屬性，

你想控制好，訊飛拿出的思路是解耦，

至于如何解耦，

解耦的程度，

怎么樣既分開，

下游任務(wù)又可以用得好。

屬性之間的微妙之處怎么把握。

那是人家的知識(shí)產(chǎn)權(quán)。

能理解到這一步的讀者，

應(yīng)該能看到科學(xué)家花了多少心思，

而我只能帶著大家到科大訊飛研究院的門口了，

至于實(shí)驗(yàn)室里的秘密，

智者求知，取用有規(guī)。

總之，解耦做得好，后面的控制會(huì)做得更好。

方言，韻律，音色都可以分開精細(xì)化控制。

解耦還有一個(gè)優(yōu)點(diǎn)，

下游和產(chǎn)品特點(diǎn)關(guān)聯(lián)設(shè)計(jì)的時(shí)候，

連成本都能控制得更好。

這一點(diǎn)做到非常難，

但確實(shí)做到了。

07.獨(dú)家特供三：大神經(jīng)網(wǎng)絡(luò)

我有個(gè)問題，

這么硬核的思路中，哪個(gè)最關(guān)鍵？

作為一個(gè)學(xué)渣，我認(rèn)為都關(guān)鍵，

否則我也不會(huì)寫了好幾章。

而高建清副院長(zhǎng)給我的答案是：

“在充分理解語(yǔ)音屬性的基礎(chǔ)上，

取舍和平衡是我們技術(shù)里面最關(guān)鍵的一部分。

算法，也許不是最關(guān)鍵的?！?/p>

他怕我沒有理解，

甚至他后面特意強(qiáng)調(diào)了第二遍。

我懷疑，他想把我教會(huì)。

而且我有證據(jù)。

既然新系統(tǒng)時(shí)間就是生命。

為了快，想盡一切辦法。

我們假設(shè)這個(gè)目標(biāo)時(shí)間是1秒。

真實(shí)的毫秒數(shù)，

并不能透露。

反正，“快”既是技術(shù)能力的體現(xiàn)，

又是用戶爽感的要求。

總結(jié)新方法的三個(gè)特點(diǎn)，

第一，該取舍就取舍。

要快的話，

有時(shí)候看重語(yǔ)音里面的情緒，

有時(shí)候更看重文本的這個(gè)情緒。

不同屬性表征之間取舍，

可以讓模型自己學(xué)。

你不能解耦就不能精確控制，

但是這還沒完，

難度還在于，模型怎么自學(xué)。

不得不感慨，

這確實(shí)是整個(gè)系統(tǒng)中的一大難點(diǎn)。

第二，該實(shí)時(shí)就實(shí)時(shí)。

語(yǔ)音經(jīng)過編碼器提取出來(lái)的語(yǔ)音表征，

這個(gè)過程是實(shí)時(shí)的。

要快的話，

實(shí)時(shí)對(duì)很多做語(yǔ)音算法小哥哥來(lái)說(shuō)豪不陌生。

以現(xiàn)在AI產(chǎn)品的要求，

這個(gè)組件大多實(shí)時(shí)的

你講完再識(shí)別，

沒時(shí)間了。

第三，該打斷就打斷。

打斷能省時(shí)間，

但打斷要有水平。

意思表達(dá)完了才能打斷。

魯莽打斷，實(shí)在找抽。

高建清副院長(zhǎng)的原話是：

“如果不打斷肯定這個(gè)系統(tǒng)就慢了。

所以打斷時(shí)機(jī)是非常關(guān)鍵的，

這個(gè)也是一個(gè)很難的一個(gè)問題。”

只有很好地處理打斷，

系統(tǒng)才能“反應(yīng)快速”，

機(jī)器人可以隨時(shí)打斷用戶，

用戶也可以隨時(shí)打斷機(jī)器人，

人機(jī)公平?jīng)]在烏托邦實(shí)現(xiàn)，

在這里實(shí)現(xiàn)了。

“打斷背后到底是在解決一件什么事情？”

我向高院長(zhǎng)提問。

他告訴我，這是一個(gè)理解的問題，

比如，人和人聊天，

什么時(shí)候該打斷，

基于你已經(jīng)表達(dá)完了的判斷，

他還告訴我：

“我們對(duì)此單獨(dú)設(shè)計(jì)，

并不只靠認(rèn)知大模型能力做到。

這是效果和響應(yīng)時(shí)間的一個(gè)平衡的問題。

任務(wù)的定義是，

判斷什么時(shí)候該打斷了?！?/p>

訊飛語(yǔ)音到語(yǔ)音端到端多模態(tài)整個(gè)系統(tǒng)，

我們把它當(dāng)做一個(gè)大的神經(jīng)網(wǎng)絡(luò)，

不同組件的工作過程是：

第一步，準(zhǔn)備。

需要語(yǔ)音經(jīng)過編碼器提前提取出來(lái)語(yǔ)音表征，

第二步，適配器。

適配器這個(gè)東西，

我管它叫“插座”，

如果你了解圖文多模態(tài)。

那就一點(diǎn)也不陌生了，

都有這個(gè)玩意。

這里適配器把語(yǔ)音表征跟文本表征去做語(yǔ)義對(duì)齊，

拉到一個(gè)空間上。

第三步，

全名叫做“訊飛語(yǔ)音屬性解耦表征訓(xùn)練”，

用到了對(duì)比學(xué)習(xí)，掩碼預(yù)測(cè)等方法。

第四步，

把上一步訓(xùn)練得到的表征接入給大語(yǔ)言模型，

預(yù)測(cè)表征。簡(jiǎn)單的做法還可以把大模型凍結(jié)住，

然而，訊飛怎么會(huì)用這種方法呢。

肯定是一起訓(xùn)練，效果才更好。

第五步，

再經(jīng)過語(yǔ)音解碼器解碼成語(yǔ)音。

講完了，我留下一道附（送）加（命）題，

技術(shù)很快（8月30日）上線訊飛星火APP，

模型的參數(shù)盡量地考慮了性價(jià)比，

畢竟，支撐全量產(chǎn)品。

訊飛判斷，端到端技術(shù)，

以語(yǔ)音模態(tài)應(yīng)用場(chǎng)景更多，

更有用處。

這是他們做這個(gè)事情的出發(fā)點(diǎn)。

08.故事的最后

我想多談兩句算力，

AI離不開算力，

眾所周知的原因，

科大訊飛用不了美國(guó)的GPU。

有幸，他們向我談起了一些細(xì)節(jié)，

在與華為聯(lián)合團(tuán)隊(duì)的大背景下，

23年下半年聯(lián)合攻關(guān)團(tuán)隊(duì)的規(guī)模很大，

很多華為的兄弟一線現(xiàn)場(chǎng)支持，

現(xiàn)在基礎(chǔ)大模型跑得很好，

目前算力集群訓(xùn)練能夠達(dá)到英偉達(dá)90%以上的性能。

困難像潮水，想把人的意志力打成砂礫。

語(yǔ)音特征和認(rèn)知特征不同，

是非常密集的信號(hào)，有很多獨(dú)特的難題，

適配過程非常困難。

如是，此次攻堅(jiān)難度比上次更大，

僅是華為昇騰算子方面，

打磨出的語(yǔ)音模型算子的數(shù)量級(jí)大概是幾百個(gè)。

一場(chǎng)少見的酣暢的交流，

我也希望能把信息盡量保真地帶給讀者。

他們從始至終語(yǔ)速適中，

平和且堅(jiān)定，

仿佛哪怕難題不斷在視野中出現(xiàn)，

也時(shí)刻準(zhǔn)備好了，

總有下一個(gè)目標(biāo)，

下一場(chǎng)戰(zhàn)斗。

（完）