學(xué)術(shù)前沿 | 新型腦機(jī)接口 (BCI) 可即時(shí)合成語音

來源：腦機(jī)接口社區(qū)

一項(xiàng)新研究發(fā)現(xiàn)，通過分析神經(jīng)信號(hào)，腦機(jī)接口 (BCI) 現(xiàn)在幾乎可以即時(shí)合成因神經(jīng)退行性疾病而失去聲音的患者的語音。

研究人員提醒說，這種能夠幫助癱瘓患者恢復(fù)語言能力的設(shè)備要應(yīng)用于日常交流仍需很長時(shí)間。盡管如此，加州大學(xué)戴維斯分校神經(jīng)義肢實(shí)驗(yàn)室的項(xiàng)目科學(xué)家 Maitreyee Wairagkar 表示，他們希望這項(xiàng)研究“能夠開辟一條進(jìn)一步改進(jìn)這些系統(tǒng)的途徑——例如，通過技術(shù)轉(zhuǎn)讓給產(chǎn)業(yè)”。

腦機(jī)接口的一個(gè)主要潛在應(yīng)用是幫助因疾病或受傷而無法說話的人恢復(fù)溝通能力。例如，科學(xué)家已經(jīng)開發(fā)出多種腦機(jī)接口，可以幫助將神經(jīng)信號(hào)轉(zhuǎn)換為文本。

然而，單靠文本無法捕捉人類語音的許多關(guān)鍵方面，例如有助于傳達(dá)含義的語調(diào)。此外，Wairagkar 表示，基于文本的交流速度很慢。

現(xiàn)在，研究人員開發(fā)了一種名為“腦轉(zhuǎn)語音”的神經(jīng)假體，可以實(shí)時(shí)將神經(jīng)活動(dòng)解碼為聲音。他們于 6 月 11 日在《自然》雜志上詳細(xì)介紹了他們的研究成果。

“因神經(jīng)系統(tǒng)疾病而失去說話能力是毀滅性的，”Wairagkar 說。“開發(fā)一種能夠繞過受損神經(jīng)系統(tǒng)通路來恢復(fù)說話能力的技術(shù)，將對(duì)失語人士的生活產(chǎn)生重大影響。”

用于言語恢復(fù)的神經(jīng)映射

新的腦機(jī)接口 (BCI) 使用四個(gè)微電極陣列來映射神經(jīng)活動(dòng)。科學(xué)家們總共在三個(gè)大腦區(qū)域放置了 256 個(gè)微電極陣列，其中最主要的是腹側(cè)中央前回，它在控制說話肌肉方面發(fā)揮著關(guān)鍵作用。

“這項(xiàng)技術(shù)并不能‘讀懂’或‘讀懂內(nèi)心的想法’，”Wairagkar 說。 “我們從控制言語肌肉的大腦區(qū)域進(jìn)行記錄。因此，系統(tǒng)僅在參與者主動(dòng)嘗試說話時(shí)才會(huì)發(fā)出聲音。”

研究人員將腦機(jī)接口（BCI）植入一位45歲的肌萎縮側(cè)索硬化癥（ALS）志愿者體內(nèi)，ALS是一種神經(jīng)退行性疾病，也稱為盧伽雷氏癥。雖然這位志愿者仍然可以發(fā)出聲音，但在植入BCI之前的幾年里，他一直無法獨(dú)自發(fā)出清晰的語音。

神經(jīng)假體記錄了患者嘗試大聲朗讀屏幕上的句子時(shí)產(chǎn)生的神經(jīng)活動(dòng)。隨后，科學(xué)家們利用這些數(shù)據(jù)訓(xùn)練了一個(gè)深度學(xué)習(xí)人工智能模型，使其能夠生成患者想要表達(dá)的語音。

研究人員還利用患者患病前的錄音訓(xùn)練了一個(gè)語音克隆人工智能模型，以便BCI能夠合成患者患病前的聲音。研究指出，患者表示，聽到合成的聲音“讓我感到快樂，感覺就像我真實(shí)的聲音一樣”。

在實(shí)驗(yàn)中，科學(xué)家發(fā)現(xiàn)腦機(jī)接口 (BCI) 能夠檢測到預(yù)期語音語調(diào)的關(guān)鍵方面。他們讓患者嘗試將一組句子以陳述句（音調(diào)不變）或疑問句（句末音調(diào)上升）的形式說出來。他們還讓患者通過改變音調(diào)來強(qiáng)調(diào)“我從未說過她偷了我的錢”這句話中七個(gè)單詞中的一個(gè)。（這個(gè)句子有七種不同的含義，取決于強(qiáng)調(diào)哪個(gè)單詞。）這些測試表明，在問題結(jié)尾和強(qiáng)調(diào)單詞之前，神經(jīng)活動(dòng)有所增強(qiáng)。反過來，這使得患者能夠控制自己的腦機(jī)接口 (BCI) 聲音，從而能夠提出問題、強(qiáng)調(diào)句子中的特定單詞或唱出三音調(diào)旋律。

“我們說什么，怎么說也同樣重要，”Wairagkar 說。“語調(diào)有助于我們有效地溝通。”

總而言之，新的腦機(jī)接口 (BCI) 可以獲取神經(jīng)信號(hào)并以 25 毫秒的延遲發(fā)出聲音，從而實(shí)現(xiàn)近乎即時(shí)的語音合成，Wairagkar 說道。事實(shí)證明，BCI 足夠靈活，能夠說出自創(chuàng)的假詞，以及諸如“啊”、“呃”、“哦”和“嗯”之類的感嘆詞。

最終的聲音通常清晰易懂，但并非始終如一。在測試中，人類聽眾需要轉(zhuǎn)錄 BCI 的話語，他們理解患者話語的準(zhǔn)確率約為 56%，而未使用 BCI 時(shí)僅為 3%。

“我們并非聲稱這套系統(tǒng)已經(jīng)準(zhǔn)備好供失去說話能力的人使用，并進(jìn)行對(duì)話，”Wairagkar 說道。“相反，我們只是展示了當(dāng)前 BCI 技術(shù)所能實(shí)現(xiàn)的概念驗(yàn)證。”

未來，科學(xué)家們計(jì)劃提升該設(shè)備的準(zhǔn)確性，例如，增加電極數(shù)量和改進(jìn)AI模型。他們還希望腦機(jī)接口公司能夠開展臨床試驗(yàn)，將這項(xiàng)技術(shù)融入其中。“目前尚不清楚這種腦機(jī)接口是否適用于完全閉鎖（locked in）的人”——也就是說，除了眼球運(yùn)動(dòng)和眨眼之外，幾乎完全癱瘓，Wairagkar補(bǔ)充道。

另一個(gè)有趣的研究方向是研究這種語音腦機(jī)接口是否能幫助語言障礙患者，例如失語癥患者。“我們目前的目標(biāo)患者群體是由于肌肉麻痹而無法說話，”Wairagkar說道。“然而，他們產(chǎn)生語言和認(rèn)知的能力仍然完好無損。” 她指出，與此相反，未來的研究可能會(huì)研究如何恢復(fù)大腦中負(fù)責(zé)說話的區(qū)域受損或因殘疾而自幼無法學(xué)習(xí)說話的人的語言能力。

閱讀最新前沿科技趨勢報(bào)告，請(qǐng)?jiān)L問歐米伽研究所的“未來知識(shí)庫”

https://wx.zsxq.com/group/454854145828

未來知識(shí)庫是“ 歐米伽 未來研究所”建立的在線知識(shí)庫平臺(tái)，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級(jí)智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進(jìn)入。