All in AI再落一子：深度解讀安謀科技“玲瓏”V560/V760

去年，安謀科技CEO陳鋒正式對(duì)外發(fā)布“AI arm CHINA”戰(zhàn)略發(fā)展方向，同時(shí)發(fā)布“周易”X3 NPU。自此以后，“All in AI”的安謀科技正在扮演“全球技術(shù)橋梁”角色，一方面引進(jìn)Arm的前沿技術(shù)，另一方面深度融合本土自研IP創(chuàng)新，為中國(guó)集成電路產(chǎn)業(yè)提供全棧解決方案。

當(dāng)前，安謀科技坐擁“周易”“星辰”“山海”“玲瓏”四大產(chǎn)品線，“周易”之后，“玲瓏”成為下一個(gè)全面擁抱AI的產(chǎn)品線。3月23日，安謀科技正式發(fā)布“玲瓏”V560/V760 VPU IP，堪稱VPU中的六邊形戰(zhàn)士。為此，EEWorld特此采訪了安謀科技的負(fù)責(zé)人，深度解讀了這一產(chǎn)品背后的故事。

值得注意的是，此次發(fā)布會(huì)亦是安謀科技喬遷至“西岸智塔”后的首場(chǎng)活動(dòng)，此地作為AI產(chǎn)業(yè)高地，匯聚了完整的AI產(chǎn)業(yè)鏈。可見(jiàn)，安謀科技深化AI布局、積極融入本土生態(tài)、與產(chǎn)業(yè)伙伴共同開(kāi)拓AI新生態(tài)的戰(zhàn)略決心。

藏在名字里的深意與產(chǎn)品路線圖

首先，我們要知道VPU的核心價(jià)值到底是什么？安謀科技Arm China多媒體產(chǎn)品線研發(fā)負(fù)責(zé)人周華介紹，VPU英文全稱為Video Processing Unit，指的是視頻處理單元，是各類應(yīng)用的“超級(jí)視頻工匠”。由于視頻分辨率從4K到8K和10K，視頻分辨率在不斷提升，使得海量數(shù)據(jù)需要壓縮，通過(guò)專用的硬件編解碼，VPU能以極高的能效比完成視頻處理任務(wù)。從場(chǎng)景來(lái)看，VPU可應(yīng)用在可穿戴設(shè)備和物聯(lián)、智能手機(jī)、平板/電腦、機(jī)器視覺(jué)、汽車電子、服務(wù)器等各種領(lǐng)域。

安謀科技Arm China多媒體處理器研發(fā)負(fù)責(zé)人周華

安謀科技的VPU以“玲瓏”為產(chǎn)品線命名，“玲瓏”二字寓意深遠(yuǎn)，一是指圖像視頻的“玲瓏剔透”，追求極致的畫(huà)質(zhì)，二是指“八面玲瓏，游刃有余”，象征產(chǎn)品能靈活覆蓋萬(wàn)千應(yīng)用場(chǎng)景。

值得一提的是，“玲瓏”產(chǎn)品線的所有產(chǎn)品代號(hào)均采用中國(guó)山峰的名字命名。周華對(duì)此解釋：“一個(gè)人也許可以走得更快，但一群人可以走得更遠(yuǎn)，并肩翻越一座又一座的高山。”首款新品便以“峨眉”為號(hào)，體現(xiàn)了團(tuán)隊(duì)對(duì)技術(shù)高峰的追求與協(xié)作精神的崇尚。

迄今，“玲瓏”已推出包括“玲瓏”V560/V760在內(nèi)的五款產(chǎn)品：2021年的V5/V7主要增加了AVS 2.0的Decoder，H.264、H.265的編碼質(zhì)量提高了15%；2022年 “玲瓏”V6/V8增加了AV1的Decoder，H.264的編碼質(zhì)量相比V5/V7提高了10%；2024年 “玲瓏”V510/V710增加了H.266的編碼器和解碼器；2025年 “玲瓏”V520LE是專門為監(jiān)控打造的編解碼一體產(chǎn)品。

縱觀過(guò)去“玲瓏”VPU演進(jìn)圍繞三條主線展開(kāi)：一是編碼格式，從H.264/H.265到AV1、H.266；二是編碼質(zhì)量，從“能用”到追求極致；三是單核性能，用更小面積換取更高性能。此次發(fā)布代號(hào)為“峨眉”的V560/V760正是這一演進(jìn)路線的最新成果，將成為面向AI應(yīng)用的新一代視頻處理器IP。

堪稱“六邊形戰(zhàn)士”的“峨眉”

“AI正成為視頻的生產(chǎn)者、加工者和消費(fèi)者。”安謀科技Arm China VPU產(chǎn)品總監(jiān)汪弈磊Eason Wang指出，視頻應(yīng)用是AI不可或缺的要素，AI獲取的數(shù)據(jù)80%的數(shù)據(jù)來(lái)自視頻。AI應(yīng)用的蓬勃發(fā)展對(duì)視頻處理提出了更高要求：更強(qiáng)的性能、更高的質(zhì)量、更低的延時(shí)。玲瓏V560/V760正是為滿足這些需求而生。

為什么說(shuō)V560/V760堪稱VPU中的六邊形戰(zhàn)士，到底是哪六個(gè)邊？

汪弈磊指出，一是高性能，單核解碼性能較上一代提升100%；二是高魯棒性，強(qiáng)大的錯(cuò)誤處理性能，丟包率高至20%情境下仍可糾錯(cuò)解碼；三是高質(zhì)量低碼率，通過(guò)創(chuàng)新的內(nèi)容感知編碼技術(shù)，同等視頻碼率下解碼質(zhì)量平均提升20%，同等編碼質(zhì)量下視頻碼率平均降低20%；四是低延時(shí)，采用條帶級(jí)編解碼控制技術(shù)，延時(shí)可低至一幀的1/20；五是多OS支持，驅(qū)動(dòng)支持Linux/Android/Windows/RTOS等多OS硬件支持多OS/虛擬化應(yīng)用，滿足艙駕一體等復(fù)雜場(chǎng)景需求；六是信息安全，支持TrustZone內(nèi)容保護(hù)機(jī)制，提供高級(jí)Mosaic（馬賽克）功能，提供完善的隱私保護(hù)，有效保護(hù)視頻中的人臉、車牌等敏感信息。

之所以擁有如此強(qiáng)勁的性能，是由五大技術(shù)優(yōu)勢(shì)支撐強(qiáng)大功能：

• 條帶級(jí)編解碼控制技術(shù)：安謀科技的獨(dú)有的技術(shù)，實(shí)現(xiàn)了極致的靈活性與低延時(shí)，原理是將一幀畫(huà)面沿垂直方向切割成多個(gè)水平條帶，例如將一幀切成20個(gè)條帶，可以用20個(gè)核同時(shí)處理這20個(gè)條帶，實(shí)現(xiàn)真正的并行加速，與按整幀并行的方案相比，條帶間的依賴性更低，處理速度更快，延遲也更小；
• 靈活可配置的架構(gòu)：編碼解碼二合一，支持多核并行處理，可靈活適配多種任務(wù)；
• 全格式支持：全面支持H.266及所有主流編解碼標(biāo)準(zhǔn)；
• 內(nèi)容感知編碼技術(shù)：融入輕量化AI技術(shù)，自主識(shí)別圖像中的敏感與非敏感區(qū)域，提升編碼效率；
• 多配置全隔離的硬件運(yùn)行機(jī)制：從硬件層面支持多OS和內(nèi)容保護(hù)。

“峨眉”分為兩個(gè)SKU，V560面向4K及以下分辨率，最大兩核配置；V760面向8K及以下分辨率，最大四核配置。已有首批客戶獲得授權(quán)，其芯片產(chǎn)品將于今年陸續(xù)流片量產(chǎn)。

產(chǎn)品主要面向三大AI應(yīng)用場(chǎng)景：一是Edge AI（邊緣AI），包括手持?jǐn)z像設(shè)備、AI PC手機(jī)、Pad、TV、邊緣服務(wù)器、線上會(huì)議等，二是Cloud AI（云端AI），包括AI服務(wù)器、轉(zhuǎn)碼應(yīng)用等；三是Physical AI（物理AI），如機(jī)器視覺(jué)。

汪弈磊向EEWorld表示，云端是安謀科技重點(diǎn)布局的場(chǎng)景，因?yàn)椤岸朊肌钡母咝阅堋⒌脱舆t、強(qiáng)糾錯(cuò)等特性，與云端應(yīng)用的需求高度契合。但這并不意味著端側(cè)不重要，得益于靈活的可配置架構(gòu)，可以針對(duì)端側(cè)客戶的需求進(jìn)行靈活配置。例如，有客戶只需求H.264/H.265編解碼，就能在“峨眉”基礎(chǔ)上提供面積非常小的精簡(jiǎn)版本，用于圖傳等對(duì)功耗和誤碼率要求極高的設(shè)備。

此外，汪弈磊還強(qiáng)調(diào)，安謀科技不僅擁有強(qiáng)大的IP產(chǎn)品和全套多媒體解決方案，還擁有專業(yè)高效的團(tuán)隊(duì)和完整的知識(shí)體系，能夠?qū)崿F(xiàn)高交付質(zhì)量，同時(shí)支持客戶定制需求。

安謀科技Arm China VPU產(chǎn)品總監(jiān)汪弈磊Eason Wang

架構(gòu)特點(diǎn)和技術(shù)亮點(diǎn)

“當(dāng)前，從廣播電視、互聯(lián)網(wǎng)視頻到運(yùn)動(dòng)相機(jī)、機(jī)器視覺(jué)，再到海量涌現(xiàn)的AIGC內(nèi)容，多元、實(shí)時(shí)、海量的視頻內(nèi)容正爆炸式地呈現(xiàn)在我們面前。在這樣的背景下，設(shè)計(jì)一個(gè)能夠動(dòng)態(tài)適配不同內(nèi)容場(chǎng)景、靈活響應(yīng)不同內(nèi)容需求的VPU架構(gòu)，是決定其產(chǎn)品競(jìng)爭(zhēng)力的關(guān)鍵。”安謀科技Arm China VPU研發(fā)總監(jiān)黃鑫博士向EEWorld介紹道。

以自動(dòng)駕駛為例，安謀科技希望VPU架構(gòu)不僅擁有強(qiáng)大的核心動(dòng)力引擎，還能像智能駕駛系統(tǒng)一樣，具備不斷OTA升級(jí)迭代的能力。為此，安謀科技設(shè)計(jì)了一套軟件層、固件層、硬件層的三層VPU架構(gòu)，三者深度協(xié)同、環(huán)環(huán)相扣，共同構(gòu)建核心競(jìng)爭(zhēng)力：

• 軟件層：負(fù)責(zé)動(dòng)態(tài)分配編解碼任務(wù)，調(diào)配硬件資源；
• 固件層：在編碼側(cè)進(jìn)行碼率控制與分配，在解碼側(cè)進(jìn)行碼流容錯(cuò)與修復(fù)，并協(xié)調(diào)多核工作；
• 硬件層：作為硬件加速器，追求面積、功耗與性能（PPA）的極致平衡，硬件層可細(xì)分為像素域引擎和碼流域引擎兩部分，像素域引擎負(fù)責(zé)圖像的切分與處理，碼流域引擎負(fù)責(zé)碼流的生成與解析。

通過(guò)構(gòu)建這樣的架構(gòu)，安謀科技的VPU擁有兩個(gè)特點(diǎn)：一是以條帶為基本處理單元，所有處理都以條帶級(jí)為單位，這使我們與前級(jí)的交互粒度更細(xì)，實(shí)時(shí)性得到保證；二是像素域與碼流域解耦，通過(guò)解耦，多任務(wù)切換更加靈活，無(wú)需等待碼流域工作完成即可切換，在時(shí)分復(fù)用場(chǎng)景下顯著降低延遲。

安謀科技Arm China VPU研發(fā)總監(jiān)黃鑫博士

值得一提的是，V560/V760采用了“積木式堆疊”開(kāi)發(fā)邏輯，確保在整體方案最優(yōu)的前提下，實(shí)現(xiàn)IP的靈活授權(quán)，即在六個(gè)功能中隨意選擇搭配：底層視頻質(zhì)量提升、內(nèi)容感知編碼技術(shù)、基于H.266協(xié)議的全面提升、解碼性能翻倍、解碼容錯(cuò)處理、低延遲解決方案。

這意味著，對(duì)于轉(zhuǎn)碼應(yīng)用等客戶，安謀科技可以提供“高性能解碼+高質(zhì)量編碼”等模塊組合；對(duì)于需要低延遲、低功耗的終端客戶，則可提供高容錯(cuò)等模塊組合。每個(gè)客戶都能在統(tǒng)一的技術(shù)框架下，獲得專屬的最優(yōu)解決方案。

黃鑫主要介紹了其中三個(gè)技術(shù)亮點(diǎn)：

首先是內(nèi)容感知編碼（CAE）。該技術(shù)位于硬件處理的第一級(jí)。在獲取視頻信號(hào)時(shí)，V560/V760會(huì)對(duì)每個(gè)像素進(jìn)行深度的語(yǔ)義分析，并結(jié)合淺層的像素語(yǔ)義處理，將兩類信息同時(shí)提供給下一級(jí)編碼單元，幫助其做出最優(yōu)的編碼決策，從而在節(jié)省碼率的同時(shí)提升畫(huà)質(zhì)。

比如在低光照視頻中，人眼不敏感的高頻信號(hào)對(duì)編碼器卻是負(fù)擔(dān)，開(kāi)啟CAE后，可大幅節(jié)省碼率，特定場(chǎng)景下碼率最大可降低80%，同時(shí)主觀畫(huà)質(zhì)得到保證，部分細(xì)節(jié)甚至得到增強(qiáng)；再比如，在高運(yùn)動(dòng)、低碼率場(chǎng)景中，開(kāi)啟CAE后，畫(huà)面中如煙囪、字體等細(xì)節(jié)部分，噪聲更少，呈現(xiàn)更清晰。

其次是解碼魯棒性全面提升。在這一代產(chǎn)品中，安謀科技對(duì)解碼魯棒性做了全面升級(jí)。無(wú)論是對(duì)0.1%還是高達(dá)20%的丟包率，無(wú)論是簡(jiǎn)單的比特翻轉(zhuǎn)還是整包丟失，容錯(cuò)機(jī)制都能無(wú)縫支持。即便遇到極端錯(cuò)誤，也可通過(guò)升級(jí)固件來(lái)保持產(chǎn)品的魯棒性。

最后是獨(dú)特的低延時(shí)解決方案。這一優(yōu)勢(shì)得益于條帶技術(shù)，當(dāng)前級(jí)數(shù)據(jù)準(zhǔn)備好后，即可無(wú)縫進(jìn)行編碼，無(wú)需等待整幀。此外，多條帶可在不同核上并行處理，實(shí)現(xiàn)性能的線性疊加。與友商通過(guò)切分畫(huà)面導(dǎo)致質(zhì)量受損的方案不同，V560/760在多核并行時(shí)不切分圖像，在提升性能的同時(shí)確保了畫(huà)質(zhì)零損失。

下一代AI VPU訓(xùn)練框架

汪弈磊還特別介紹了“玲瓏”VPU的編碼技術(shù)演進(jìn)路線圖，過(guò)往產(chǎn)品采用智能編碼器，被動(dòng)接受系統(tǒng)調(diào)用，根據(jù)系統(tǒng)配置編碼；當(dāng)前的“峨眉”則采用內(nèi)容感知編碼（CAE）技術(shù)，自主識(shí)別敏感區(qū)域，像素級(jí)預(yù)處理，提升編碼效率和質(zhì)量；未來(lái)的產(chǎn)品將采用端到端AI編碼技術(shù)，深度感知、全局最優(yōu)，可針對(duì)不同應(yīng)用訓(xùn)練定制VPU版本。

黃鑫介紹，基于下一代的AI VPU訓(xùn)練框架，安謀科技可以用更大的感知模型替換現(xiàn)有模塊，用更全面的AI應(yīng)用替代主觀視覺(jué)判斷。

通過(guò)端到端的訓(xùn)練方式，AI VPU編碼器將實(shí)現(xiàn)兩大跨越，一是從局部?jī)?yōu)化跨越到端到端優(yōu)化，二是從主觀視覺(jué)跨越到AI萬(wàn)象優(yōu)化。

持續(xù)迭代，服務(wù)為王

“編碼格式、編碼質(zhì)量、單核性能，是我們產(chǎn)品持續(xù)演進(jìn)的三條主線。”周華向EEWorld坦言，當(dāng)前市場(chǎng)非常“卷”，每年都必須進(jìn)步。對(duì)此，汪弈磊舉了一個(gè)例子，比如客戶開(kāi)始對(duì)編碼質(zhì)量有了極致的追求。客戶現(xiàn)在會(huì)用專業(yè)工具一幀一幀地?fù)讣?xì)節(jié)，比如對(duì)比不同編碼器下，樹(shù)葉的紋理、路面的細(xì)節(jié)保留得如何，主觀畫(huà)質(zhì)和客觀指標(biāo)都要求極高。

這種“卷”的方向，正是安謀科技持續(xù)迭代的動(dòng)力。通過(guò)引入內(nèi)容感知編碼等技術(shù)，在相同碼率下大幅提升畫(huà)質(zhì)，或在相同畫(huà)質(zhì)下大幅降低碼率，以滿足客戶在存儲(chǔ)、傳輸帶寬和最終應(yīng)用效果上的苛刻要求。

當(dāng)下VPU市場(chǎng)競(jìng)爭(zhēng)也非常激烈，每家都有自己的優(yōu)勢(shì)。安謀科技的核心優(yōu)勢(shì)主要體現(xiàn)在四點(diǎn)：

• 技術(shù)領(lǐng)先性：如條帶級(jí)編解碼控制技術(shù)，能實(shí)現(xiàn)低延遲和多核并行的性能線性提升，且不損失畫(huà)質(zhì)；
• 性能與面積：通過(guò)持續(xù)的微架構(gòu)優(yōu)化，力求用更小的面積實(shí)現(xiàn)更高的性能；
• 靈活性：架構(gòu)支持編碼、解碼融合或分離，支持多核多任務(wù)，能靈活適應(yīng)不同應(yīng)用；
• 本地化服務(wù)：，安謀科技能夠提供及時(shí)、深入的技術(shù)支持，甚至可派遣工程師到客戶公司現(xiàn)場(chǎng)解決問(wèn)題，這對(duì)客戶而言至關(guān)重要。

來(lái)源：電子工程世界（EEWorld） 作者：付斌