上個(gè)月，Rokid 發(fā)布了最新的便攜式智能音箱 Rokid Me缴淋，和此前 Rokid 兩款家用智能音箱產(chǎn)品不同准给，便攜類 AI 產(chǎn)品對(duì)芯片提出了新的要求泄朴。Rokid 副總裁及基礎(chǔ)平臺(tái)負(fù)責(zé)人周軍博士在深圳灣 WARE 2018 AI 芯片與應(yīng)用峰會(huì)上提到，便攜式 AI 產(chǎn)品對(duì)芯片的功耗和運(yùn)算能力要求更苛刻露氮，算法也要適配很多場(chǎng)景祖灰，通用芯片已經(jīng)不能滿足這類產(chǎn)品的需要。

「為了真正的做好這樣一個(gè)產(chǎn)品畔规，需要從系統(tǒng)層面上考慮到芯片的規(guī)劃局扶，這也是我們當(dāng)時(shí)做芯片的初衷∪ǎ」周軍從性能三妈、功耗、集成度莫绣、成本等維度分享了 Rokid 自研 AI 芯片 KAMINO18 的設(shè)計(jì)過程畴蒲。

以下是周軍博士在 WARE 2018 芯片與應(yīng)用峰會(huì)上的演講及會(huì)后問答實(shí)錄，由深圳灣整理發(fā)布对室。

- 現(xiàn)場(chǎng)回放 -

移動(dòng) AI 產(chǎn)品的新需求催生自研 AI 芯片

我今年加入 Rokid 公司模燥，之前一直在三星工作。Rokid 2014 年成立掩宜，主要做人機(jī)交互方面技術(shù)的探索蔫骂，現(xiàn)在總部在杭州。我們音箱方面的產(chǎn)品第一款叫外星人牺汤，2014 年開始研發(fā)辽旋，帶屏幕顯示和攝像頭。后面還有一款產(chǎn)品（月石）慧瘤，價(jià)格稍微低一點(diǎn)戴已，主要在家庭里面使用。

最新的產(chǎn)品叫 Rokid Me锅减，它是帶電池的糖儡，可以隨身攜帶。這樣的產(chǎn)品出來(lái)怔匣，我們發(fā)現(xiàn)對(duì)芯片要求特別高握联。放在家里的產(chǎn)品插上電源就可以，對(duì)功耗的要求不是那么嚴(yán)格每瞒，如果做成像手機(jī)一樣便攜金闽，對(duì)功耗和運(yùn)算能力有非常高的要求，算法也要適配很多場(chǎng)景剿骨，對(duì)芯片的需求也就更高代芜。

我們第一代產(chǎn)品用了三星 410，第二代產(chǎn)品用的是高通芯片浓利。為了做實(shí)時(shí)的喚醒挤庇，我們綁定了兩個(gè)核在上面跑钞速，兩個(gè)比較大的核會(huì)一直在工作，所以整個(gè)產(chǎn)品的功耗就會(huì)比較高嫡秕，沒有辦法做到便攜渴语，而且對(duì)芯片要求比較高，最少需要四核或者八核的芯片才能跑完這樣的系統(tǒng)昆咽。

智能音箱最早都是用通用芯片做開發(fā)驾凶，通用芯片沒有考慮到智能音箱場(chǎng)景的特殊要求，所以為了真正的做好一個(gè)產(chǎn)品掷酗，需要從系統(tǒng)層面上考慮到芯片的規(guī)劃调违，這也是我們當(dāng)時(shí)做芯片的一個(gè)初衷。

2016 年開始汇在，我們和國(guó)芯一起聯(lián)合開發(fā)了這樣一款芯片翰萨。我們這款芯片是一款「物盡其用的 AI 芯片」，名字叫 KAMINO18糕殉，KAMINO 是『星球大戰(zhàn)』里面生產(chǎn)克隆人的星球的名字，所以我們希望這樣的方案和芯片出來(lái)之后可以快速和穩(wěn)定殖告，在各個(gè)行業(yè)可以進(jìn)行使用阿蝶。

芯片的設(shè)計(jì)的幾個(gè)考量維度：性能、功耗黄绩、集成度和成本

我們從幾個(gè)維度考慮芯片的設(shè)計(jì)羡洁，首先是性能。通用的芯片都是用 CPU 做運(yùn)算爽丹。我們首先要考慮到語(yǔ)音信號(hào)的處理筑煮，所以還選擇集成 DSP 的芯片，處理語(yǔ)音算法會(huì)有一個(gè)數(shù)量級(jí)的提升粤蝎，用比較小的空間就可以做更多的事情真仲。我們現(xiàn)在的 ASR 或者 NLP 都是使用深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)的算法初澎，因?yàn)?CPU 運(yùn)算會(huì)非常低效秸应，所以我們定制了 NPU ，可以提高 30碑宴！50 倍的效果软啼，我們用異構(gòu)的架構(gòu)提升性能，而不是單純用 CPU 來(lái)算復(fù)雜的算法延柠。

第二個(gè)比較重要的是功耗祸挪。剛才說(shuō)了，用通用芯片來(lái)做喚醒功能贞间，可能需要兩個(gè)大核綁定來(lái)運(yùn)算贿条，造成整個(gè)功耗沒有辦法下來(lái)雹仿，所以定義這個(gè)芯片的時(shí)候，我們會(huì)考慮到功耗方面針對(duì)智能音箱的優(yōu)化闪唆，比如我們加入硬件 VAD 的功能盅粪，它的作用就是有語(yǔ)音的時(shí)候就把系統(tǒng)喚醒喚醒，沒有語(yǔ)音的時(shí)候系VAD統(tǒng)在睡眠狀態(tài)悄蕾，大部分情況下不工作票顾，可以省電，而通用芯片會(huì)可能就會(huì)一直在工作帆调。我們會(huì)針對(duì)智能音箱產(chǎn)品的特點(diǎn)奠骄，我們會(huì)劃分出幾個(gè)不同功率管理的模塊，比如喚醒模塊番刊，只需要用的 MCU加一個(gè)小型的 NPU 就可以完成工作含鳞，所以喚醒的時(shí)候并不需要把 CPU 全部打開，整個(gè)系統(tǒng)的功耗可以做到非常低芹务。

再一個(gè)考慮的是集成度蝉绷。比如之前的通用芯片不能支持多路麥克風(fēng)的接入，最早的產(chǎn)品我們還用了 CPID 對(duì)音頻信號(hào)進(jìn)行合成枣抱，現(xiàn)在的芯片支持多路麥克風(fēng)輸入和模擬麥克風(fēng)輸入熔吗，就不需要外部芯片來(lái)做，為了體積和面積的減少佳晶，我們集成了 Audio Codec桅狠、DDR，如果做模組轿秧，整個(gè)面積會(huì)非常非常小中跌。

KAMINO 18 芯片的主要特點(diǎn)

它是 SoC 的芯片，我們用了 NPU菇篡、DSP 和 CPU 異構(gòu)的計(jì)算漩符，會(huì)支持 TensorFlow 等通用模型，我們也支持?jǐn)U展的私有算法逸贾，直接對(duì) NPU 進(jìn)行操作陨仅，比如 TensorFlow 為了通用性的，數(shù)據(jù)搬運(yùn)流程非常復(fù)雜铝侵，我們?cè)谏厦孀隽撕芏鄡?yōu)化灼伤，所以我們的效率會(huì)提高非常多。

軟件方面集成了很多先進(jìn)的算法咪鲜，我們支持 CTC 的模型狐赡，這是端到端的聲學(xué)模型。它的好處疟丙，一是可以支持離線的識(shí)別颖侄，不需要連上網(wǎng)絡(luò)也可以做一些指令控制家電和故事機(jī)等等鸟雏；二是支持自定義的喚醒詞，尤其是對(duì)便攜式览祖、個(gè)性化的產(chǎn)品特別特別重要孝鹊，可能會(huì)做出一些個(gè)性化的產(chǎn)品出來(lái)。

另外由于它有 DSP展蒂，所以我們可以做更復(fù)雜又活、更強(qiáng)大的算法，我們叫相控陣麥克風(fēng)技術(shù)锰悼。以前算力不夠的情況下柳骄，針對(duì)空間的音源，我們會(huì)用輪詢的方式在 360 度的空間里面運(yùn)算箕般，但是這樣會(huì)有滯后性耐薯。我們的 DSP 和 NPU 比較強(qiáng)大，可以同時(shí)監(jiān)聽 12 路方向丝里，根據(jù)聲音的強(qiáng)度和頻譜的特點(diǎn)選出 4 路或者 8 路聲音做實(shí)時(shí)追蹤曲初，還可以做定向語(yǔ)音接收的增強(qiáng)，然后把這些數(shù)據(jù)導(dǎo)入到 NPU 里面杯聚，實(shí)時(shí)判斷是不是需要被喚醒的方向复斥。這也是芯片運(yùn)算能力強(qiáng)大之后才能做這樣的算法。

我們現(xiàn)在一方面是我們自己的產(chǎn)品會(huì)用自己的芯片做量產(chǎn)械媒，因?yàn)橛谐杀緝?yōu)勢(shì)和技術(shù)上面的突破。我們還有一些其他的客戶评汰，包括內(nèi)容提供商纷捞、家電公司、互聯(lián)網(wǎng)公司被去，他們可能做兒童教育或者各種各樣的產(chǎn)品主儡，已經(jīng)在用我們的芯片來(lái)做，已經(jīng)可以實(shí)現(xiàn)百萬(wàn)級(jí)量產(chǎn)惨缆。

- 媒體對(duì)話芯片廠商 -

對(duì)談嘉賓：
周軍 / Rokid 副總裁及基礎(chǔ)平臺(tái)負(fù)責(zé)人
炫姐姐 / 深圳灣

炫姐姐：從三星加入 Rokid 這樣一家創(chuàng)業(yè)公司之后整體的感受有什么變化糜值？

周軍：變化還是蠻大的，因?yàn)槿菍儆谘?guī)蹈矩的大公司坯墨，有規(guī)范的流程寂汇，也很好，但是 Rokid 屬于創(chuàng)業(yè)的公司捣染，更加有激情骄瓣。我們公司有幾個(gè)核心價(jià)值觀，其中一個(gè)是自我驅(qū)動(dòng)耍攘，所以大家都是比較努力干活和追求極致的榕栏。我們還講究玩的精神畔勤，我們不僅僅是做產(chǎn)品，也在探索新的技術(shù)扒磁，也會(huì)有很多新東西讓大家一起玩庆揪，有很多新的技術(shù)大家一起探索》镣校「玩」的精神也是我們其中一個(gè)核心的價(jià)值觀缸榛。

炫姐姐：您現(xiàn)在負(fù)責(zé)的工作是整體架構(gòu)，您在開始負(fù)責(zé)這塊工作之后為 Rokid 帶來(lái)了哪些方面的優(yōu)化始鱼？

周軍：之前 Rokid 基本上還是產(chǎn)品導(dǎo)向仔掸，做產(chǎn)品的開發(fā)，代碼架構(gòu)也是按照這樣的方式管理医清，但是客戶和產(chǎn)品比較多之后起暮，這個(gè)模式會(huì)遇到瓶頸，比如某個(gè)項(xiàng)目中發(fā)生的問題解決掉会烙，但是不能反饋到其他客戶或者其他項(xiàng)目负懦，所以一個(gè)大的改變是以平臺(tái)為主導(dǎo)，一個(gè)客戶柏腻、一個(gè)項(xiàng)目出現(xiàn)的問題會(huì)很快反饋到其他項(xiàng)目纸厉，我們平臺(tái)會(huì)越來(lái)越穩(wěn)定，會(huì)支持更多客戶五嫂、更多項(xiàng)目颗品，這是比較大的變化。