小米聲學(xué)語音技術(shù)發(fā)展已久，也已落地小米多款產(chǎn)品。近日拢肆，小米宣布减响，小米的聲學(xué)語音技術(shù)已經(jīng)實現(xiàn)全面自研，多項重磅技術(shù)首次落地郭怪，官方稱「在自研部分領(lǐng)域持續(xù)領(lǐng)先支示，聲學(xué)語音技術(shù)已迎來全新時代」。

不久前鄙才，小米發(fā)布了小愛音箱 Art颂鸿，首次采用金屬機(jī)身設(shè)計，作為小米推出的第 9 款智能音箱攒庵，背后的聲學(xué)語音技術(shù)也重磅升級嘴纺，搭載第三代小愛同學(xué)，支持情感化語音交互浓冒、全屋播放及就近喚醒等栽渴。

語音交互：實現(xiàn)「情感化」，業(yè)內(nèi)首家情感化 TTS

對于智能設(shè)備而言稳懒，實現(xiàn)情感化語音交互是一項挑戰(zhàn)闲擦。

「情感」本身就是主觀的、多樣的感受场梆，一種情感可以有多種呈現(xiàn)形式墅冷，更適合人與人的面對面對話。情感化語音交互對技術(shù)要求較高或油，要技術(shù)方寞忿、數(shù)據(jù)方、質(zhì)檢方等多方對情感濃度顶岸、情感詮釋方式等標(biāo)準(zhǔn)達(dá)成共識罐脊，將較主觀的情感音素統(tǒng)一化定嗓、標(biāo)準(zhǔn)化。

隨著人工智能技術(shù)的發(fā)展萍桌，在實現(xiàn)人機(jī)對話的基礎(chǔ)上宵溅，各大廠商都在情感化語音交互的領(lǐng)域探索。為了讓機(jī)器加入情感元素上炎，小米 AI 實驗室在「情感數(shù)據(jù)量有限」的前提下恃逻，通過不同聲學(xué)模型、不同聲碼器組合最終上線自然藕施、擬人效果的情感 TTS（Text to speech寇损，人工語音合成），成為業(yè)內(nèi)首家情感化 TTS 大規(guī)模落地的企業(yè)裳食。

通過小米 AI 實驗室的不斷深耕矛市，此次小米小愛同學(xué) Art 全面支持情感化語音交互，基于有限但類型不同的情感音頻數(shù)據(jù)（如開心诲祸、關(guān)心浊吏、害羞、驚訝等）救氯，通過不同技術(shù)訓(xùn)練并迭代聲學(xué)模型找田，最終支持情感 TTS 合成并實現(xiàn)「小愛同學(xué)」音色情感化、擬人化着憨。

未來墩衙，小米語音將升級此技術(shù)——支持情感 TTS 實時合成。

從下圖中可以看出甲抖，在大數(shù)據(jù)集的預(yù)訓(xùn)練模型基礎(chǔ)上漆改，利用目標(biāo)說話人的中性情感數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行微調(diào)，得到目標(biāo)說話人的中性情感模型准谚；在此基礎(chǔ)上用帶情感的小批量數(shù)據(jù)對模型進(jìn)一步微調(diào)籽懦，最終得到不同情感的模型，最終實現(xiàn)情感合成氛魁。

在國內(nèi)語音助手行業(yè)中暮顺，小米首次實現(xiàn)情感化 TTS 的大規(guī)模落地，未來將打造情感更加豐富的「小愛同學(xué)」秀存，為用戶提供多元化的語音交互體驗捶码，為 IoT 設(shè)備增加更豐富更立體更逼真的語音交互體驗。

AIoT 放音技術(shù)：首次實現(xiàn)一句話全屋同步播放相同音頻功能

小米小愛音箱 Art或链，是首款可以實現(xiàn)語音支持全屋播放的設(shè)備惫恼。用戶直接對小愛同學(xué)說「全屋播放 XXX」，無需提前在 App 端進(jìn)行手動設(shè)置澳盐，即可實現(xiàn)一句話語音交互祈纯，為用戶提供了更便捷的使用方式令宿。

要實現(xiàn)這一功能，音箱需要具備 AIoT 放音的技術(shù)腕窥。小米 AIoT 放音的自研技術(shù)在攻克無線網(wǎng)絡(luò)抖動粒没、晶振時鐘漂移以及弱網(wǎng)下數(shù)據(jù)不可達(dá)等一系列技術(shù)難題后，將不同音箱播放聲音的同步優(yōu)化到微秒級別簇爆，同時還實現(xiàn)了在不同型號的音箱之間的數(shù)據(jù)同步癞松，提供更細(xì)膩的音質(zhì)和寬廣的聲像。

由這張圖可見入蛆，立體聲支持 APP 創(chuàng)建組網(wǎng)响蓉，才能進(jìn)行語音指令和 APP 操作播放，全屋播放同時支持語音指令和 APP 創(chuàng)建組網(wǎng)哨毁。

立體聲功能同時支持語音指令和 app 操作播放枫甲，云端音頻流下發(fā)至音箱 A，音箱 A 將立體聲分離為左右聲道扼褪，音箱 A 自己播放左聲道音頻并將右聲道音頻流下發(fā)給音箱 B想幻，由 B 音箱播放右聲道，精準(zhǔn)的同步技術(shù)保證音箱A和B同時播放立體聲的左右聲道音頻迎捺。全屋播放功能支持語音指令和 app 創(chuàng)建組網(wǎng)举畸，音頻流下發(fā)至音箱 C查排，音箱 C 將音頻流混合為單聲道信號并下發(fā)給組內(nèi)其他的音箱設(shè)備同時播放凳枝，不區(qū)分聲道，可支持多個設(shè)備跋核。

就近喚醒：業(yè)內(nèi)首次上線岖瑰，跨設(shè)備關(guān)閉鬧鐘功能

早在 2018 年，小米音箱系列就上線了就近喚醒功能砂代。值得一提的是蹋订，此次小米小愛音箱 Ar t就近喚醒全新升級，可支持跨設(shè)備關(guān)閉鬧鐘刻伊。遠(yuǎn)處的音箱鬧鐘響了露戒，喚醒近處的音箱可以直接關(guān)閉遠(yuǎn)處的鬧鐘。此功能在業(yè)內(nèi)首次上線捶箱，小米小愛音箱 Art 也是首款支持該功能的產(chǎn)品智什。

說到就近喚醒，小米早在 2018 年就上線這一功能丁屎，截止 2020 年 4 月 28 日荠锭，分布式就近喚醒已為多設(shè)備用戶累計避免約 6.82 億次設(shè)備同時喚醒，準(zhǔn)確率達(dá)到 98%晨川。近期首發(fā)上線了端云多維度結(jié)合的就近喚醒綜合決策策略证九，深入加強(qiáng)多設(shè)備狀態(tài)信息聯(lián)動删豺，智能判決空間信息，進(jìn)一步提升了家庭復(fù)雜網(wǎng)絡(luò)環(huán)境的兼容性愧怜，同時做到了多設(shè)備響應(yīng)的唯一執(zhí)行呀页，大幅提升用戶體驗。

未來叫搁，小米將專注于家居復(fù)雜場景應(yīng)用赔桌、智能聲學(xué)感知和多傳感融合。在復(fù)雜的家庭結(jié)構(gòu)環(huán)境中渴逻，保證算法的可用性疾党，讓每個設(shè)備主動感知所處的不同環(huán)境，根據(jù)環(huán)境完成算法自適應(yīng)惨奕，將數(shù)據(jù)結(jié)果取長補(bǔ)短雪位，相互融合，實現(xiàn)多維度智能感知梨撞。

兩麥陣列喚醒：兼顧低功耗與高性能雹洗，高效降噪，獲得干凈人聲

小米小愛音箱 Art 同步支持兩麥陣列喚醒技術(shù)卧波。在麥克風(fēng)陣列方面时肿，小米采用兩麥盲源分離降噪前端，通過盲源分離港粱、降噪螃成、回聲消除等技術(shù)，在多聲源的嘈雜環(huán)境查坪、音箱自身播放音樂時寸宏，都能結(jié)合語音增強(qiáng)技術(shù)，消除噪音的強(qiáng)干擾偿曙，獲得干凈氮凝、準(zhǔn)確的人聲音頻。

在喚醒方面望忆，為了兼顧低功耗與高性能罩阵，自研語音喚醒算法采用雙級喚醒策略。

低功耗待機(jī)喚醒詞檢測模型启摄，利用子采樣與共享隱含層等技術(shù)稿壁，減少模型資源消耗的同時保證召回率在一個較高的水平。高性能誤喚醒檢測模型鞋仍，采用粗粒度建模單元常摧，結(jié)合局部信息與長時上下文信息，高效抑制誤喚醒。通過從海量數(shù)據(jù)中自動挖掘高區(qū)分度訓(xùn)練樣本落午，再經(jīng)過數(shù)據(jù)擴(kuò)充技術(shù)谎懦，提高喚醒模型在低信噪比與小音量場景下的魯棒性。

據(jù)小米官方數(shù)據(jù)溃斋，現(xiàn)在界拦，小米 IoT 平臺連接的智能硬件數(shù)已達(dá)到 2.5 億臺，音箱出貨量已經(jīng)達(dá)到 2200 萬臺梗劫。在這么大的用戶體量下享甸，如何讓基礎(chǔ)體驗持續(xù)提升，且提升產(chǎn)品在 AI 體驗上的創(chuàng)新性梳侨，對自研 AI 團(tuán)隊來說是非常重要的使命蛉威。

編輯：左一 / 深圳灣

資訊來源：小米