讓AI聽得出、聽得清，聽得懂，成為每個人的真正“知音”，是云從人機協(xié)同戰(zhàn)略讓機器從知音到知心邁出的重要一步。

　　近日，云從科技語音技術(shù)取得多項重大突破，在語音識別、語義糾錯、深度學(xué)習(xí)降噪等領(lǐng)域刷新多項國際、國內(nèi)語音識別權(quán)威紀(jì)錄，超越亞馬遜、搜狗等企業(yè)創(chuàng)下的此前最好成績，夯實業(yè)界領(lǐng)先的技術(shù)地位。

　　此次云從創(chuàng)新提出的新模型，對應(yīng)語音技術(shù)不同角度的突破，包含巨大的應(yīng)用價值，推動技術(shù)朝更智能地“聽”邁進了一大步：

　　語義糾錯技術(shù)：在權(quán)威中文語音識別數(shù)據(jù)集Aishell和清華大學(xué)語音Thchs30測試集上，將字錯率(Character Error Rate，CER)第一遍WFST解碼以及第二遍RNN重打分結(jié)果分別相對降低21.7%和10.3%。

　　這意味著讓AI“聽得懂”：字錯率降低代表使語音更準(zhǔn)確地轉(zhuǎn)換文字，糾正語義的錯誤。

　　語音識別技術(shù)：刷新Aishell紀(jì)錄，將字錯率降低到4.34%，較過去最好成績降低了8%;云從團隊提出的新模型，巧妙融合了語音識別和說話人識別，提高識別率的同時，極大提升了在不同說話人場景下的魯棒性。

　　這意味著讓AI“聽得出”：將每個人同“指紋”一樣獨有的“聲紋”識別出來，指標(biāo)提升意味著更精準(zhǔn)識別出說話者。

　　深度學(xué)習(xí)降噪模型：在國際頂會Interspeech2020 DNS Challenge比賽數(shù)據(jù)集上取得了目前最好的結(jié)果。

　　這意味著讓AI“聽得清”：針對在嘈雜環(huán)境去除噪聲，使語音更清晰。

　　在語音技術(shù)高度發(fā)展的基礎(chǔ)上，每提升1個百分點的準(zhǔn)確率，都如同征服一座高山。此次云從一舉在三項語音技術(shù)上取得新突破、新模型，不僅展現(xiàn)出深厚的科研基礎(chǔ)與強大創(chuàng)新能力，同時也彰顯出云從技術(shù)實力的全面性與綜合性。近年來語音技術(shù)已經(jīng)廣泛應(yīng)用于人們的生活，但大多是依托智能語音設(shè)備在室內(nèi)安靜環(huán)境下的單人交互，云從團隊提出的多個創(chuàng)新模型，對于突破業(yè)界瓶頸，攻克嘈雜環(huán)境、多人對話等復(fù)雜應(yīng)用難題，具有重大意義。

　　在人工智能第二浪背景下，全鏈技術(shù)形成行業(yè)價值閉環(huán)、AI工程學(xué)的重要性日益突顯。云從科技在視覺、語音等技術(shù)頻頻突破，再次夯實核心技術(shù)閉環(huán)實力，為行業(yè)打造更全面、更有價值的智能化方案，為每個人構(gòu)筑更流程靈活的交互體驗。

　　創(chuàng)新研究模型 直擊技術(shù)難點

　　此前云從的語音技術(shù)已取得刷新全球最大開源語音識別數(shù)據(jù)集Librispeech紀(jì)錄、發(fā)表多篇頂會論文、發(fā)表多篇新型發(fā)明專利等成績。盡管近年來整個人工智能語音領(lǐng)域有了快速發(fā)展，但目前常見語音交互場景多是在安靜環(huán)境下的單人交互，在日常應(yīng)用仍有諸多問題亟待突破：例如在多人場景的語音、噪聲混合中，如何追蹤并識別至少一個聲音、正常在嘈雜環(huán)境下正常交流，也就是“雞尾酒會問題”，仍是研究者們致力解決的難題。

　　針對這些技術(shù)難點，云從在語音識別、語義糾錯、深度學(xué)習(xí)降噪等多個方向上，創(chuàng)新性提出新模型，并在多個數(shù)據(jù)集上刷新最優(yōu)成績。

　　語義糾錯：

　　針對常見的語法糾錯、拼寫糾錯與語音識別系統(tǒng)轉(zhuǎn)寫的錯誤分布差異較大、傳統(tǒng)模型不適合直接使用等問題，云從科技提出一種基于BART預(yù)訓(xùn)練模型的語義糾錯技術(shù)方案，不僅可以對數(shù)據(jù)中常見的拼寫錯誤進行糾正，還可以對一些常識錯誤、語法錯誤，甚至一些需要推理的錯誤進行糾正。

　　在云從科研團隊一萬小時語音數(shù)據(jù)的實驗中，糾錯模型可以將基于3gram WFST解碼結(jié)果的錯字率相對降低21.7%，取得與RNN重打分相近的效果。在RNN重打分的基礎(chǔ)上使用糾錯，可以進一步取得10.3%的CER相對降低。

　　部分糾錯示例如下：

　　語音識別：

　　云從科研團隊結(jié)合聲紋識別x-vector embedding以及自研multi-stream TDNNF結(jié)構(gòu)的XmasNet，刷新Aishell的紀(jì)錄，在測試集Aishell-test上CER指標(biāo)提高到4.34%，相比于SOTA，提升了8%。這種方法結(jié)合了最新的說話人識別技術(shù)，進一步提高了語音識別在口音環(huán)境下的識別率。

　　值得一提的是，本次云從團隊提出新模型結(jié)構(gòu)，在訓(xùn)練數(shù)據(jù)固定(原始178小時音頻)的情況下，僅通過優(yōu)化模型結(jié)構(gòu)，取得識別率的提升。

　　該結(jié)構(gòu)巧妙融合了語音識別和說話人識別，提高識別率的同時，極大提升了在不同說話人場景下的魯棒性。

　　x-vector embedding(上)以及XmasNet網(wǎng)絡(luò)結(jié)構(gòu)(下)

　　深度學(xué)習(xí)降噪：

　　云從科研團隊提出一種基于U-Net和注意力機制attention的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型CARN模型，在DNS Challenge比賽數(shù)據(jù)集上取得了目前最好的結(jié)果。

　　該數(shù)據(jù)集中，亞馬遜PoCoNet模型、西北工業(yè)大學(xué)和搜狗合作的DCCRN模型等在具有混響的仿真場景和真實場景下，只能得到中等品質(zhì)的音頻;相比之下，云從CARN模型在各類場景下均有優(yōu)秀表現(xiàn)，無論是沒有混響的仿真場景(no_reverb)、還是具有混響的仿真場景和真實場景下，都能大幅減少音頻中的噪音，處理取得清晰的優(yōu)質(zhì)音頻，提升音頻的清晰度。

　　堅持以人為核心 共創(chuàng)人機協(xié)同智能體驗

　　在人工智能行業(yè)，取得單點技術(shù)的領(lǐng)先實屬不易，但從人工智能產(chǎn)業(yè)發(fā)展角度來看，經(jīng)歷了對計算機視覺、語音識別等單點技術(shù)的狂熱追捧，客戶逐漸發(fā)現(xiàn)自身的復(fù)雜需求難以得到快速響應(yīng)。

　　這個時候產(chǎn)業(yè)開始需要多點技術(shù)的支持：客戶轉(zhuǎn)向?qū)で螳@取人工智能綜合解決方案，以實現(xiàn)對全業(yè)務(wù)鏈條的 AI 賦能，形成行業(yè)價值閉環(huán)。

　　云從科技將人工智能技術(shù)整合為端到端的綜合解決方案，在了解客戶業(yè)務(wù)流程的基礎(chǔ)上，將算法平臺、AIoT設(shè)備和專家知識服務(wù)整合為場景化解決方案，定義和打造客戶智慧化藍圖。

　　同時，云從科技創(chuàng)新性提出了AI工程學(xué)的概念，首先提升人工智能技術(shù)自身的生產(chǎn)效率，實現(xiàn)算法模型的批量化產(chǎn)出，將AI產(chǎn)業(yè)帶入工業(yè)化大生產(chǎn)時代。

　　在此階段，云從科技提供綜合了聽說讀寫等感知能力的全鏈人工智能技術(shù)，基于多項技術(shù)構(gòu)建全面解決方案。例如，云從的智慧網(wǎng)點解決方案，綜合視覺、語音、自然語言處理等多項技術(shù)，應(yīng)用于智慧迎賓、用戶身份核驗、AI雙錄等多個場景。目前云從已攜手多家銀行落地方案，共同為用戶帶來流暢、完整的智能體驗。