|
作者：語(yǔ)音技術(shù)大師 語(yǔ)音科學(xué)及技術(shù)是我博士論文所在的領(lǐng)域，目前在技術(shù)市場(chǎng)上又出現再次的熱潮，因此將我的部分拙見(jiàn)貢獻出來(lái)探討。這是復雜的領(lǐng)域，因此做法也有很多、一篇短文也只能提綱挈領(lǐng)，觀(guān)點(diǎn)和做法不同之處，僅供參考、看官海涵。 近期我在一處的回帖里說(shuō)：語(yǔ)音互動(dòng)技術(shù)的2大瓶頸是：（1）自然語(yǔ)言理解；（2）環(huán)境干擾音的抑制。這是不談及內部技術(shù)、不講為什么的說(shuō)法，也是高度概括的說(shuō)法。下面稍微擴展開(kāi)來(lái)點(diǎn)說(shuō)。 語(yǔ)音識別技術(shù)本身的結構和算法最近20年來(lái)進(jìn)展緩慢，本身沒(méi)有根本提升，學(xué)術(shù)界仍然在做艱難改進(jìn)，對總體提升微小。像若干深入技術(shù)一樣，語(yǔ)音識別的技術(shù)仍然是以“算法”形勢存在，也就是說(shuō)，尚未成為優(yōu)秀成熟穩定的東西固化在芯片里面、讓工程上和產(chǎn)品里能夠方便使用。這套算法，主要包括對于輸入語(yǔ)音信號的“前處理”來(lái)提取最有用最濃縮的“特征”參數，以及用這些參數來(lái)進(jìn)行的統計計算決策，這2個(gè)大的步驟。目標是找到所說(shuō)“內容”的最佳估計，而不理睬語(yǔ)音中其它信息如說(shuō)話(huà)者身份、情緒等。而這統計決策的機理，最成功的系統采用的是2種數學(xué)結構之一：“隱式馬爾科夫模型”（HMM）或“人工神經(jīng)網(wǎng)”（ANN），目前都仍在使用或改進(jìn)中。前者的結構比較統一，簡(jiǎn)單說(shuō)就是將語(yǔ)音信號參數的出現，作為一個(gè)隨機過(guò)程對外的“觀(guān)察”，因此也就有了一個(gè)觀(guān)察概率，另外還有一個(gè)馬爾科夫鏈自身各態(tài)間的“轉移概率”。實(shí)際使用包括“訓練”和“識別”兩個(gè)過(guò)程，前者使用若干數學(xué)方法（稱(chēng)為參數估計），從大量標注的實(shí)際語(yǔ)音數據（叫做語(yǔ)料）中獲取信息，例如說(shuō)a的發(fā)音對應怎樣一系列的觀(guān)察參數，并將這些參數寫(xiě)進(jìn)事先定好結構的模型參數里。當然了，這里需要面對大量不同的語(yǔ)音、不同說(shuō)話(huà)者、在不同上下文中的語(yǔ)音的特征，也就體現了“統計”的強大。而在識別時(shí)，未知語(yǔ)音信號，經(jīng)過(guò)同樣的參數提取，用來(lái)進(jìn)入部分語(yǔ)音模型中，進(jìn)行概率計算，而（一個(gè)短語(yǔ)的）總“分數”最高對應的那個(gè)序列的模型，就輸出為識別的結果，例如一個(gè)單詞序列，或一個(gè)控制指令等。人工神經(jīng)網(wǎng)的內部結構不是一種，而是很多種，最常用的有“帶時(shí)延的多層感知器”等，但總的原理仍然是將大量語(yǔ)料中的變化信息，存入固定結構的模型參數中；而參數估計又各有不同的算法，尋求某種局部最優(yōu)，最后用語(yǔ)音識別的實(shí)踐來(lái)驗證其優(yōu)良與否。也有一些“自適應”系統，能夠在識別過(guò)程中自動(dòng)進(jìn)行對于自身參數的改善、作增量式的小規模再估計，這也就是人們常說(shuō)的“自動(dòng)學(xué)習機理”。 以上這類(lèi)基本模型，稱(chēng)為“語(yǔ)音模型”。進(jìn)而，因為人們說(shuō)的每句話(huà)，是屬于一種語(yǔ)言（如中文）巨大單詞的可能組合之一，但這不是說(shuō)“任何組合”都是允許的。這里就用到我們人類(lèi)自己學(xué)習語(yǔ)言時(shí)也在用的一類(lèi)結構，叫做“語(yǔ)法”，就是規定哪些詞可以跟隨哪些詞。這樣，組合的可能就不那么繁多了，也就給大規模連續語(yǔ)音識別系統的“搜索”帶來(lái)的巨大的簡(jiǎn)化。在語(yǔ)音識別系統中的用來(lái)限定的語(yǔ)法，稱(chēng)為“語(yǔ)言模型”；它本身也需要若干深層數學(xué)的指導，才會(huì )達到能夠從大量語(yǔ)料、但仍然缺少部分數據的語(yǔ)料中，高效正確地獲取模型參數；并且，對于人類(lèi)自然語(yǔ)言中的語(yǔ)法，采用規范語(yǔ)言（如編程語(yǔ)言）語(yǔ)法的方式多數不可行。工程上，通常語(yǔ)音識別器構建時(shí)，需要對所需不同場(chǎng)景，以及場(chǎng)景間的銜接，進(jìn)行人工的編輯，而場(chǎng)景中的每一個(gè)時(shí)段，對應一些固定的語(yǔ)法，也就是說(shuō)，到了那個(gè)“菜單”，系統僅能聽(tīng)懂那一些單詞、以及那些單詞的那些固定序列。在識別這個(gè)層面，有若干模式，此處不一一列舉�？傊�，語(yǔ)音模型和語(yǔ)言模型，發(fā)源于科學(xué)家們對于自然的語(yǔ)言對話(huà)過(guò)程的部分理解，因此想要在計算機算法里學(xué)習使用這樣的過(guò)程，因此就使用了這些模型。但這些模型都基于實(shí)際人類(lèi)的過(guò)程，做了大量的簡(jiǎn)化。所以說(shuō)，在計算機算法中的語(yǔ)音識別，只是很少部分類(lèi)比了人類(lèi)的自然過(guò)程。說(shuō)實(shí)話(huà)，科學(xué)家對于人類(lèi)自身如何理解語(yǔ)言，也遠沒(méi)有達到完全的了解呢。但是，工程產(chǎn)品上已經(jīng)想要使用，不想再等了。 順便提一下早期的人工智能方法，也曾經(jīng)用來(lái)做語(yǔ)音識別，但是一直是失敗的。早期人工智能用于語(yǔ)音識別，是想找出所有“什么話(huà)對應什么信號”的規則，然后在存儲了這樣大量規則的系統中，搜尋出未知信號屬于哪個(gè)語(yǔ)句。失敗的原因就是語(yǔ)音信號與內容的對應關(guān)系遠不是一一對應、其中混雜了太多來(lái)源的不確定性（同一句話(huà)，即使同一個(gè)人說(shuō)N次，也是N個(gè)非常不同的信號，更何況不同人說(shuō)同樣話(huà)、在不同場(chǎng)景或環(huán)境說(shuō)等），因此完美的規則一直無(wú)法獲取、表達、或被搜索，而不完整的規則集帶來(lái)的只是在非常小規模語(yǔ)音識別中的滿(mǎn)意結果。所以，上述HMM等統計的方法才會(huì )勝出；不是因為它更加準確，而正是因為面對混雜的物理現實(shí)，需要用不那么精確的模型和參數，去保存只有統計意義下正確的信息，然后去做不那么黑白分明的“軟決策”，反而成功了。而統計方法是否會(huì )獲得最終的勝利，或者統計+規則的某種結合會(huì )勝出，也是少部分科學(xué)家仍在探索的方向。 目前的人工智能已經(jīng)前進(jìn)了很多，并且似乎仍有人認為語(yǔ)音技術(shù)是由該領(lǐng)域所發(fā)展起來(lái)。需要澄清的就是，如今的主流語(yǔ)音識別機自然語(yǔ)言理解技術(shù)，都不是早期人工智能的方法所支持。但如果僅從應用角度上看，都是解決讓計算機看上去像人的行為這樣一個(gè)目標，那么語(yǔ)音可以納入人工智能范圍，但內部結構基礎完全不屬于同一類(lèi)了。 世界上語(yǔ)音識別和互動(dòng)技術(shù)的發(fā)展，除了古代那些僅有概念（描述型的模型）的說(shuō)法以外，近代主要是由美國國防項目開(kāi)始于上世紀80年代。早期的發(fā)展歷史很有意思，除了上述的規則-統計基本思想之爭而外，實(shí)際上絕大多數后來(lái)可行并主導的結構和算法，都是在其支撐理論不成熟甚至完全不存在的情況下、由搞計算機的人“鼓搗”出來(lái)的。大家熟知的創(chuàng )新工場(chǎng)李開(kāi)復，就是當年這些編程高手之一：他在CMU大學(xué)的博士論文后來(lái)被發(fā)表為一本書(shū)，而他是早期成功實(shí)現大規模連續語(yǔ)音識別的人之一。以后的15年左右，世界上有最多20幾處（大學(xué)或公司或研究所）的獨立團隊在做語(yǔ)音識別；除了學(xué)術(shù)論文豐富，還有幾次的世界范圍的比賽：統一發(fā)送相同的識別任務(wù)，在1-2周內發(fā)回結果，包括準確率、實(shí)時(shí)性、抗干擾性等逐漸深入的指標。這一時(shí)期的擁有內部語(yǔ)音識別技術(shù)、并以語(yǔ)音為主營(yíng)的公司也有10多家。但，根本來(lái)說(shuō)還是這一領(lǐng)域的復雜性艱難性，使他們當時(shí)的商務(wù)目標全都失敗了、都沒(méi)有靠語(yǔ)音賺到錢(qián)，多數公司都關(guān)閉了。其中留下來(lái)的最大和最好的一家是美國的nuance公司，及其若干合作方式。在某個(gè)階段，它除了提供最好最大的識別技術(shù)內部的“引擎”，還為了下游公司方便開(kāi)發(fā)應用，提供很多“開(kāi)發(fā)平臺”以及企業(yè)級應用方案。在美國歐洲也都出現了電話(huà)網(wǎng)絡(luò )上成功運營(yíng)的全語(yǔ)音互動(dòng)咨詢(xún)服務(wù)（自動(dòng)坐席）、面對一個(gè)有限的應用范圍，如飛機航班、**信息等、達到了相當自然的對話(huà)程度、并絕大多數時(shí)間能夠滿(mǎn)意地自動(dòng)應答獲得信息。但最后的10多年來(lái)，并沒(méi)有出現突破這些“有限范圍”服務(wù)局限的新發(fā)展。筆者了解到國內幾年前的水平，同樣是采用國外大公司提供的語(yǔ)音引擎、開(kāi)發(fā)平臺，以及（國內外）語(yǔ)音板卡硬件以運行于電信級環(huán)境，擁有號稱(chēng)幾百人開(kāi)發(fā)團隊的自動(dòng)坐席技術(shù)提供公司，所開(kāi)發(fā)出的服務(wù)，只是將現有“選A請按3”類(lèi)的分類(lèi)菜單操作，平移改為死板的語(yǔ)音指令輸入而已，沒(méi)有給用戶(hù)提供任何提升的體驗，自然也就沒(méi)有任何發(fā)展前景�？梢�(jiàn)一斑：即使是僅僅外部的應用層工程開(kāi)發(fā)，語(yǔ)音互動(dòng)技術(shù)也還是需要相當深入的多學(xué)科基礎的，否則就只能是對該技術(shù)的簡(jiǎn)單濫用了。值得一提的國內科大訊飛公司多年的積累，在首先成功獲得語(yǔ)音合成（中文版）的市場(chǎng)主導地位以后，近年來(lái)也開(kāi)發(fā)成功大型語(yǔ)音識別引擎及系統及方案。 上面雖然提到語(yǔ)音識別系統內部所用的、用于限制范圍的語(yǔ)音模型，這還遠不是走向類(lèi)似人類(lèi)那樣完全自然方式對話(huà)的工作。解決這個(gè)問(wèn)題的領(lǐng)域叫做“自然語(yǔ)言處理”（NLP），簡(jiǎn)單說(shuō)是在語(yǔ)音識別得出單詞序列以后、再進(jìn)行的“理解”并達到對話(huà)過(guò)程的控制引導、和直接執行服務(wù)中的動(dòng)作的巨大研究領(lǐng)域；當然了，識別出的單詞會(huì )有錯誤，所以真實(shí)的系統不是這樣硬性分離識別和理解這2個(gè)步驟的�；蛘哒f(shuō)，自然語(yǔ)言處理是處理“文字”的，而非直接處理語(yǔ)音格式的信息。這個(gè)領(lǐng)域與自動(dòng)翻譯系統有很大重疊。這里面也同樣有規則vs統計的基礎方法問(wèn)題，或者上升到哲學(xué)層面（這類(lèi)的領(lǐng)域，哲學(xué)指導是真真實(shí)實(shí)需要的喔），就是人類(lèi)“理性主義”和“經(jīng)驗主義”的對決和融合。方興未艾、按下不提。 除了艱難的學(xué)術(shù)探索和內核技術(shù)提升，蘋(píng)果的iris走的是另外的道路：應用導向。也就是說(shuō)，從應用角度來(lái)連接現有模塊所能夠達到的最好程度、并佐以自家開(kāi)發(fā)的模塊來(lái)共同構筑對于能夠提升用戶(hù)總體體驗的新服務(wù)。Iris被蘋(píng)果購進(jìn)之前，據說(shuō)也是基于國防項目的一個(gè)實(shí)時(shí)信息管理軟件、并由幾個(gè)能人做成手機上的服務(wù)應用�？梢哉f(shuō)，這里面語(yǔ)音識別和互動(dòng)僅僅是一小部分而已�？傮w目標是一個(gè)能夠根據實(shí)時(shí)動(dòng)態(tài)廣泛的網(wǎng)絡(luò )上的信息，來(lái)提供信息服務(wù)的“個(gè)人助理”。也就是說(shuō)，不僅它的語(yǔ)音識別和自然語(yǔ)言理解的計算，是基于云平臺上的巨大計算資源來(lái)達到更加精確，而所用信息也是通過(guò)云不斷采集和分析擴展的。也就是說(shuō)，你在手機上說(shuō)出的搜索單詞，是上傳到服務(wù)器的巨大主機上去進(jìn)行運算、并獲取那里擁有的歷史及實(shí)時(shí)信息，再將識別或查詢(xún)結果傳回到手機上，所以手機只是這個(gè)過(guò)程的應用界面和接口，使用時(shí)會(huì )因為網(wǎng)絡(luò )原因而略顯延遲。而它自身的自然語(yǔ)言處理模塊，也是結合進(jìn)了實(shí)時(shí)采集到的信息分析結果的特征，來(lái)更好地猜想用意、收集習慣歷史、引導對話(huà)等，是一種非常貼近實(shí)際的NLP開(kāi)發(fā)方式。它的初步成果再一次說(shuō)明了：面對艱難的跨學(xué)科技術(shù)，從應用角度入手，而不是等待它發(fā)展到完美，是一條可行的道路。而這些“應用層”中部分不得已添加的模塊，也許有些后來(lái)會(huì )成為對于語(yǔ)音識別和自然語(yǔ)言理解領(lǐng)域的、尚不完善理論的巨大補充和新的發(fā)展方向；就像早期語(yǔ)音識別技術(shù)被“大膽”的軟件工程師搞成功一樣。自然語(yǔ)言理解旨在令系統達到能夠接近人類(lèi)自然方式的對話(huà)、并完成服務(wù)中的任務(wù)。所以，這個(gè)領(lǐng)域的發(fā)展，也同樣需要理論和實(shí)踐兩個(gè)方面的營(yíng)養；會(huì )是未來(lái)幾十年的工作。這也是如今熱起來(lái)的云計算和“大數據”領(lǐng)域中很好的方向。 另外一個(gè)方面的挑戰是信號層面的干擾：當語(yǔ)音互動(dòng)系統，在用于遠距離“免提”方式時(shí)，MIC采集到的信號中會(huì )存在諸多嚴重干擾（嘴巴貼近MIC時(shí)，環(huán)境干擾音相對會(huì )成為很小，因此除了超大強度的噪音，使用雙MIC對話(huà)都不再是問(wèn)題）。畢竟在很多環(huán)境的應用中，人們還是希望能夠免提操作的，就像科幻電影中的那樣，人在室內任何地方隨時(shí)發(fā)出語(yǔ)音指令、而系統回答，而不是手持一個(gè)裝置貼近嘴巴！首先，困難的來(lái)源是統計語(yǔ)音模型的參數對于所有外界變化都非常敏感，以至于“干凈”環(huán)境中訓練出來(lái)的模型，直接用到了干擾環(huán)境中，識別率會(huì )大大下降到完全無(wú)用的程度。一個(gè)封閉環(huán)境（如客廳）中的干擾，主要包括環(huán)境噪音（加性）、回聲混響（卷積）、和競爭語(yǔ)音（如電視機里的播音會(huì )干擾你的語(yǔ)音指令）這三種；當然它們的組合就會(huì )更加困難，例如競爭語(yǔ)音以及所需要識別的指令語(yǔ)音，同時(shí)也是經(jīng)過(guò)嚴重混響的�；祉懯侵竿ㄟ^(guò)不同墻壁家具等平面反射而混合的信號，其中包含諸多相位混亂版本信號的組合！雖然人類(lèi)仍可以完全聽(tīng)清，算法卻因為缺少這部分的知識能力而大大影響識別。目前對所有這些遠距離信號的處理，基本采用進(jìn)入識別系統之前的“凈化”處理，多采用多個(gè)MIC的結構。MIC本身和采集電路成本都很低，目前很多高檔手機都從2個(gè)到3個(gè)MIC了；但復雜的是它們后面的處理算法、遠沒(méi)有達到成熟的程度。微軟的視頻互動(dòng)硬件Kinect系統（主要用于體感游戲中的視頻識別）中已經(jīng)集成了多個(gè)MIC和集成進(jìn)芯片的部分語(yǔ)音增強算法，而這顆芯片是一家以色列公司提供的專(zhuān)有技術(shù)。從外部開(kāi)發(fā)算法的方向，粗略的分類(lèi)目前主要有“盲源分離”（BSS）和“盲消混響”（BD），并且每個(gè)具體的算法、以及應用方式，是與說(shuō)話(huà)者數量、移動(dòng)情況、MIC數量、位置和增強信號處理的目標有關(guān)；雖然已達到部分增強所要識別的語(yǔ)音的程度，但尚有巨大挑戰要面對。未來(lái)一旦某算法獲得成功、能夠在某個(gè)方面對于某類(lèi)應用提供關(guān)鍵性的提升，就可以進(jìn)一步將那個(gè)算法用快速DSP芯片來(lái)實(shí)現，并在系統中集成進(jìn)這顆DSP，如此作為某個(gè)抗干擾語(yǔ)音互動(dòng)系統的初期系統架構（硬件成本會(huì )有較大的增加）。值得一提的是：車(chē)載導航和娛樂(lè )系統中，語(yǔ)音互動(dòng)有著(zhù)非常重要的作用，就是提高駕駛員駕車(chē)的安全性（連國內也開(kāi)始為開(kāi)車(chē)打手機罰款了），但車(chē)里的噪音也是這類(lèi)系統的挑戰之一。所以同樣地，多MIC設置（MIC陣列）加處理算法是未來(lái)的方向。 大的投入或者說(shuō)持續的學(xué)術(shù)努力，在識別方面有引進(jìn)更多的基于語(yǔ)音分類(lèi)（如方言習慣）的模型結構細化、“深度連接神經(jīng)網(wǎng)”上的新結構和新算法、將更加深入的統計信號處理方法（包括神經(jīng)網(wǎng)和機器學(xué)習）用于上述的BSS和BD等。值得關(guān)注的一點(diǎn)是，由于神經(jīng)網(wǎng)類(lèi)的算法要在并行硬件的計算結構上才能夠更加高效地發(fā)揮作用、或者說(shuō)同樣的運算資源成本，運行本來(lái)比HMM更加復雜的基本結構和算法，能夠達到比HMM更好的識別效果，因此一種新的硬件架構GPU就開(kāi)始被用于這類(lèi)計算。GPU雖然本身是為圖形渲染而設計，但近年來(lái)也已經(jīng)被廣泛用于科學(xué)計算，大到超級計算機、小至智能手機平板電腦（集成進(jìn)主應用處理器的GPU核），其實(shí)都可以將部分處理用的運算算法任務(wù)，交予GPU來(lái)做，它正好提供大量簡(jiǎn)單單元的巨量并行連接。這也是未來(lái)方向，有些讓人感覺(jué)又可以開(kāi)發(fā)一些此前運算量太大、CPU或DSP都“自不量力”的信號處理復雜算法了。 語(yǔ)音識別和自然語(yǔ)言處理，這樣一個(gè)學(xué)科發(fā)展到如今，已經(jīng)到了巨大投入只能換來(lái)微小改善的階段、或者是在等待一個(gè)全新架構的突破。。。 順便介紹一下：筆者曾親自開(kāi)發(fā)出一款低成本、完全基于DSP的語(yǔ)音互動(dòng)+控制的硬件模塊，主要用于智能玩具的小詞匯量的語(yǔ)音互動(dòng)，它也仍在發(fā)展中。已經(jīng)包含了一些簡(jiǎn)單的抗噪功能，并且能夠識別非特定人的連續語(yǔ)音（用戶(hù)無(wú)須訓練、也無(wú)須提供語(yǔ)音資料，只提供文本腳本即可），以及包含一些簡(jiǎn)單初步的語(yǔ)音理解功能。這是完全“從頭”開(kāi)發(fā)出來(lái)的東西，當然不建議任何人都這樣從頭去做，我自己之所以做，部分是興趣使然、測試一下這樣做的可行性。結果是：一款僅幾十MIPS的DSP可以做到這樣，并且包含了對外控制等功能，提供了很大的可擴展性，以及為下游用戶(hù)提供了產(chǎn)品開(kāi)發(fā)的最大的方便（且不是死板語(yǔ)句的識別），應該說(shuō)，是業(yè)界中少有的成果了。它包括硬件模塊以及相應的開(kāi)發(fā)工具鏈，并為客戶(hù)提供設計協(xié)助。 如果任何公司或個(gè)人發(fā)燒友對于語(yǔ)音識別或互動(dòng)有興趣探討或開(kāi)發(fā)，可以隨時(shí)聯(lián)系我；在此處的提問(wèn)回帖我也會(huì )一一作答。這里一并建議：（1）想好自己的應用，因為語(yǔ)音技術(shù)尚沒(méi)有達到可以應對“任何”應用的程度，然后選好運行平臺，這是成本等問(wèn)題；（2）如果在電腦上、網(wǎng)絡(luò )上或者智能手機平板電腦上通過(guò)操作系統來(lái)運行語(yǔ)音服務(wù)軟件，可以采用的語(yǔ)音識別內部引擎有：微軟、IBM等，以及眾多被修改簡(jiǎn)化了的算法軟件：以開(kāi)發(fā)SDK或者完整應用程序的方式提供。因為語(yǔ)音技術(shù)本身沒(méi)有給誰(shuí)賺錢(qián)，也就基本沒(méi)有人還繼續拿它賣(mài)錢(qián)了，所以免費的就很多；但是識別質(zhì)量、運行環(huán)境、接口、開(kāi)發(fā)方式等，就要你自己搞明白了。如果它有個(gè)“演示”程序或免費試用版什么的，可以逐漸做起來(lái)。如果有興趣更深入地去做，也可以使用劍橋的非常好的免費軟件工具平臺HTK，但這個(gè)需要你自己建立所有模型、編輯和使用語(yǔ)料進(jìn)行訓練等。如果做好了，識別率也是很高的；（3）即使你不做語(yǔ)音技術(shù)的內部，對于它的外部邏輯，還是要有充分的理解，才好開(kāi)始開(kāi)發(fā)這些互動(dòng)應用；也就是說(shuō)，除了普通的軟件工程問(wèn)題，還要從“一個(gè)人如何對話(huà)”這方面去理解一下問(wèn)題本身，對于你的應用軟件設計是非常重要的。這是因為，語(yǔ)音對話(huà)是人類(lèi)太想當然的動(dòng)作了，對于它的內部動(dòng)作，例如“在哪個(gè)菜單”的設計考慮，就會(huì )忽略忘記；（4）如有理論或架構上的切磋，非常歡迎！討論結果也許是未來(lái)博文的來(lái)源之一。 |
