這個寒假，有一批失聰的(de)大學生成(cheng)了冬(dong)奧會的(de)遠程志愿者，他(ta)們來自(zi)澳(ao)門(men)(men)澳(ao)門(men)(men)澳(ao)門(men)(men)精(jing)準大全(quan)聾人工澳(ao)門(men)(men)澳(ao)門(men)(men)澳(ao)門(men)(men)精(jing)準大全(quan)。這些志愿者把電視(shi)新聞欄(lan)目的(de)內容轉換成(cheng)手語順序的(de)文本，為冬(dong)奧會轉播中需要(yao)的(de)AI（人工智(zhi)能）手語數(shu)字(zi)人提供大規模(mo)的(de)語料支(zhi)持。

袁甜(tian)甜(tian)，澳(ao)(ao)門澳(ao)(ao)門澳(ao)(ao)門精準大全聾(long)人工澳(ao)(ao)門澳(ao)(ao)門澳(ao)(ao)門精準大全副院長，是這些聽障(zhang)大學生(sheng)的(de)(de)老師，也(ye)是無障(zhang)礙智能(neng)科(ke)技研發中(zhong)心(xin)的(de)(de)成(cheng)員。她介紹：“無障(zhang)礙智能(neng)科(ke)技研發中(zhong)心(xin)將為冬奧會(hui)的(de)(de)實況轉播提供AI手(shou)語(yu)(yu)(yu)數字人的(de)(de)手(shou)語(yu)(yu)(yu)語(yu)(yu)(yu)料支持，我和學生(sheng)們已經為此忙了兩個(ge)多月。能(neng)夠為冬奧會(hui)服務，我們充(chong)滿(man)了榮譽(yu)感。”

教AI認知手語

2021年，創辦中國聾人(ren)高(gao)等(deng)工科(ke)特殊教育30年紀念大(da)會上(shang)，一個(ge)(ge)“手(shou)(shou)語角”吸引了(le)不少人(ren)駐(zhu)足(zu)。只(zhi)要在攝(she)像頭(tou)前打出(chu)(chu)手(shou)(shou)語，身后的(de)顯(xian)示(shi)屏上(shang)就會出(chu)(chu)現語意連貫的(de)文(wen)字翻譯(yi)。袁(yuan)甜甜展(zhan)示(shi)著(zhu)這個(ge)(ge)被稱為(wei)“復雜場景下中國手(shou)(shou)語實時翻譯(yi)系(xi)(xi)統(tong)(tong)”的(de)《“鯨(jing)可語”——多模態連續手(shou)(shou)語自動標(biao)注識別系(xi)(xi)統(tong)(tong)》項目(mu)（下稱“鯨(jing)可語”）。據介紹，在光(guang)線(xian)充足(zu)且穩定的(de)室(shi)內，系(xi)(xi)統(tong)(tong)對(dui)手(shou)(shou)語的(de)識別率最高(gao)能達到95%，部分場景下可以(yi)實現“同步翻譯(yi)”。研發(fa)這套系(xi)(xi)統(tong)(tong)的(de)目(mu)的(de)，是讓(rang)每個(ge)(ge)健(jian)聽人(ren)都(dou)能輕松地(di)看懂手(shou)(shou)語。其(qi)自動標(biao)注識別系(xi)(xi)統(tong)(tong)“鯨(jing)可語”還(huan)獲(huo)得了(le)去年第七(qi)屆中國國際“互聯網+”大(da)學生創新創業大(da)賽主賽道的(de)金獎(jiang)。

王建源是(shi)研發(fa)(fa)團隊(dui)的(de)(de)成(cheng)員之一(yi)。他(ta)是(shi)聾(long)人家庭長(chang)大的(de)(de)聾(long)兒(er)，聽力損失嚴重，吐字(zi)發(fa)(fa)聲非常困難(nan)，手語是(shi)他(ta)和這個(ge)世界打(da)交(jiao)道最初(chu)也最有效(xiao)的(de)(de)方(fang)(fang)式。22年來，聾(long)人的(de)(de)身(shen)份沒有讓他(ta)感到自(zi)卑；口不能言，也沒耽誤(wu)他(ta)成(cheng)為一(yi)個(ge)妥妥的(de)(de)“學(xue)霸”；但如果你問他(ta)，因為聽力障礙，從小到大遇到過哪(na)些方(fang)(fang)面的(de)(de)不便，他(ta)會平靜地在手機上打(da)出四個(ge)字(zi)：方(fang)(fang)方(fang)(fang)面面——因為認識手語的(de)(de)人太少(shao)了。

一個(ge)最(zui)典型(xing)的例(li)子(zi)是(shi)看。綣揮惺鐘(zhong)鋟肱闋，即便只(zhi)是(shi)頭疼(teng)腦熱，像王建源這樣的“手語(yu)族”也很(hen)難(nan)獨自(zi)就醫(yi)——絕大多數醫(yi)生不會手語(yu)。

從(cong)1991年9月11日首批6名聾(long)生入學到今天(tian)，澳(ao)門(men)澳(ao)門(men)澳(ao)門(men)精(jing)準大全(quan)聾(long)人澳(ao)門(men)澳(ao)門(men)澳(ao)門(men)精(jing)準大全(quan)的(de)老師們積(ji)累了很多與聾(long)人溝(gou)通的(de)經驗。

袁甜(tian)甜(tian)學(xue)(xue)的是計(ji)算機(ji)(ji)專業，2006年研(yan)究生一(yi)畢(bi)業，她就(jiu)在聾人工(gong)澳(ao)門澳(ao)門澳(ao)門精準(zhun)大全計(ji)算機(ji)(ji)科學(xue)(xue)與技術系工(gong)作。上班第一(yi)天，她面對的挑戰就(jiu)是學(xue)(xue)手語。通過(guo)看文(wen)字、讀(du)唇語，學(xue)(xue)生們能(neng)(neng)夠了解(jie)老師(shi)，可是老師(shi)不能(neng)(neng)很快地(di)了解(jie)學(xue)(xue)生。磕(ke)磕(ke)絆絆地(di)學(xue)(xue)會了手語，袁甜(tian)甜(tian)記不清有多少(shao)次，凌晨一(yi)兩點鐘陪學(xue)(xue)生去看。錈ψ鍪鐘鋟(qin)。

我國(guo)有2780萬聾人，如何依靠(kao)科技的(de)力量讓健(jian)康人走進他們的(de)世(shi)界？袁甜甜、王建源等人開始了“鯨可語(yu)”手語(yu)實時翻(fan)譯(yi)系統的(de)研發(fa)。

“鯨(jing)可(ke)語”手語實時翻(fan)譯類似于手語版的(de)“語音(yin)輸入(ru)(ru)法”。只(zhi)不過后者(zhe)是輸入(ru)(ru)語音(yin)、機(ji)器識別、轉成(cheng)文字，而前者(zhe)是輸入(ru)(ru)手語動作和表(biao)情、機(ji)器識別。

要(yao)把(ba)人(ren)(ren)工智能訓練成(cheng)一個合(he)格的手語翻(fan)譯(yi)，得把(ba)手勢、表(biao)情(qing)、大肢體動(dong)作，通通從視頻(pin)轉(zhuan)化(hua)為數據，再“教”給計(ji)算機。所(suo)以，能充分(fen)理解(jie)、展示手語之美(mei)的聽(ting)障(zhang)生，是最適(shi)合(he)給人(ren)(ren)工智能當“老師(shi)”的人(ren)(ren)。

很多國外團(tuan)隊建立的手(shou)語(yu)數(shu)據集無法(fa)支持復雜場(chang)景下(xia)的手(shou)語(yu)翻(fan)譯(yi)，一個直接的原因，就(jiu)是(shi)無法(fa)找到足夠多的人(ren)在自然狀(zhuang)態下(xia)采集手(shou)語(yu)。“而(er)我們的團(tuan)隊背靠聾人(ren)工澳(ao)門澳(ao)門澳(ao)門精準(zhun)大(da)全，很多成員(yuan)本(ben)身就(jiu)是(shi)手(shou)語(yu)使用者，在自然手(shou)語(yu)的采集上(shang)有優勢。”袁甜甜說。

讓健聽人“讀懂”聽障人更重要

冬奧會中，袁甜(tian)甜(tian)團隊服務的AI手(shou)語數字(zi)人，能夠幫助聾人更好地(di)理(li)解(jie)健(jian)聽人的表(biao)達，“鯨可語”手(shou)語識別(bie)和翻譯(yi)則是借助科技的力量幫助健(jian)聽人更好地(di)理(li)解(jie)聾人的表(biao)達。這兩者之間有(you)怎樣的區別(bie)？

做AI手(shou)(shou)(shou)語(yu)(yu)(yu)(yu)數(shu)字(zi)(zi)人(ren)，是讓聾人(ren)用(yong)熟悉的(de)方式去理解健(jian)(jian)聽人(ren)的(de)表達(da)方式，核心研發點(dian)是手(shou)(shou)(shou)語(yu)(yu)(yu)(yu)生成(cheng)，而“鯨可語(yu)(yu)(yu)(yu)”手(shou)(shou)(shou)語(yu)(yu)(yu)(yu)識別和翻譯的(de)核心研發點(dian)是手(shou)(shou)(shou)語(yu)(yu)(yu)(yu)識別，“鯨可語(yu)(yu)(yu)(yu)”這項技(ji)術(shu)(shu)更難。“鯨可語(yu)(yu)(yu)(yu)”需要計(ji)(ji)算(suan)機(ji)(ji)視覺和自(zi)然語(yu)(yu)(yu)(yu)言(yan)識別處(chu)(chu)理兩(liang)種(zhong)(zhong)技(ji)術(shu)(shu)：聾人(ren)的(de)手(shou)(shou)(shou)語(yu)(yu)(yu)(yu)包括表情、手(shou)(shou)(shou)部動(dong)(dong)作(zuo)，肢體動(dong)(dong)作(zuo)，都需要計(ji)(ji)算(suan)機(ji)(ji)做融合識別，這是計(ji)(ji)算(suan)機(ji)(ji)識別技(ji)術(shu)(shu)；把計(ji)(ji)算(suan)機(ji)(ji)識別出(chu)來的(de)信息用(yong)計(ji)(ji)算(suan)機(ji)(ji)程(cheng)序再變(bian)成(cheng)健(jian)(jian)聽人(ren)所熟悉的(de)語(yu)(yu)(yu)(yu)言(yan)模(mo)式，這是自(zi)然語(yu)(yu)(yu)(yu)言(yan)識別處(chu)(chu)理技(ji)術(shu)(shu)。AI手(shou)(shou)(shou)語(yu)(yu)(yu)(yu)數(shu)字(zi)(zi)人(ren)，某種(zhong)(zhong)程(cheng)度上(shang)只涉及自(zi)然語(yu)(yu)(yu)(yu)言(yan)識別處(chu)(chu)理技(ji)術(shu)(shu)過程(cheng)。從技(ji)術(shu)(shu)轉化上(shang)看，AI手(shou)(shou)(shou)語(yu)(yu)(yu)(yu)數(shu)字(zi)(zi)人(ren)的(de)產業落地時間會更短，數(shu)據上(shang)的(de)投入相對(dui)較少，更容易(yi)將成(cheng)果市場(chang)化。

“為什(shen)么一(yi)定要(yao)搞手(shou)語(yu)(yu)翻(fan)譯呢(ni)？聾人聽不到(dao)，現在有語(yu)(yu)音識別。∮械牧瞬換崴(wei)禱，拿手(shou)機打字不就(jiu)行了嗎？”曾經有一(yi)些企業向(xiang)袁甜甜了解過正在開發中的(de)手(shou)語(yu)(yu)實時翻(fan)譯系統(tong)，想談投資。但談來談去，他(ta)(ta)們卻對項目的(de)必(bi)要(yao)性產(chan)生了疑問，覺得手(shou)語(yu)(yu)翻(fan)譯除了“做善事”沒(mei)有其他(ta)(ta)意(yi)義。為什(shen)么還(huan)要(yao)傾心于“鯨(jing)可(ke)語(yu)(yu)”的(de)研(yan)發和轉化(hua)呢(ni)？

“在(zai)與學生交流的(de)過程中，我知道對殘障(zhang)人士(shi)最好的(de)關心就(jiu)是平等。他們不(bu)是殘障(zhang)，只是與我們不(bu)一樣。”袁甜甜說。

溝通永遠是雙向(xiang)的。我們教聽(ting)障人寫字、認字，讀唇語，他們在(zai)努力融入健聽(ting)人的世界；我們健聽(ting)人也要(yao)為(wei)聽(ting)懂接納(na)聽(ting)障人作出一點努力。

袁甜甜說，直到今天(tian)，手(shou)語仍然(ran)是許多(duo)聽障(zhang)人(ren)士最自然(ran)、高(gao)效的(de)表達方式，“比寫字、打字都快”。但為了促(cu)進(jin)無障(zhang)礙交流，要(yao)求健聽人(ren)都去學手(shou)語，顯然(ran)不現實(shi)(shi)。“鯨可語”手(shou)語實(shi)(shi)時翻譯系統(tong)就是利用高(gao)科技讓健聽人(ren)努力向(xiang)聽障(zhang)人(ren)靠攏。