這個(gè)寒假，有一批失聰?shù)拇髮W(xué)生成了冬奧會(huì)的遠(yuǎn)程志愿者，他們來(lái)自天津理工大學(xué)聾人工學(xué)院。這些志愿者把電視新聞欄目的內(nèi)容轉(zhuǎn)換成手語(yǔ)順序的文本，為冬奧會(huì)轉(zhuǎn)播中需要的AI（人工智能）
手語(yǔ)數(shù)字人提供大規(guī)模的語(yǔ)料支持。
袁甜甜，天津理工大學(xué)聾人工學(xué)院副院長(zhǎng)，是這些聽障大學(xué)生的老師，也是無(wú)障礙智能科技研發(fā)中心的成員。她介紹：“無(wú)障礙智能科技研發(fā)中心將為冬奧會(huì)的實(shí)況轉(zhuǎn)播提供AI手語(yǔ)數(shù)字人的手語(yǔ)語(yǔ)料支持，
我和學(xué)生們已經(jīng)為此忙了兩個(gè)多月。能夠?yàn)槎瑠W會(huì)服務(wù)，我們充滿了榮譽(yù)感。”
教AI認(rèn)知手語(yǔ)
2021年，創(chuàng)辦中國(guó)聾人高等工科特殊教育30年紀(jì)念大會(huì)上，一個(gè)“手語(yǔ)角”吸引了不少人駐足。只要在攝像頭前打出手語(yǔ)，身后的顯示屏上就會(huì)出現(xiàn)語(yǔ)意連貫的文字翻譯。袁甜甜展示著這個(gè)被稱為“
復(fù)雜場(chǎng)景下中國(guó)手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”的《“鯨可語(yǔ)”——多模態(tài)連續(xù)手語(yǔ)自動(dòng)標(biāo)注識(shí)別系統(tǒng)》項(xiàng)目（下稱“鯨可語(yǔ)”）。據(jù)介紹，在光線充足且穩(wěn)定的室內(nèi)，系統(tǒng)對(duì)手語(yǔ)的識(shí)別率最高能達(dá)到95%，
部分場(chǎng)景下可以實(shí)現(xiàn)“同步翻譯”。研發(fā)這套系統(tǒng)的目的，是讓每個(gè)健聽人都能輕松地看懂手語(yǔ)。其自動(dòng)標(biāo)注識(shí)別系統(tǒng)“鯨可語(yǔ)”還獲得了去年第七屆中國(guó)國(guó)際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽主賽道的金獎(jiǎng)。
王建源是研發(fā)團(tuán)隊(duì)的成員之一。他是聾人家庭長(zhǎng)大的聾兒，聽力損失嚴(yán)重，吐字發(fā)聲非常困難，手語(yǔ)是他和這個(gè)世界打交道最初也最有效的方式。22年來(lái)，聾人的身份沒有讓他感到自卑；
口不能言，也沒耽誤他成為一個(gè)妥妥的“學(xué)霸”；但如果你問他，因?yàn)槁犃φ系K，從小到大遇到過(guò)哪些方面的不便，他會(huì)平靜地在手機(jī)上打出四個(gè)字：方方面面——因?yàn)檎J(rèn)識(shí)手語(yǔ)的人太少了。
一個(gè)最典型的例子是看病，如果沒有手語(yǔ)翻譯陪著，即便只是頭疼腦熱，像王建源這樣的“手語(yǔ)族”也很難獨(dú)自就醫(yī)——絕大多數(shù)醫(yī)生不會(huì)手語(yǔ)。
從1991年9月11日首批6名聾生入學(xué)到今天，天津理工大學(xué)聾人學(xué)院的老師們積累了很多與聾人溝通的經(jīng)驗(yàn)。
袁甜甜學(xué)的是計(jì)算機(jī)專業(yè)，2006年研究生一畢業(yè)，她就在聾人工學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系工作。上班第一天，她面對(duì)的挑戰(zhàn)就是學(xué)手語(yǔ)。通過(guò)看文字、讀唇語(yǔ)，學(xué)生們能夠了解老師，
可是老師不能很快地了解學(xué)生。磕磕絆絆地學(xué)會(huì)了手語(yǔ)，袁甜甜記不清有多少次，凌晨一兩點(diǎn)鐘陪學(xué)生去看病，幫忙做手語(yǔ)翻譯。
我國(guó)有2780萬(wàn)聾人，如何依靠科技的力量讓健康人走進(jìn)他們的世界？袁甜甜、王建源等人開始了“鯨可語(yǔ)”手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)的研發(fā)。
“鯨可語(yǔ)”手語(yǔ)實(shí)時(shí)翻譯類似于手語(yǔ)版的“語(yǔ)音輸入法”。只不過(guò)后者是輸入語(yǔ)音、機(jī)器識(shí)別、轉(zhuǎn)成文字，而前者是輸入手語(yǔ)動(dòng)作和表情、機(jī)器識(shí)別。
要把人工智能訓(xùn)練成一個(gè)合格的手語(yǔ)翻譯，得把手勢(shì)、表情、大肢體動(dòng)作，通通從視頻轉(zhuǎn)化為數(shù)據(jù)，再“教”給計(jì)算機(jī)。所以，能充分理解、展示手語(yǔ)之美的聽障生，是最適合給人工智能當(dāng)“老師”的人。
很多國(guó)外團(tuán)隊(duì)建立的手語(yǔ)數(shù)據(jù)集無(wú)法支持復(fù)雜場(chǎng)景下的手語(yǔ)翻譯，一個(gè)直接的原因，就是無(wú)法找到足夠多的人在自然狀態(tài)下采集手語(yǔ)。“而我們的團(tuán)隊(duì)背靠聾人工學(xué)院，
很多成員本身就是手語(yǔ)使用者，在自然手語(yǔ)的采集上有優(yōu)勢(shì)。”袁甜甜說(shuō)。
讓健聽人“讀懂”聽障人更重要
冬奧會(huì)中，袁甜甜團(tuán)隊(duì)服務(wù)的AI手語(yǔ)數(shù)字人，能夠幫助聾人更好地理解健聽人的表達(dá)，“鯨可語(yǔ)”手語(yǔ)識(shí)別和翻譯則是借助科技的力量幫助健聽人更好地理解聾人的表達(dá)。這兩者之間有怎樣的區(qū)別？
做AI手語(yǔ)數(shù)字人，是讓聾人用熟悉的方式去理解健聽人的表達(dá)方式，核心研發(fā)點(diǎn)是手語(yǔ)生成，而“鯨可語(yǔ)”手語(yǔ)識(shí)別和翻譯的核心研發(fā)點(diǎn)是手語(yǔ)識(shí)別，“鯨可語(yǔ)”這項(xiàng)技術(shù)更難。
“鯨可語(yǔ)”需要計(jì)算機(jī)視覺和自然語(yǔ)言識(shí)別處理兩種技術(shù)：聾人的手語(yǔ)包括表情、手部動(dòng)作，肢體動(dòng)作，都需要計(jì)算機(jī)做融合識(shí)別，這是計(jì)算機(jī)識(shí)別技術(shù)；
把計(jì)算機(jī)識(shí)別出來(lái)的信息用計(jì)算機(jī)程序再變成健聽人所熟悉的語(yǔ)言模式，這是自然語(yǔ)言識(shí)別處理技術(shù)。AI手語(yǔ)數(shù)字人，某種程度上只涉及自然語(yǔ)言識(shí)別處理技術(shù)過(guò)程。
從技術(shù)轉(zhuǎn)化上看，AI手語(yǔ)數(shù)字人的產(chǎn)業(yè)落地時(shí)間會(huì)更短，數(shù)據(jù)上的投入相對(duì)較少，更容易將成果市場(chǎng)化。
“為什么一定要搞手語(yǔ)翻譯呢？聾人聽不到，現(xiàn)在有語(yǔ)音識(shí)別啊！有的聾人不會(huì)說(shuō)話，拿手機(jī)打字不就行了嗎？”曾經(jīng)有一些企業(yè)向袁甜甜了解過(guò)正在開發(fā)中的手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)，想談投資。
但談來(lái)談去，他們卻對(duì)項(xiàng)目的必要性產(chǎn)生了疑問，覺得手語(yǔ)翻譯除了“做善事”沒有其他意義。為什么還要傾心于“鯨可語(yǔ)”的研發(fā)和轉(zhuǎn)化呢？
“在與學(xué)生交流的過(guò)程中，我知道對(duì)殘障人士最好的關(guān)心就是平等。他們不是殘障，只是與我們不一樣。”袁甜甜說(shuō)。
溝通永遠(yuǎn)是雙向的。我們教聽障人寫字、認(rèn)字，讀唇語(yǔ)，他們?cè)谂θ谌虢÷犎说氖澜纾晃覀兘÷犎艘惨獮槁牰蛹{聽障人作出一點(diǎn)努力。
袁甜甜說(shuō)，直到今天，手語(yǔ)仍然是許多聽障人士最自然、高效的表達(dá)方式，“比寫字、打字都快”。但為了促進(jìn)無(wú)障礙交流，要求健聽人都去學(xué)手語(yǔ)，顯然不現(xiàn)實(shí)。
“鯨可語(yǔ)”手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)就是利用高科技讓健聽人努力向聽障人靠攏。
