科技让我们能够(gòu)随时通过手机联系到身处世(shì)界各地的人。它打破了(le)距离与时(shí)间的限制,无论(lùn)是朋友、家(jiā)人(rén),还是(shì)商务伙(huǒ)伴(bàn),我们都能轻松自(zì)如地和(hé)他们建立(lì)联系。然而,直到现在,语言(yán)仍是我们面对面沟通的一个障碍。
尽管我们能(néng)够向全球各(gè)地(dì)发送消息、拨打(dǎ)电话或是视频聊天(tiān),但仍不(bú)能进(jìn)行跨语言的流(liú)畅交谈。现在,国内(nèi)领(lǐng)先的智(zhì)能学(xué)习公司——有道,正利用AI来解决这一问题。过去(qù)一年半的时间,Qualcomm持续与有(yǒu)道开展合作,通过(guò)终端侧的实时(shí)翻译来(lái)帮助人们打破语言的限制、轻松自如地进行沟通。
想象一下:你与(yǔ)海外客户进(jìn)行电话(huà)会议。虽然你说的是普通话,但海外客(kè)户能够实(shí)时地听到标准的英文(wén)翻译,这(zhè)种(zhǒng)无缝(féng)、流畅的实时翻译十(shí)分令人惊叹。但是(shì),这样的实时翻译对技术(shù)要求颇高,是此前(qián)技术无法(fǎ)实(shí)现的。Qualcomm骁龙865 5G移动平台和其(qí)集(jí)成的第五代(dài)Qualcomm人工(gōng)智能(néng)引擎AI Engine,其AI性(xìng)能是前代平台(tái)的2倍,能够支持实时离(lí)线(xiàn)翻译的实现。事实上,在2019年12月举(jǔ)行的骁龙技术峰会(huì)期(qī)间,我(wǒ)们已经在现(xiàn)场展示过部(bù)分(fèn)用例。
实时翻译是如何实现(xiàn)的
翻译功能(néng)通常由(yóu)CPU执行,但对于特定应用(yòng)而言,CPU作为一个(gè)通用的性(xìng)能模块,不能提供足够强大或实(shí)用的(de)性能支持(chí)。Qualcomm骁(xiāo)龙与有道合作,把(bǎ)翻译移植到更合适(shì)的(de)处理(lǐ)模块——Qualcomm Hexagon DSP上,以实现(xiàn)端到端的(de)时(shí)延和性能优化(huà)。这样做的优势在于,能(néng)够(gòu)有效降(jiàng)低(dī)功(gōng)耗并(bìng)加(jiā)大算(suàn)力,以提高翻(fān)译准确性,为(wéi)实时翻译带来更(gèng)好的体验。
无论用户正在进(jìn)行传(chuán)统的语音通话还是网络(luò)通话,当用户的语音(yīn)进(jìn)入骁(xiāo)龙(lóng)865终(zhōng)端的麦(mài)克(kè)风并传入(rù)骁龙(lóng)865集成(chéng)的第(dì)五代(dài)Qualcomm AI Engine时,有道实时翻译就会马上开始(shǐ)运(yùn)行。在翻译的过程中,骁(xiāo)龙865会唤醒Qualcomm传感器中枢(Sensing Hub)来消除噪声和(hé)回声,然后启动Hexagon处理器进行神经网络(luò)处(chù)理,这主要包括以下(xià)三个阶段:
1、 自动语音识别(ASR)——以英文来举例,通过在Hexagon处理器上运行卷积(jī)神经网(wǎng)络(CNN),用(yòng)户的英文语音可以被(bèi)转录(lù)为英文文字。
2、 神经网络机器(qì)翻译(NMT)——接下来,英文(wén)文字能够通过神经网络机器(qì)翻译转换成(chéng)中(zhōng)文文字。这不仅仅(jǐn)是逐字翻译,而(ér)是结合语句结构的翻译。Hexagon处理器能够助力有道算法更好的(de)理(lǐ)解两种语言之间语(yǔ)句结构(gòu)的区别,以及词语在不同语境中可能具有的不同含义。
3、 文字转语音——最后,神经网络机(jī)器翻译出的中文文字(zì)会转化为普通话语音。
值(zhí)得关注(zhù)的是,上述处(chù)理过(guò)程全(quán)部都能够在(zài)终(zhōng)端侧(cè)实时地进行,这让跨(kuà)语言交谈真正变得轻松自如。
实时翻译(yì)的未来(lái)
目前,有道实时翻译技术支持包括普通(tōng)话、英文在内的多(duō)种语言(yán)。未来,该技术甚至(zhì)可以(yǐ)扮演口译(yì)员(yuán)的角色,在人们面(miàn)对(duì)面(miàn)交谈时进(jìn)行翻(fān)译。
在5G技(jì)术的(de)支持下(xià),实时(shí)翻译将会(huì)以更具沉浸感的方式(shì)呈现(xiàn)在人们的生活中。例(lì)如,由新一(yī)代无线通信和骁龙5G终端赋能的超低时延技术能够在视(shì)频电(diàn)话中支持面(miàn)部(bù)识别(bié),这带(dài)来的不仅仅(jǐn)只是声音同步,而是逼真(zhēn)的(de)口型同步(bù),对(duì)方(fāng)就连看起来(lái)也(yě)像(xiàng)是正(zhèng)在使用与用户相同的(de)语言进(jìn)行对话。
Qualcomm Technologies希望帮助全世界进行(háng)连接、计算和(hé)沟通。这(zhè)也是为什么我们很高兴能(néng)够与有道合(hé)作,并打造能够帮助人们(men)克服(fú)语言障碍的技术。我(wǒ)们很荣幸(xìng)可以与合作伙(huǒ)伴一起(qǐ)丰富用(yòng)户体验,共同架起全世(shì)界沟通的桥梁。
Qualcomm骁(xiāo)龙、Qualcomm人(rén)工智(zhì)能引擎AI Engine、Qualcomm Hexagon和Qualcomm传感器中(zhōng)枢是Qualcomm Technologies, Inc.和(hé)/或其子公司的(de)产品。