算法、数据和算力被视为(wéi)推动人工(gōng)智能发展的三大要素,其中算力更是被(bèi)形容为支(zhī)撑人(rén)工智(zhì)能走(zǒu)向(xiàng)应用(yòng)的“发动机”。人工智能研究组织OpenAI最近指出,“高级(jí)人工智能所需的计算能(néng)力(lì)每三个半月就会翻(fān)一(yī)番”。
近日,脸谱(Facebook)人(rén)工智能(néng)副总裁杰罗姆·佩森蒂在(zài)接受《连(lián)线》杂(zá)志(zhì)采访时认为,AI科研成本的(de)持续上(shàng)涨,或导致我们在该领域的(de)研究碰壁,现(xiàn)在(zài)已经到了一个需要从成本(běn)效益等方面考虑的地步,我们(men)需(xū)要清楚如何从现有(yǒu)的(de)计算力中获(huò)得最大的(de)收益。
那么,为(wéi)何人工智能(néng)需要如此强大的计(jì)算能力?计算能力(lì)是(shì)否会限制(zhì)人工智能的发展?我们能否不断满足(zú)人工智能持续扩大的计算需求?
人工智能“动脑(nǎo)” 背(bèi)后算力消耗(hào)惊人
“2016年3月(yuè),谷歌人(rén)工智(zhì)能阿(ā)尔法围棋(qí)(AlphaGo)战(zhàn)胜韩国棋手李世石时,人们慨叹人工(gōng)智能(néng)的(de)强大,而(ér)其背后巨大的‘付出’却(què)鲜为人(rén)知——数千台服务器、上千(qiān)块CPU、高性能(néng)显卡以及对弈一场棋所消耗的惊人(rén)电量。”远望智库人(rén)工智能事业部(bù)部(bù)长、图灵机器人首席战略官谭茗洲在接受科技日(rì)报记者采访时表示(shì)。
“相比云计算和大数据等应用,人工智(zhì)能(néng)对计算力的需(xū)求几乎(hū)无止境。”中国工程院院士、浪(làng)潮集(jí)团首(shǒu)席科学(xué)家王(wáng)恩东指出。
据介绍,人工(gōng)智(zhì)能(néng)最(zuì)大的挑战之(zhī)一是识别度不(bú)高、准确度不高,提高准确度就要提高模型的规模和精细度,提高(gāo)线下训练(liàn)的(de)频次(cì),这需要更强的计算力。准确度也(yě)是算出来的,比如大型互联网公司或(huò)者知名(míng)人工智能(néng)创业公司(sī),有(yǒu)能(néng)力部署规模比较大的(de)人工智能计(jì)算平台,算法的模(mó)型已经达到千亿参数、万(wàn)亿(yì)的训练数据集规模。
“现在人工智能运用(yòng)的(de)深度学(xué)习框架,多数依赖大数据进行科(kē)研训练,形成有效模型,这些都需要较高的计算力。”谭茗洲指(zhǐ)出,当(dāng)前随着人工(gōng)智(zhì)能算法模型的复杂度和精度愈来愈高(gāo),互联网和(hé)物联网产生的数据(jù)呈几何倍数增(zēng)长,在(zài)数据量和算(suàn)法模(mó)型的双层叠(dié)加下,人(rén)工智能对(duì)计算的需求越来越大。无(wú)疑(yí),人工智(zhì)能走向深(shēn)度(dù)学习,计算力已成为评价人工智能研究成本的(de)重要指(zhǐ)标。可以说(shuō),计算(suàn)力即是生(shēng)产(chǎn)力(lì)。
数据搬运频繁(fán) “内存墙”问题凸显
人工智(zhì)能为何(hé)如此耗费算力?具体而言,在经典的冯(féng)·诺伊曼计算机架构中,存储单元和计算单元泾(jīng)渭(wèi)分明。运算时,需(xū)要将数据(jù)从(cóng)存储单元读(dú)取到计算单元,运算(suàn)后(hòu)会把结果写回存储单(dān)元。在(zài)大数(shù)据驱动的人工智能时代(dài),AI运算中数据(jù)搬运更加(jiā)频(pín)繁,需要(yào)存储(chǔ)和处理的数据(jù)量远远(yuǎn)大于之前常见的应用。当运算能力达到一定(dìng)程(chéng)度(dù),由于访问存(cún)储器的速度无(wú)法跟上运算部件消耗数据的速(sù)度(dù),因此再增加运(yùn)算(suàn)部(bù)件也无法(fǎ)得到充分利用,就(jiù)形成了所谓的冯·诺伊(yī)曼“瓶颈”或“内(nèi)存墙”问题。这就如同(tóng)一台马力强劲的发动机,却因为输油管的狭小(xiǎo)而无法产(chǎn)生应有的动(dòng)力。
显然,频繁的数据搬运导(dǎo)致(zhì)的算(suàn)力瓶颈,已经成为对更为(wéi)先进(jìn)算法探索的限(xiàn)制因(yīn)素。而算力瓶颈对(duì)更(gèng)先进、复杂度更(gèng)高的AI模型的研(yán)究将产生(shēng)更大影响。
王恩东曾(céng)指出:“计算力的提升对体系结构提出挑战(zhàn)。在半(bàn)导体技术(shù)逐(zhú)步接近极限的情况下,计算机(jī)发展迎来体系结构创新(xīn)的黄金期,计算力的提(tí)升将更多通过体系(xì)结构创(chuàng)新来满足。”
据了解,最先进的自然语言(yán)处理模型XLNet约有4亿模型参数。据估算,人脑中细胞(bāo)间互联轴突个数(shù)在百万亿到(dào)千万(wàn)亿数(shù)量级(jí)。显(xiǎn)然AI在(zài)认知问(wèn)题上离我们追求的所(suǒ)谓通用人(rén)工智能(néng)还有巨大(dà)差距,而要达(dá)到通用(yòng)人(rén)工智能的水平,预计(jì)研究(jiū)所需要的计算能力和(hé)计算系(xì)统的(de)能源(yuán)效(xiào)率将比(bǐ)现在至少提高(gāo)几个数量级(jí)。因此人(rén)工智能要进一步突破,必(bì)须(xū)采用新的计算(suàn)架构,解决存储单元和(hé)计算单元分离带来的算力(lì)瓶(píng)颈。
谭(tán)茗洲说,目(mù)前人工智能(néng)的无(wú)用计算较多。现在人工智能还像不断灌水一样,处在输入数据、调整参数的阶段,是(shì)个(gè)“黑盒子”模式,特别在(zài)图片视频方面消耗很(hěn)多能量,而其中真正(zhèng)的有效计(jì)算却不(bú)多,非(fēi)常浪(làng)费能源。今后AI有待在“可解(jiě)释性”上进(jìn)行突破,搞(gǎo)清是什么原因导(dǎo)致(zhì)后面的结果,这样可以(yǐ)精准运(yùn)用(yòng)数据和算力,减少(shǎo)运算量。这(zhè)也是目前重要的研究课题,将推动深度学(xué)习的发展。
计算储存一(yī)体化(huà) 或(huò)成下一(yī)代(dài)系统(tǒng)入口(kǒu)
“虽然目前阶(jiē)段计算力还谈不上限制人工智能(néng)的发(fā)展,但计算力确实提高了(le)参与人工智(zhì)能研究(jiū)的门槛。”谭茗(míng)洲指出。
除了研发资金的增长,在计算力爆发之(zhī)前的(de)很(hěn)长一段时间,产生数(shù)据的场景随着互联网的发展渗透到生活、生产的各(gè)个角(jiǎo)落,并且随着通讯(xùn)技(jì)术(shù)的进(jìn)步,尤其(qí)是5G的商用,使(shǐ)得产生数据的基(jī)础场景覆盖面(miàn)和(hé)深度达到新的层次,数(shù)据(jù)的生产也将达到一个新的数量级。
2020年伊始,阿(ā)里达摩院发布《2020十大(dà)科技趋势》报告显示,在人工智能(néng)方面(miàn),计(jì)算存储一体化,类似于人脑,将数据存储单元和计算单元融为一体,能显著减少数据搬运,极大提高计算并行度和能效。
然而,计算存(cún)储一体化的研究无法一蹴而就(jiù)。这个报告提出策略,对于广义上(shàng)计(jì)算存储一体化计算(suàn)架(jià)构(gòu)的发展,近期策略(luè)的关键(jiàn)在于通过(guò)芯片设(shè)计(jì)、集(jí)成、封(fēng)装技术拉近存储单元(yuán)与计算单元的距离(lí),增加带宽,降低数据搬运的代(dài)价,缓(huǎn)解由(yóu)于数据(jù)搬运产生的瓶颈(jǐng);中期规划是(shì)通过架构(gòu)方面的创新,设存(cún)储器于(yú)计(jì)算(suàn)单(dān)元(yuán)中或者置计算(suàn)单(dān)元于(yú)存储模块内,可以实现计算和存储你中有我,我中有你;远期展(zhǎn)望是(shì)通过器件层(céng)面的创新(xīn),实现器件既是存储单元也是计算单元,不(bú)分彼此,融为一体,成为真正(zhèng)的(de)计算存储一体化。近年来,一些新型非易失存储器,如阻(zǔ)变内(nèi)存,显示(shì)了一定的计算存储融(róng)合的潜力。
据介绍,计算存(cún)储一体化正在助力(lì)、推动(dòng)算法(fǎ)升级,成(chéng)为下一(yī)代AI系统的(de)入(rù)口。存内计算(suàn)提供的大规模(mó)更高(gāo)效的算(suàn)力,使得AI算法设计有更(gèng)充(chōng)分的想象力,不再受到算力(lì)约束。从(cóng)而将(jiāng)硬件上(shàng)的先(xiān)进(jìn)性,升级为系(xì)统、算法的(de)领先优势(shì),最终(zhōng)加速孵化新业务。
而除了计算存储(chǔ)一体化的趋势(shì),量子计算或是解决AI所需巨额算力的另一途径。目前量子计算机的(de)发展已经超越传统计算机的摩尔(ěr)定(dìng)律,以(yǐ)传统计算机的计算能力为基本参考(kǎo),量子(zǐ)计算机的算力正迅速发展。
谭茗洲表示,未来(lái)人工智(zhì)能的突破,除(chú)了不断提升(shēng)技(jì)术本(běn)身之外,还需要全(quán)球(qiú)各国协同创(chuàng)新,融合发展,探索新的合作模式,如采取共享(xiǎng)思维,调动世界各方面的计算资源集中发力,以降低计算的巨大成本。