近（jìn）日，中国科学院微电子研究所（suǒ）刘明院士团队（duì）和复旦大学教授刘琦（qí）团队在多模态神经形态感（gǎn）知（zhī）研究（jiū）方（fāng）面取得进展。

图1生物躯体感（gǎn）觉系统与人工（gōng）体躯体感觉系统，a为人手感知杯（bēi）子的温（wēn）度、重量和水杯形状的（de）示意（yì）图；b为由（yóu）MFSN阵列和SNN分类（lèi）器组成的（de）人工（gōng）躯体感觉系统模拟触觉感知的示意图（tú），图片来自中科院微（wēi）电子所前述（shù）团（tuán）队共同研发了一种结（jié）构紧凑的多（duō）模（mó）态融（róng）合（hé）感知脉冲神经元(MFSN)阵列，并将（jiāng）其与（yǔ）脉冲神经网络(SNN)结合，构建（jiàn）了（le）一种人工（gōng）多模态感知系统。该成果使（shǐ）构建高效的多模态脉冲感知系统成为可能，为发展高智能机器人技（jì）术提供了新（xīn）思路，并（bìng）发表在国际材（cái）料领（lǐng）域期刊《先进材料》(Advanced Materials)上。

图片来自《先进材（cái）料》(Advanced Materials)人类躯体感受系统中的多模（mó）态感知可（kě）帮助人们获得更全面（miàn）的物体属（shǔ）性，并对物（wù）体的状态（tài）做出准确判断（duàn），尤其是不同受体的感觉信号在一定条件下可被神经元整合，并发送到大脑皮层作（zuò）进一步处（chù）理（图1a）。与单模态（tài）感知（zhī）相比，多模态融合感知在评估物体属性和提高物体识别（bié）精度方面（miàn）具（jù）有明显优势。在传统的人（rén）工感知系统中（zhōng），多模态信息的处理多采用串行计（jì）算架（jià）构，传感信号需转换为数字模式才能被（bèi）处理器处理，产生较（jiào）大功（gōng）耗和通（tōng）信带宽开销。

此（cǐ）外，传统半导体技术（shù）在脉冲域构（gòu）建多模态感（gǎn）知系统方面，还面（miàn）临着（zhe）器（qì）件集成和电（diàn）路复杂性方面的挑战。因（yīn）此，迫切需要开发更（gèng）高效的多模态融合感知硬件方案。生物（wù）感知（zhī）系统具有并行分布式感官信息（xī）处理、低能耗、高容错性（xìng）等特点，显示出克服（fú）传统困境的重要潜力（lì）。

此次，中（zhōng）科院微电子（zǐ）所（suǒ）刘明团队（duì）和复旦大学刘琦（qí）团队研（yán）发了结（jié）构紧（jǐn）凑的多模（mó）态融合感知脉冲神经（jīng）元(MFSN)阵列，该阵列由异质集（jí）成的压力传感器和（hé）NbOx忆阻器（qì）构成（图1b）。其中，压力传感器用来（lái）感知压（yā）力，NbOx忆阻器用来产（chǎn）生脉冲输出并感知温度变化。当压力和温度两种激励同时作用（yòng）于MFSN时，多（duō）模态的模拟感觉信息可以融合为一（yī）个脉冲序列，显示出优异的数据压（yā）缩（suō）和脉冲转换能力。

此外，研究人员通（tōng）过解（jiě）耦输出脉冲（chōng）的频率和（hé）振幅，还可从（cóng）融合信号中获（huò）得（dé）独（dú）立的压力和温度信（xìn）息（xī），支（zhī）持了（le）神经元对于（yú）单模态信息的保真度和（hé）多模态感知能力。团队进一步将MFSN阵列与脉冲神经网（wǎng）络结合，构建了（le）一种人工多模态感知系统，成功模拟（nǐ）了人体躯体感觉系统中的多（duō）模（mó）态（tài）信息（xī）（温度和压力（lì））感知和多（duō）模态物（wù）体（tǐ）（即不（bú）同温度、重量和形（xíng）状的物体（tǐ））的分类能力。

前述成果有助（zhù）于（yú）在（zài）未来进一步构建高（gāo）效的多模态脉冲感知系统，并（bìng）为（wéi）发展（zhǎn）高智能机器人技术提供新思（sī）路。