首页 | 资讯 | 家电 | 科技 | 产业 | 技术 | 生活 | 理财 | 探索 | 智能 | 滚动 |

 

中科院取得多模态神经感知研究进展，有助研发高智能机器人
发布时间：2022-06-10 05:33:56 文章来源：扬子晚报
近日，中国科学院微电子研究所刘明院士团队和复旦大学教授刘琦团队在多模态神经形态感知研究方面取得进展。前述团队共同研发了一种结构紧凑的

近日，中国科学院微电子研究所刘明院士团队和复旦大学教授刘琦团队在多模态神经形态感知研究方面取得进展。

图1生物躯体感觉系统与人工体躯体感觉系统，a为人手感知杯子的温度、重量和水杯形状的示意图；b 为由MFSN阵列和SNN分类器组成的人工躯体感觉系统模拟触觉感知的示意图，图片来自中科院微电子所

前述团队共同研发了一种结构紧凑的多模态融合感知脉冲神经元(MFSN)阵列，并将其与脉冲神经网络(SNN)结合，构建了一种人工多模态感知系统。该成果使构建高效的多模态脉冲感知系统成为可能，为发展高智能机器人技术提供了新思路，并发表在国际材料领域期刊《先进材料》(Advanced Materials)上。

图片来自《先进材料》(Advanced Materials)

人类躯体感受系统中的多模态感知可帮助人们获得更全面的物体属性，并对物体的状态做出准确判断，尤其是不同受体的感觉信号在一定条件下可被神经元整合，并发送到大脑皮层作进一步处理（图1a）。

与单模态感知相比，多模态融合感知在评估物体属性和提高物体识别精度方面具有明显优势。在传统的人工感知系统中，多模态信息的处理多采用串行计算架构，传感信号需转换为数字模式才能被处理器处理，产生较大功耗和通信带宽开销。

此外，传统半导体技术在脉冲域构建多模态感知系统方面，还面临着器件集成和电路复杂性方面的挑战。因此，迫切需要开发更高效的多模态融合感知硬件方案。生物感知系统具有并行分布式感官信息处理、低能耗、高容错性等特点，显示出克服传统困境的重要潜力。

此次，中科院微电子所刘明团队和复旦大学刘琦团队研发了结构紧凑的多模态融合感知脉冲神经元(MFSN)阵列，该阵列由异质集成的压力传感器和NbOx忆阻器构成（图1b）。其中，压力传感器用来感知压力，NbOx忆阻器用来产生脉冲输出并感知温度变化。当压力和温度两种激励同时作用于MFSN时，多模态的模拟感觉信息可以融合为一个脉冲序列，显示出优异的数据压缩和脉冲转换能力。

此外，研究人员通过解耦输出脉冲的频率和振幅，还可从融合信号中获得独立的压力和温度信息，支持了神经元对于单模态信息的保真度和多模态感知能力。团队进一步将MFSN阵列与脉冲神经网络结合，构建了一种人工多模态感知系统，成功模拟了人体躯体感觉系统中的多模态信息（温度和压力）感知和多模态物体（即不同温度、重量和形状的物体）的分类能力。

前述成果有助于在未来进一步构建高效的多模态脉冲感知系统，并为发展高智能机器人技术提供新思路。澎湃新闻记者 王蕙蓉

标签： 中科院取得多模态神经感知研究进展，有助研

热点HOT

  • 笔记本电脑哪个牌子好 笔记本电脑怎么选
    笔记本电脑哪个牌子好 笔记本

    笔记本质量十大排名十大笔记本电脑品牌?笔记本电脑哪个牌子好?国内十大笔记本电脑排名：1、苹果apple(成立于1976年，是一家高端电脑、音视

  • 音乐学院招生选拔特点 11大音乐学院招生选拔特点
    音乐学院招生选拔特点 11大音乐

    对所有音乐艺考生来说，全国11大音乐学院(中央音乐学院、中国音乐学院、上海音乐学院、天津音乐学院、浙江音乐学院、西安音乐学院、武汉音

  • 为什么用文本来生成视频的 AI 工具也正变得越来越多
    为什么用文本来生成视频的 AI

    如同最近一年 DALL-E 2、Stable Diffusion 等文本生成图像模型发展一样，用文本来生成视频的 AI 工具也正变得越来越多。继 Meta 的

  • 保持血液中药物的最佳浓度 仍然是现代医学的主要挑战
    保持血液中药物的最佳浓度 仍然

    成功治疗疾病的关键方法之一，是在整个治疗过程中提供并维持体内药物的适当剂量。过少会降低治疗效率、导致耐药性，而过量则会增加副作用。

  • 卡内基梅隆大学成功开发出一款多功能、可更换、持久耐用的触感皮肤
    卡内基梅隆大学成功开发出一款多

    如今，人工智能逐渐与声音、视觉等人类感官融合，使人们之间的交流更便捷。但是，将人工智能与人类的触觉融合仍具有挑战性。为解决此项难题

  • Rubius采取了一系列节约成本的措施 包括裁员 75%
    Rubius采取了一系列节约成本的措

    今年 9 月 14 日，(NASDAQ: RUBY，以下简称为Rubius)宣布进行重组和调整资源，称接下来将重点集中在下一代红细胞偶联平台上。官方通稿

  • 为什么马斯克要重启短视频应用Vine
    为什么马斯克要重启短视频应用Vi

    短视频平台 (有可能)即将回归。从 2012 年到 2017 年，这款备受喜爱的有趣短视频分享软件在聚光灯下昙花一现，在鼎盛时期被关闭了服务

  • 基于阳离子脂质的高效纳米疫苗递送系统 细胞因子产量增加约100倍！
    基于阳离子脂质的高效纳米疫苗递

    近年来，免疫检查点抑制疗法等作为治疗癌症的新方法备受关注。然而，当前的免疫检查点抑制疗法仅对约 20%~30% 的癌症患者有效。部分原因

  • 打造一棵人类百年“科技树” 腾讯新总部将建永久科技馆
    打造一棵人类百年“科技树” 腾

    11月6日，2022腾讯科学WE大会十周年如期举行。"十年前，马化腾在首届WE大会上种下一颗种子，希望助力基础科学普及。WE大会历经十年，展现了

  • iOS 16又出新Bug：Face ID无法正常工作
    iOS 16又出新Bug：Face ID无法

    在数个版本的更迭之后，iOS 16的稳定性已经有了相当明显的提升，但仍有部分用户遇到了新的Bug。近日，有部分iPhone用户反馈称，自己的手机

新闻LOVE