光屏闪烁,雾气弥漫,消毒机器人自如行走——戴上VR头盔,仿佛科幻照入现实。10月16日,作为复旦大学文化校历系列活动之一,信息科学与工程学院微纳系统中心智能电子与系统实验室举行实验室开放日,展示一系列前沿科研成果,快跟随我们一起直击现场,体验智能交互的魅力!
看似VR游戏?实则诊疗:评估辅助与训练康复
本次实验室开放日的展示重点为类脑计算与智能交互相关的研究进展及其在工业、健康等领域的应用,结合VR等技术,增强参观者的沉浸式体验。
现场诸多设备中,吸引最多目光的是一台结合脑认知评估与训练系统的一体机。它由配有脑机接口与多模态感知装置的VR系统和显示模拟场景的屏幕组成。参观者戴上头盔,便可置身于系统模拟的超市、教室等日常环境中。“就像电子游戏场景一样,”在场体验者表示,“穿戴VR设备的感觉和看屏幕里的图像是完全不一样的,很有立体感。”
当然,除了沉浸式的VR体验,这台仪器还有更重要的用途,正如其名,它可以辅助评估人脑的认知情况,从而在各类脑部疾病的评估和治疗中发挥作用。“系统会连接传感器,分析收集到的多模态生理信号。比如评估儿童的ADHD(注意缺陷与多动障碍),就可用VR设备模拟出教室环境,在与测量量表题目交互的过程中,系统会记录使用者的眼动情况,进而分析其注意力集中情况,辅助医生的诊疗。”实验室工程师郑帅介绍。
他也揭秘了超市场景的用途——阿尔兹海默症患者康复训练。对日常生活任务的反复演练,有助于改善患者的认知能力,锻炼其生活能力。和真实生活场景相比,这套模拟系统具有更高的可操作性、安全性和信息收集效率。这套设备已经在上海的部分社区试用。
在常见疾病的康复方面,开放日上还展示了另一项颇具潜力的成果——一体式人机交互康复系统,主要应用于脑卒中等疾病患者的肢体动作康复。康复内容分为大动作与精细动作等不同类型,每一类型又有不同的难度设置。在设置完符合自身的系统条件后,患者只需将肢体放入仪器的视觉识别范围内,按照指引完成康复动作,系统便会依据肢体骨骼识别在仪器屏幕上的移动情况给出对应评分。
“和医院里的常规康复流程相比,这套系统的优点是具有较好的激励性,通过任务和评分这种正向流程鼓励患者积极完成康复练习。”郑帅一边演示一边介绍。
曾深入医院开展调研的他表示,集成化一体式的设计理念也有助于节省康复成本、加强系统推广:“现在康复医生非常缺乏,康复系统价格昂贵且对空间等有较高要求,这对很多患者造成了不小的经济负担,我们希望这套设备能实现家庭化和普及化,帮助更多无法长期在医院开展康复治疗的患者。”
学科交叉、研以致用:他们致力于垂直创新
据了解,复旦大学智能电子与系统实验室是一个多学科融合的实验中心,实验室还包括分布式类脑计算平台、媒体交互与虚拟现实研发平台、开放机器人平台、柔性可穿戴设备与人机交互系统,以及认知训练系统等。近年,该实验室与中国航天、中国移动、博世集团、新氦智能等多家创新企业开展应用研究,推动相关技术在工业物联、自主系统和智慧健康等领域的应用。
内容丰富的开放日背后,是实验室成员们十数年如一日的辛勤工作和锐意创新。信息科学与工程学院教授、微纳系统中心智能电子与系统实验室负责人邹卓介绍,实验室的一大特色就在于垂直化的集成创新思路,贯彻完善“Silicon to Service”的从基础核心器件与芯片,到系统与应用的创新闭环。近年来,实验室在低功耗神经形态芯片、高能效边缘计算、分布式协作系统等关键技术方面完成了系统性突破。
多年来,实验室不仅孕育大量科研成果,也培养了许多优秀人才。创办了上海莱陆科技有限公司的张天资就是从实验室走出的学子之一。读书期间,张天资学以致用,开发无人配送机器人项目,一步步推动相关产品和系统优化迭代,如今,又在消毒机器人市场上打出了一片天地,成为了复旦学子创新创业的榜样。
更多品学兼优的复旦学子也正选择加入这里。微纳系统中心硕士研究生王雨寒曾以高分考入复旦,进入信息学院芬兰班学习,凭借突出的科研能力,入学后很快加入智能电子与系统实验室,并利用在芬兰学习的经历,在实验室与海外高校的群智机器人合作研究中发挥了重要作用。
本次开放日也吸引许多相关专业学子参与。2022级电子科学与技术专业博士生杨子易对面向病人的一体式康复系统印象深刻:“这一系统融合了类脑计算和姿态识别技术,可以提供前所未有的智能康复体验。通过虚拟现实,病人可以参与有趣的康复活动,增强治疗的积极性。而类脑计算的智能辅助更是提供了个性化的康复方案,使康复过程更加高效、愉悦。”
本学期,复旦大学首次推出文化校历。其中,实验室开放日是学术板块的重要组成部分,通过让学生近距离接触实验室成果,引导学生的学术兴趣、营造创新的大学文化。此前,生物学、生态学、人类学等学科实验室也已举办实验室开放日。