通过侵入式脑机接口解析运动区神经信号,将脑海中的动作轨迹传输给机械臂,从而控制机械臂写出汉字……在浙江杭州,70多岁高龄的高位截瘫患者张大伯,实现了重新写字的愿望。
不久前,浙江大学求是高等研究院携手浙江大学医学院附属第二医院神经外科,联合发布了一项研究成果:在全球范围内,首次实现侵入式脑机接口控制机械臂书写汉字。
近年来,利用脑机接口技术,帮助截瘫患者开发脑控功能的研究成果逐渐增多。这些成果涉及脑电信号采集、传输和解码等一系列复杂过程。不同于抓取、握持等大关节运动,汉字书写是一种精细运动,每个人在偏旁、部首、笔顺等方面有各自的书写习惯,因此汉字书写的信号解码难度不言而喻。
由浅入深破译脑电信号
浙江大学脑机调控临床转化研究中心神经疾病分中心主任、浙江大学医学院附属第二医院神经外科教授张建民表示,在脑机接口领域,基本不会有国外科研团队研究汉字书写,国内已经实现的脑控中文表达主要利用键盘输入,此次团队挑战的是笔画笔顺轨迹解码的难题。
自2006年起,浙江大学脑机接口团队就开展脑机接口前沿交叉研究,于2012年完成在猴子大脑运动皮层植入电极并解码勾、抓、捏、握等精确手势的研究,2014年完成在临床病人颅内植入电极,解码石头、剪刀、布等动作的研究。
2019年,遭遇车祸导致高位截瘫的张大伯参与浙江大学脑机接口研究项目,进行了侵入式脑机接口的植入手术。此后,他通过脑控机械设备,完成了举杯喝水、抓取食物、操纵鼠标等动作。
据了解,在张大伯大脑运动皮层的手部控制区域,科研人员植入了两个长宽均为4毫米的电极。单个电极中,有96根电极丝负责信号采集。
“两个电极加起来,相当于有192个信号通道,捕捉大脑神经元的活动。”浙江大学脑与脑机融合前沿科学中心研究员祁玉接受记者采访时介绍,神经元活动产生动作电位,负责控制运动过程。
解码脑电信号,需要由浅及深。
祁玉说,团队前期围绕大关节运动进行的信号解码工作,不能照搬到汉字书写这种精细运动上。人类日常生活、学习,常常会用到精细运动。因此破译相关信号机制,是脑机接口研究必须跨越的一座山。
从开始脑控汉字书写研究,到真正达成目标,团队用了2年左右的时间。
2021年,美国斯坦福大学研究人员在《自然》发文,宣布其首次破译了与手写书信相关的大脑活动,并结合AI算法,让高位截瘫患者脑控机械设备书写英文。
“英文是基于26个字母的排序,而汉字则由结构、笔画组成。客观来说,这意味着利用脑机接口识别汉字的难度更高。”浙江大学医学院附属第二医院神经外科副主任、功能神经外科组组长朱君明说。
解码每个笔画的神经元编码方式
中国古代四大发明之一的活字印刷术,会将单字模块挑出来,根据文稿排列组合,列在字盘内涂墨印刷。
汉字书写的脑电信号机制和活字印刷有异曲同工之妙。
团队研究发现,从神经元发放的角度看,汉字书写的过程,并非一气呵成,而是不同状态连续转换的过程。
“这项研究中,团队大部分时间是在琢磨汉字书写过程中神经元的编码方式。”祁玉介绍,通俗地讲,针对每一笔画,人都有习惯性动作,在大脑内有相应的神经元活动模式。当写到某一笔时,对应的神经元就发放,这和人们从学习写字开始,长年累月养成的习惯有关。
她介绍,获得这一发现后,团队要做的就是解码脑电信号,开发算法模型,将其转化为机械设备可接收的动作轨迹程序指令。
此次研究中,团队挑选100个常用汉字,协助志愿者张大伯进行书写训练,解码其书写不同汉字、笔画的手部运动轨迹,再通过机械臂还原手部运动轨迹,准确率在90%以上。
“100个汉字,基本包含了汉字中的绝大多数笔画。”祁玉表示,在确保脑电信号质量的前提下,基于此次研究的成果,如信号读取、神经编解码机制、计算模型等,团队有信心在几周之内,让有需要的患者实现脑控写字。
“通常两三岁的小孩,就可以做抓取、握持的动作,但是还要再年长一些,才能顺畅地写字。”祁玉表示,从这个角度看,从解码大关节运动到解码精细运动,脑机接口技术也“成长”了不少。
多项脑机接口研究正在开展
“很多复杂的手部精细运动或许是互通的,能拆分成多个动作序列,有待更多科研人员解码、破译。”祁玉直言,需要正视的是,团队的此次研究只是通过解码汉字书写过程,窥探了大脑控制精细运动的一小部分奥妙,并不能应用于所有的精细运动。
她认为,脑机接口“解锁”更多精细动作,会是一个长期接力的过程。
在张建民看来,脑机接口研究对偏瘫、截瘫、失语、渐冻症患者的临床治疗和康复具有重要意义。不同类型的患者,对重建身体功能的需求也有所不同。
为此,该团队正尝试开展多项脑机接口研究。“比方说,对后天失语人群而言,要提升生活质量,相比书写,开口说话会更加方便。”祁玉说。
2023年8月,美国加州大学旧金山分校和斯坦福大学的科研团队分别在《自然》发表的研究论文称,通过翻译神经信号,可让失语患者借助语音合成软件“念出”文本。
“张嘴说话需要调动面部肌肉,其精细程度不会比手写汉字低。”祁玉说,团队尚在招募合适的志愿者,期待通过脑机接口,让失语人群用“意念”说中文。