以TFT-LCD、OLED为代表的显示技术正在朝着高画质高临场感、互动式多功能一体化、节能降耗和健康环保的发展。目前,全球TFT-LCD的发展已基本进入成熟期,正稳步扩大产能规模,继续抢占TFT-LCD显示的主流市场(如手机面板、笔记本电脑显示器面板、台式电脑显示器面板和液晶电视面板)的同时,积极向应用市场靠近,注重向个性化和专用化产品拓展。TFT-LCD实现产业化已近二十年,工艺技术和设计技术构成相对成熟,但在降低成本和提升产品性能方面仍存在科技创新空间,为了获得高画质(色彩更丰富、亮度更高、对比度更大)、高临场感(尺寸更大;画面更清晰;视角更宽;响应速度更快)以及更节能(更薄、更轻、更省电)产品,目前已将LED分区背光技术、120Hz驱动技术等新技术导入到大规模量产线上,大尺寸超高分辨技术、240Hz驱动、场序显示等技术也在研发过程中。与智能显示密切相关的人机交互技术主要包括触摸屏(光学式、电容式)、语音交互、手势交互等技术,这些技术目前已基本成熟,具备较为丰富的解决方案,新型的基于眼动、脑电、肌电及各类融合的交互技术也在快速发展之中,未来极有可能将各类交互技术与显示融合为一体,实现更为自然、准确的交互功能。近期,江苏集萃脑机融合智能技术研究所有限公司在脑机接口技术领域所取得的进展引进了业界的关注。
面向智能显示的人机交互新模式:可穿戴式脑-机接口技术江苏集萃脑机融合智能技术研究所有限公司常务副总经理顾明表示,近十年来,脑机接口研究的规模和范围急剧扩大,逐渐形成系统化的脑机交互方式。消费级脑电传感器和脑机接口系统问世并进入市场,免费开源的脑机接口软件也不断更新,脑电信号处理算法的性能得到显著提高。脑机接口的临床应用也越来越多样化,其不仅可作为严重运动障碍患者的辅助通信和控制方法,还能够帮助运动障碍群体恢复丧失的运动功能。对于视觉诱发电位 (VEP)、慢速皮层电位(SCP)、诱发电位(EP)也有更多相关基础研究,而这些基于脑机接口技术进行的脑电信号研究,是脑机交互技术迈向场景化应用的基础。目前,脑机交互的场景化应用范围已远远超出了临床医学领域,拓展应用到智能家居控制、虚拟现实和游戏等非医学领域。一个基于BCI的视频足球游戏,玩家可以通过想象左手或右手的动作来进球,通过该方式来尝试控制或降低他们的压力水平。这些实际脑机交互应用证实了将脑机交互技术应用到人们日常生活和健康修复中的有效性。而在未来的发展中,需要将基于脑机接口技术的脑机交互应用在多个有效场景中,而非单一场景,从而实现多场景脑机交互的应用。而在各应用场景中,脑机交互是否能够达到使用的最佳效果,需要通过实验来验证和研究。
顾明表示,可穿戴式脑-机接口技术是近期内脑-机接口发展的趋势。随着生物医学电子学、移动通讯、可穿戴设备等技术的迅猛发展,采用干电极的可穿戴式脑电系统有望成为实用化脑-机接口的通用化平台,它可利用大脑活动电信号迅速方便地重塑人与外界的交流通路。顾明介绍说,在脑机接口核心技术方面,在实用化道路上,国内外有多家相关企业在开发相关技术。而因受到视觉刺激的舒适性或者脑电信号稳定性的限制,视觉刺激和脑眼融合的产品或项目较少。在显示技术方面,传统的视觉刺激脑机交互系统是将视觉刺激图像直接在显示器上显示,受限于显示器帧率(通常为60Hz),视觉刺激图像频率较低,容易产生视觉疲劳;同时由于容易与视频内容产生干扰,因此交互界面通常较为简单,无法与现有操作系统桌面叠加,实用价值大幅降低。
另外,随着消费级虚拟现实(VR)、增强现实(AR)头戴式显示设备的兴起,以及在虚拟现实中的新的直观人机交互方式的需求和脑-机接口的特点形成高度吻合,如何在虚拟现实,增强现实设备上集成脑-机接口系统,以及如何利用虚拟现实、增强现实系统提供的特殊环境,去拓展脑科学研究,成为了研究的热点。最近,在与VR的结合中,一家名为Neurable的早期创业公司和E studio future公司于2017年展示了一款名为《觉醒》(The Awakening)的游戏。在《觉醒》中,玩家戴上了VR以及采集EEG的头戴式干电极,观看特定闪烁模式的物体即可进行两分钟的脑电信号校准,然后通过使用机器学习技术解码脑电信号。在此过程中,玩家可以通过意念来选择、捡起或投掷眼前四个目标中的一个,不需要手柄、控制器或身体移动。美国NextMind公司近日推出一款可记录EEG并控制电脑、移动设备以及VR/AR头显的产品。人眼在接收到电子设备中的特定闪烁图像后会投射给人脑的视觉皮层,接着NextMind穿戴式脑机接口通过对视觉皮层信号进行实时识别和破解,然后将信号传输给电子设备,实现意念控制的效果。被试只需要将注意力集中在用于选择的绿色三角上就能进行输入,即可实现控制电视界面,如换频道、播放、暂停、静音等功能。
基于视觉刺激的脑机接口技术在近几年取得相当大的关注,除了作为研究载体进行视觉神经机制研究,基于视觉刺激的脑机接口技术因其反应时间短、准确度高、可选目标多,被认为是具有前景的交互手段之一。在面向智慧养老的多场景脑机交互方面拥有很大的市场缺口:如面向老年人的认知功能训练需求、行动辅助设备控制、智能家居设备控制、心理健康娱乐需求等。借助脑机接口的多场景交互,能够真正意义上实现老年人更智慧的生活和更智能的康复治疗,同时在发展过程中急需解决相应的卡脖子问题,这也是产业化发展的前景和方向。
同时,脑机接口还可以广泛应用于军事中,实现在特定环境下(如航空,手术),在一些特殊场景下,当传统控制不能满足时,直接通过“大脑意念”的控制,实现与外界的交流;为特殊场景下的外控装备操控提供路径。航天员在外太空作业时,受限于现有技术局限性、特殊任务复杂性、太空环境特殊性,可使用脑机接口技术,满足复杂环境多控制通道作业需求。目前,欧洲航天局和美国航空航天管理局已开展脑机接口技术在载人航天中的相关应用研究。
脑机接口系统还能应用在汽车产业上,用于测量司机的认知负荷;它还延伸到游戏领域,用大脑控制视频游戏和虚拟现实(VR),从而获得更完美的交互体验。VR作为沉浸式的模拟环境平台技术在近年迎来爆发,中国的总体市场规模于2020年底达到400亿元左右,在规模及涨幅方面均超越美国和日本,位列全球首位。未来的VR行业将会从硬件设备收入转向软件收入,同时输入设备市场(例如触感控制器、运动捕捉系统等)规模稳定增长。这也意味着VR产品成本下降,内容开发成为主流,而用户开始追求更高的品质、更逼真的体验,届时新型的交互方式如脑机接口将为VR行业带来新的突破点。
随着在人机交互过程中通讯速率的提高、加入眼动等多模态信号的融合,脑机接口的普适性将会大大提升。顾明表示,视觉诱发脑机接口因其载体平台依赖于显示终端,可作为智能显示技术的延伸,为普通人群带来全新的体验。在同样依赖于显示终端的家用电脑、电视、乃至便携式移动终端如平板、手机等设备中,均存在着潜在的视觉诱发脑机接口市场。因此,脑机交互智能显示技术可以将脑机交互与现有操作系统桌面紧密融合,直接应用于Windows、Linux等PC桌面、Android手机和平板等基于键鼠、触摸的视窗系统,为传统智能产品提供一种新型的人机交互界面,同时通过对脑电信号的分析,可以有效地帮助使用者提高实用效率,降低疲劳程度。研究成果可以广泛推广应用与智能电视、神经康复、游戏娱乐、教育等领域,推动传统显示技术进步及智能显示器、智能电视产品更新换代,因此具有广阔的产业化前景。
总体来说,面向智能显示的视觉脑机接口可以广泛推广应用与智能电视、神经康复、游戏娱乐、教育、军事航天等领域,推动传统显示技术进步及智能显示器、智能电视产品更新换代,因此具有广阔的产业化前景。
(来源:广州市科技局,转载请注明出处)