电子皮肤-智能可穿戴嗅觉交互界面,可实现无延迟混合现实和快速嗅觉增强

电子科技大学光电学院校友,香港城市大学于欣格副教授课题组,围绕人类用电子技术实现嗅觉的梦想,结合了材料、器件、力学热学理论设计、电子工程和AI模型提出一种无延时的嗅觉反馈界面。


研究背景

       嗅觉作为人类古老的进化关键生理系统,在我们与周围环境的互动中发挥着重要作用,包括但不限于检测环境中的潜在危险、塑造社会行为、平息负面情绪以及唤起埋藏的记忆。尽管嗅觉对人类生活有着巨大的影响,但已经开发出了一些嗅觉生成技术(也称为嗅觉交互界面),用于在一些潜在应用中进行嗅觉显示,包括人机交互、教育、娱乐和临床治疗。与触觉反馈技术发展的广泛研究工作相比,嗅觉生成技术近年来很少受到关注,导致技术长期停滞。考虑到大型嗅觉发生器在整体尺寸、响应时间和功耗方面的天然缺陷,下一代嗅觉交互界面的发展趋势是接近可穿戴形式,采用小型化设计,以实现快速嗅觉反馈并产生局部气味环境。到目前为止,开发的可穿戴嗅觉接口系统主要建立在气味发生器(OG)阵列上,用于提供多种气味,其中OG的工作原理从基于压电的雾化器到有味蜡的可控相变。然而,两种OG都需要秒级响应时间,导致用户在实际应用中存在明显的延迟,其中OG的响应时间被定义为产生或终止气味的延迟时间。例如,元宇宙作为最重要的嗅觉界面应用领域之一,要求为用户提供流畅、即时、沉浸式的体验,无论是人机界面系统还是网络都要求低延迟。除了OG延迟问题的挑战之外,仍然存在许多技术困难,包括尺寸小型化、优化功耗以及建立高通道数/密度。例如,现有的气味产生方法通常需要一整套笨重的设备,提供的气味有限,并且需要专业的操作,迫使用户每次都必须去特定的地方体验嗅觉反馈,这对用户来说是不友好的。因此,嗅觉交互界面同时表现出亚秒级响应时间、厘米级尺寸、数十个OG阵列和微瓦级低功耗是一项巨大的挑战。



创新点

香港城市大学于欣格课题组,北京航空航天大学李宇航课题组,中国特种设备检验研究院赵召和东京大学Takao Someya课题组联合报告了一系列用于人工智能驱动的无线嗅觉交互界面的材料、算法、设备、机械、电子和集成策略,这些界面展现了世界纪录的高响应时间(0.07秒)、OG阵列密度(0.75单位/平方厘米)和无延迟功能。嗅觉阵列中使用的小型化OG以气流和热量作为气味产生因素为工作原理,通过机械执行器控制气味的释放,打开/关闭OG上的呼吸孔,同时控制气味浓度通过调整加热温度。先进的人工智能算法与嗅觉界面的结合,使混合现实(MR)应用中的嗅觉界面实现零延迟,从而为正在经历嗅觉退化的患者提供高效的嗅觉训练。结果表明,该技术在人机交互、医疗、远程教育和娱乐等广泛应用中具有巨大潜力。



文章解析



图1:嗅觉交互界面的概念。a) 气味发生器的分解图,其中包含每个组件的详细说明。b) OG 的光学图像和示意图以及附加的内部视图。c) OGs控制气味产生速率的操作方法。d、e)分别在均布式外部压力和弯曲变形下对金基加热电极(d)和悬臂梁 PET 薄膜(e)进行力学模拟。f) OG 与最近报道的 OGs 在响应时间、运行 OG 的最低功耗、整体尺寸、稳定性、运行温度和最大供应气味数量方面的比较。g)嗅觉交互界面的4种应用示意图,从基于 MR 的娱乐和教育到用于嗅觉恢复和增强的嗅觉训练。



图2:OG 的最佳电学性能。a) OG 的加热温度作为运行时间的函数,目标温度在 35 至 55°C 之间变化。b) 达到目标温度所需的响应时间,测量的稳定温度如图a所示。c) OG 产生的稳定乙醇浓度与 35 至 55°C 加热温度的函数关系。这里,误差条以标准差的形式呈现,并且通过测试 3 个不同的 OG 重复测试 3 次。d、e) OG 产生的稳定乙醇浓度 (d) 作为进入电磁线圈的交流电源频率的函数以及相应的加热温度变化 (e)。f) 稳定的乙醇浓度作为进入电磁线圈的交流功率幅度的函数。这里,误差条以标准差的形式呈现,并且通过测试 3 个不同的 OG 重复测试 3 次。g) 稳定的乙醇浓度作为交流电源占空比的函数,包括 20%、40%、60% 和 80%。h) 三种不同周围气流速率(2.76 m/s、4.12 m/s 和 6.61 m/s)下乙醇浓度随运行时间的变化。i) 当通过操纵 OG 内部磁铁的运动来关闭呼吸孔时,周围气流为 2.76 m/s 时乙醇浓度的变化。j) 目标温度为 55°C 时,加热温度随 12 小时运行时间的变化。k, l) OG 上方稳定乙醇浓度的 3D 分布,其中 x = 0 处的详细 2D 浓度映射在图 l 中。



图3:用于实现无延迟 MR 应用的智能嗅觉系统的演示。a) 嗅觉交互界面集成MR系统的示意图,用于通过预测用户的运动来为用户提供无延迟的嗅觉反馈,以实现身临其境的MR体验,其中分析的数据包括环境风速、气温和压力、用户的运动速度和 3D 位置,以及气味源的 3D 位置。b)集成了嗅觉交互界面的五个典型现实模型的光学图像。c、d)柔性双通道控制面板的光学图像 (c),以及三种电池(500 mAh、900 mAh 和 1500 mAh)的满负载运行时间 (d)。e) 每个 OG 的占空比变化由 3 通道控制面板控制。f) 具有10 种不同气味剂的 OG 在满负荷运行时的气味产生时间。这里,误差条以标准差的形式呈现,测试由 3 名志愿者重复进行 3 次。此外,气味(No.11~32)的运行时间可以在补充图20中找到。g)商业3D定位系统的光学图像,该系统集成在气味源内部,用于实时测量其3D位置。h) 通过标准尺验证定位系统的测量精度。




图4:集成嗅觉交互界面的 MR 系统的一种应用。a)整个MR系统的现实和虚拟光学图像,其中志愿者在四个气味源周围行走,随机欣赏目标释放的气味。b) 志愿者在气味景观中的探索轨迹和面向的方向。c) 绘制b中所示的OS 1的气味羽流。d) 从用户的鼻子到每个气味源的顺风轴的距离。e) 沿志愿者轨迹发送到相应嗅觉交互界面的命令信号的可视化。f) 气味羽流到志愿者的潜在距离与探索潜力之间的比较。g) 在志愿者探索过程中向相应的嗅觉交互界面发送命令信号,以最小的能量和气味源消耗实现无延迟的体验。h) 模拟结果显示的是命令信号沿着同一志愿者的轨迹发送到相应的先前报告的嗅觉交互界面,其中用到的OG响应时间为 1.4 秒。i) 对于报告的嗅觉界面,从气味羽流到志愿者的潜在距离与探索潜力之间的模拟结果比较。j) 在志愿者探索过程中,模拟结果显示的是命令信号沿着同一志愿者的轨迹发送到相应的先前报告的嗅觉交互界面,其中用到的OG响应时间为 70毫秒,以最小的能量和气味源消耗实现无延迟的体验。



图5. 用于嗅觉训练的可穿戴式 32 通道 OGs 阵列嗅觉交互界面的典型演示。a) 超高通道嗅觉交互界面系统分解图,由32-OG阵列和相应的柔性控制面板两部分组成。b) 安装在人类前臂上的嗅觉交互界面的光学图像。c,d)未经1小时预训练,通过可穿戴嗅觉交互界面测试3次的志愿者的32种气味识别率(c)和相应的反应时间(d)。此处,误差线显示为第一个四分位数。e, f) 志愿者经过1小时预训练,通过可穿戴嗅觉交互界面测试3次的32种气味识别率(e)和相应的反应时间(f)。此处,误差线显示为第一个四分位数。g) 志愿者嗅觉能力的总体结果作为训练前时间的函数。这里,实线和虚线分别代表c-f中所示的实验组和对照组的数据。这里,误差线以标准差的形式呈现,志愿者测试通过测试 25 名不同的志愿者重复了 75 次(每个志愿者 3 次)。h,i)实验组志愿者在3次嗅觉训练之前(h)和之后(i)的心理健康得分。



图6:AI驱动的嗅觉交互界面在嗅觉增强中的一种典型应用。a)采用Recommendation framework,为用户提供个性化的嗅觉训练计划。b) 10名无任何嗅觉障碍的志愿者接受智能高通道嗅觉交互系统实现的7天个性化嗅觉训练后的嗅觉能力变化。c、d) 10 名志愿者的总体识别率(c) 和训练时间 (d) 作为嗅觉训练时间函数的变化。


结论与展望

       作者开发了一系列基于高性能OG的人工智能驱动的可穿戴嗅觉交互界面,用于实现无延迟的MR和快速嗅觉恢复应用。作为嗅觉交互界面的核心技术,OG采用电磁阀结构,支持三种控制气味产生速率的方法,包括将交流电源的主要操作占空比和幅度输入电磁线圈以快速关闭或打开呼吸孔,以及内部加热温度由加热平台控制。因此,小型化OG在毫秒级响应时间、毫瓦级功耗、整体尺寸、稳定性和超高气味供给数量方面表现出远远超出报道的技术进步。因此,嗅觉交互界面可以实现低系统延迟时间和超高密度和吞吐量的OG阵列。因此,当嗅觉交互界面与我们自主开发的人工智能算法相结合时,系统能够分别在MR和嗅觉训练应用中为用户提供无延迟的嗅觉反馈和个性化的嗅觉增强计划。该方法可以在许多影响深远的应用中形成基于嗅觉的信息通道的起点,包括基于 VR/AR/MR 的元宇宙、在线教育和临床治疗。将嗅觉系统与生理学、神经科学、心理学和材料科学联系起来的努力将是未来有希望的研究方向。



【通讯作者】


于欣格,香港青年科学院院士,香港城市大学生物医学工程系副教授、博导,香港数字医学院副院长,香港心脑血管健康工程研究中心副主任,香港城大-中科院 机器人联合实验室副主任。2023年获评香港RGC Research Fellow。优秀青年科学基金(港澳)、《麻省理工科技评论》创新35人、IEEE纳米医学发明家、MINE青年科学家、日内瓦国际发明展金奖等奖项获得者。研究方向为新型柔性电子在生物医疗领域以及智能触觉VR中的应用。《Microsystems & Nanoengineering》《Bio-Design and Manufacturing》《IEEE Open Journal of Nanotechnology》等10余部期刊副主编及编委。斯坦福top 2%高被引学者,在《Nature》、《Nature Materials》、《Nature Biomedical Engineering》、《Nature Machine Intelligence》《Nature Electronics》《Nature Communications》《Science Advances》等期刊发表论文160余篇,申请/授权美国专利40余项。


【参考文献】

https://www.nature.com/articles/s41467-024-48884-z


Copyright © 2024 深圳爱客云商服务有限公司 All Rights Reserved.
粤ICP备15027127号

  • 新闻资讯
  • 咨询
  • 电话
  • 返回顶部
  • 新闻
    资讯
    电话
    15099903131
    爱客云商
    助力企业数字化转型
    专注于提供互联网产品与营销解决方案,
    探索并实现商业价值最大化,
    为所有谋求长远发展的企业品牌贡献全力。
    您好,我是你的专属顾问
    微信扫码,联系专属顾问