【Adv.Mater.】西交利物浦大学赵春|基于介质层嵌入II型硫化铅/硒化铅量子点的突触前光学调制近红外神经形态视觉系统:实现94.6%夜间动作识别准确率
【Adv.Mater.】西交利物浦大学赵春|基于介质层嵌入II型硫化铅/硒化铅量子点的突触前光学调制近红外神经形态视觉系统:实现94.6%夜间动作识别准确率
文章标题:Presynaptic Optical Modulation Enabled by Dielectric‐Embedded Type‐II PbS/PbSe Quantum Dots for Near‐Infrared Neuromorphic Vision 文章作者:Yuxiao Fang, Yuxiang Fang, Jiadong Shen, Herong Sheng, Hao Lei, Kang Hu, Jiaye Wu, Yueheng Sun, Hongyi Xiong, Yizhi Wang, Xinrong Li, Kanghong Wang, Jingjin Wu, Lixing Kang, Chun Zhao 文章链接:https://doi-org-s-3.proxy.itic-sci.com/10.1002/adma.74345

研究主旨与问题背景
在夜间监测、医疗看护以及智能安防等暗光场景中,近红外光由于不易受环境光干扰且对人体安全无害,成为了极具应用价值的感知波段。然而,现有的人工近红外视觉感知器件普遍面临一个技术瓶颈:大多数设备依赖瞬时的光电转换机制,在微弱光照下输出的电信号非常短暂且容易被背景噪声淹没,难以在硬件层面建立稳定、可调控的时间过渡状态,导致后续系统对动态动作的捕捉与识别能力十分有限。
自然界中的夜行哺乳动物(如猫和鼠)则具备完全不同的视觉信息处理机制。它们的视网膜在暗光环境下并不依赖强烈的瞬时反应,而是依靠特定细胞通过化学中间状态将微弱的光信号进行长时间累积与亚阈值整合,并对下游神经通路进行温和的突触前调制。受这一生物夜视处理机制的启发,该项研究提出了一种仿生材料与器件架构协同设计策略,旨在解决弱光输入难以稳定编码为时序状态的难题,并实现超低功耗的夜间动态感知与计算。

Fig.1 Bio-inspired design and architecture of the NIR neuromorphic vision system. (a,b) Structural organization of nocturnal mammalian retina (cat). (c,d) Low light signal processing in AII amacrine cells, featuring presynaptic modulation and subthreshold temporal integration. Bio-inspired mapping to the artificial vision system, including (e) CNT-QD synaptic transistor, (f,g) dielectric-embedded Type II PbS/PbSe QDs, (h) fading memory modulation, (i) synaptic arrays and (j) RC network enabled by the synaptic array.
材料创新与器件工作机理
为了在人工晶体管中重现生物视网膜的长时间信号暂存与记忆特性,研究团队首次采用了II型硫化铅/硒化铅(PbS/PbSe)核壳结构量子点,并将其巧妙地嵌入到柔性碳纳米管突触晶体管的绝缘介质层中。这种特殊的II型能带结构使得受光激发后产生的电子和空穴在空间上迅速分离,电子优先聚集在外层的硒化铅壳层并滞留在绝缘层界面,空穴则保留在内层的硫化铅核心。
这种空间电荷分离机制有效抑制了电子与空穴的快速复合,使光生载流子的平均寿命从传统材料的约220纳秒显著延长至约300纳秒,激发态衰减时间更是延长到了约240皮秒。这些滞留在界面的电子构成了一种稳定但缓慢消退的光诱导中间状态,它们不直接参与电路导电,而是充当了“虚拟浮栅”,通过静电感应连续调控上方碳纳米管通道的导电能力。这种结构与电学上的解耦设计,不仅保护了碳纳米管本身优异的导电性能,还实现了高灵敏度的突触前光学非传导调制。

Fig.2 Optical properties of PbS/PbSe core–shell QDs and optoelectronic mechanism of CNT-QD synaptic transistor. (a) Schematic illustration of the PbS/PbSe core–shell structure and the corresponding type-II band alignment. (b) Absorption and PL spectra, (c) TRPL spectra, and (d,e) TAS maps of PbS and PbS/PbSe QDs. (f,g) Time-resolved traces at 1070 nm probe wavelengths derived from TAS measurements. (h) Structural diagram and photograph of the flexible CNT-QD synaptic array. Energy-band diagrams illustrating the optoelectronic decoupling mechanism in the CNT synaptic transistor under (i) dark and (j) light environments.
阵列性能与物理储备池构建
基于上述材料设计,研究团队在柔性聚酰亚胺衬底上成功制造了8×8(共64个单元)的柔性突触晶体管阵列。该阵列展现出了极高的一致性,阈值电压的变异系数仅为2.96%,开关电流比变异系数为4.0%,为大规模神经形态计算提供了坚实的硬件基础。在感知性能方面,器件实现了395纳米至808纳米的宽光谱覆盖,在808纳米近红外光照下开关比提升了三个数量级以上。更为突出的是其超低能耗表现,在0.2毫瓦/平方厘米的微弱红外光照射下,单个光学突触事件的电能消耗仅为0.325飞焦(fJ),显著优于现有的多数光电神经形态器件。
得益于光生载流子缓慢释放的物理特性,该器件表现出丰富的多时间尺度衰减动力学。在输入五位二进制光学脉冲序列时,器件阵列能够稳定生成32种互不相同且可清晰区分的衰减尾迹状态。研究人员直接利用这种天然的硬件记忆衰减特性构建了物理储备池计算网络,将复杂连续的时序光信号映射为高维可分的特征轨迹,省去了传统复杂人工神经网络庞大的循环权重计算开销。

Fig.3 Optoelectronic performance of CNT-QD synaptic arrays. (a) Circuit layout of the CNT-QD synaptic transistor array. (b) IDS–VGS curves of 64 CNT-QD synaptic transistors. (c) IDS–VGS curves under illumination with different wavelengths and powers. Synaptic photo responses including (d) PPF, (e) wavelength-dependent EPSCs, (f) light-intensity-dependent EPSCs, (g) pulse-number-dependent EPSCs, and (h) energy consumption per synaptic event. (i) Benchmark comparison of event energy with reported optoelectronic neuromorphic devices.
动作识别验证与实验数据
为了在系统层面验证该近红外神经形态视觉系统的实用性,研究团队将其应用于大规模人体夜间骨骼动作识别任务中。实验构建了一个包含114,480个骨骼序列的大型数据集,涵盖了日常活动、积极健康行为以及各类病症动作等60个动作类别,其中重点包含了头痛、胸痛、恶心呕吐等21类夜间突发疾病预警动作。
系统将人体躯干与手部细微动作进行双分支解耦,提取帧间位移速度特征后注入突触晶体管阵列储备池,最后通过浅层多层感知机完成分类。实验结果显示,在经过35个训练轮次后,全类别识别准确率稳步达到90.87%;在针对核心健康危机动作的专项测试中,针对10类关键健康动作的识别准确率高达94.6%,其中头痛动作的识别准确率达到了95.7%,胸痛动作更是达到了98.12%。与传统的纯软件模型(如卷积神经网络的87.99%)相比,该混合系统不仅收敛速度更快,而且对夜间低信噪比条件下的异常肢体微动表现出极高的敏感性与鲁棒性。

Fig.4 Temporal encoding of human motion using synaptic dynamics. (a) Preprocessing pipeline of skeletal motion data from sequential video frames with random feature mapping, masking, and pooling. (b) Image of the 8 × 8 CNT-QD synaptic transistor array with external routing lines. (c) Temporal reservoir framework with variable τ for processing encoded time-series signals. (d) Motion trajectories along x, y, and z directions extracted from the dataset. (e) Encoded time-series signals for representative human actions (e.g., chest pain). (f) Five-bit pulse input and corresponding 32 EPSC final states in the synaptic transistor.

Fig.5 Recognition performance of complex human actions under nighttime. (a) System workflow combining trunk and hand motion features with ESN and MLP for classification. (b) Confusion matrix across multiple actions. (c) Circular plot of recognition accuracy for normal (blue), positive (red), and negative (yellow) actions. (d) Training and testing accuracy curves over epochs. (e) Comparison of recognition accuracy using ESN only, MLP only, and hybrid ESN+MLP architecture. (f) Bar chart of action-specific recognition accuracy highlighting ten positive actions detection. (g) Benchmark comparison of the proposed system with other reported datasets.
研究定论与应用展望
该项研究成功打通了从底层量子点材料合成、柔性突触器件制备到系统级神经形态算法的全流程,证实了利用介质层嵌入量子点的中间状态实现生物级微光时间积分的可行性。这项成果为夜间无感居家健康监护、智能病房突发病情预警以及低功耗可穿戴视觉感知设备提供了极具前瞻性的技术路线。针对未来发展,进一步扩大硬件阵列规模、探索在更复杂动态遮挡背景下的自适应识别算法,将是推动该仿生视觉感知系统走向更广泛产业化应用的关键方向。
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!












