多功能肌电假肢是上肢缺失者首选的康复解决方案，但是长期的训练对使用者的生理和心理要求都很高，经常会导致积极性降低，进而中断训练。因此，如何提高截肢者的积极性和训练毅力成为一个关键而又具有挑战性的问题。现有研究表明，在受控实验室条件下，sEMG信号识别可以实现出色的性能。然而，现实世界中存在的信号噪声、个体生理变化和环境干扰削弱了其鲁棒性，严重阻碍了其广泛应用。缺乏直观、抗疲劳的肌电界面是阻碍假肢在截肢者中广泛应用的根本障碍。目前的虚拟训练系统存在多种局限性，包括训练任务偏离实际假肢控制情况、依赖主观评价指标以及任务过于简单。最关键的是，这些系统往往忽略了感官保真度因素，如肌肉力量、环境交互反馈和位置感知。这种疏忽影响了在未经训练的条件下验证新兴肌电接口可靠性的能力。先前的研究强调，虽然主观评估和任务完成速度能提供有价值的见解，但肢体运动学和运动学变异性数据能提供更深刻的训练效果见解。值得注意的是，与肢体完整的人相比，假肢使用者通常表现出更大的运动变异性，尤其是在关节轨迹方面。从长远来看，本研究的目标是开发一种自然自适应肌电界面，使用户能够控制手部的多个自由度。这种界面将使用户能够根据不同的任务和环境需求调节肌肉活动水平并增强肌肉协调性，从而将假肢从半自动配件转变为身体的延伸。此外，虚拟假肢系统需要准确复制真实假肢的功能和互动。这种能力将使用户能够在低风险环境中快速评估和评价假肢设计和控制功能。

本研究介绍了一种场景引导的自适应增量学习策略，通过整合多模态自适应算法、包含全息物体操作任务的AR环境以及基于场景的动态非对称训练方案，实现用户与机器的共同适应。在算法方面，本研究创新性提出了一种称为多模态渐进域对抗神经网络（MPDANN）的域适应方法。MPDANN利用sEMG和惯性测量单元(Inertial Measurement Unit, IMU)数据，旨在解决离线训练模型在多手臂位置条件下的长期实时部署难题。该框架实现了从粗域到细域的两阶段对齐机制，通过双域对抗分类器分别处理卷积神经网络（Convolutional Neural Network, CNN）中来自浅层的低级特征和来自深层的高级特征。这种分层对齐策略不仅实现了不同模态数据的特征解耦，更通过渐进式域适应过程促进知识的增量迁移，有效应对多源域差异带来的泛化挑战。图1是本研究提出的MPDANN算法。

图1：肌电界面自适应算法。(a) CNN。(b) MPDANN。

（图片来自原文）

为了增强用户的神经肌肉协调能力，本研究开发了两个AR交互系统，可以将虚拟假肢叠加到现实世界的环境中，如图2所示。两个AR系统的核心差异在于是否集成虚拟力反馈模块：AR-1环境仅提供物体的视觉映射，AR-2环境则叠加虚拟力反馈信号。通过这种设计，健全受试者可以看到虚拟假肢取代了自然手臂，而截肢受试者则可以看到虚拟假肢从残肢延伸出来，从而为假肢的位置和手势提供实时的视觉反馈。同时，全息物体操作任务设置在较大的空间范围，并采用了未经训练的姿势，从而能够系统地评估肢体姿势和任务可变性对识别准确性的影响。

图2：实验装置。(a) 没有虚拟力反馈的AR-1环境中全息物体操作任务实时测试。(b) 有虚拟力反馈的AR-2环境中全息物体操作任务实时测试。(c) 成功完成全息对象操作任务的理想过程。(d) 成功完成全息对象操作任务的实际过程。(e) 没有虚拟力反馈的AR-1环境实际测试场景。(f) 有虚拟力反馈的AR-2环境实际测试场景。(g) sEMG 臂环的佩戴位置。

（图片来自原文）

为进一步提升训练效能，本研究还设计了一种基于场景的动态非对称训练方案，如图3所示。该方案由两个不连续的阶段组成：离线训练阶段收集了手臂五个矢状位置的sEMG数据，以训练有监督的初始域适应模型；实时识别阶段通过八个空间位置的全息任务进行非对称增量训练。该阶段引入无监督域适应机制，创新性地将任务上下文作为监督层，构建动态伪标签生成器以优化特征对齐过程。通过整合MPDANN中的增量学习和AR环境中的增量训练形成闭环，不断更新和优化系统参数，使模型能够持续捕捉受试者神经肌肉协调模式的动态变化。

图3：基于场景的动态非对称训练方案

（图片来自原文）

图4直观展现了AR-1环境中健全受试者和截肢受试者在不同阶段的实时识别性能。在比较CNN和MPDANN的跨时段识别性能时，所有指标均具有显著差异（p<0.01）。MPDANN在第一天和最后一天的训练中也有显著提高（p<0.01）。经过五天的实时训练，使用CNN的健全受试者的平均成功转移次数略高于70次，而MPDANN则接近80次。未拾取和掉落的物体数量也呈类似的下降趋势，MPDANN稳定在1附近。使用CNN时，完成时间始终保持在8秒以上，而MPDANN则将这一指标从最初的8秒以上缩短到最后的4秒左右。CNN的完成率从68%到83%，而MPDANN的完成率一直超过80%，其中一名健全受试者的完成率最高达到98.75%。对于截肢受试者来说，最初的成功转移物体数量与使用CNN的健全受试者相当，但经过五天的实时训练后，成功转移物体数量超过了使用CNN的健全受试者。未拾取物体的趋势也反映了这一轨迹。虽然截肢者的掉落的物体数量始终低于使用CNN的健全受试者，但并没有达到使用MPDANN的健全受试者的水平。完成率的趋势与成功转移物体数量的一致。截肢者的完成时间一开始与使用CNN的健全受试者相当，后来逐渐向MPDANN的性能水平靠拢。由于样本量较小，因此未对截肢者进行统计分析。

图4：AR-1环境实时识别性能。AB 代表健全受试者，AM 代表截肢受试者。(a) 成功转移物体的数量，(b) 未被拾取的物体数量，(c) 掉落物体的数量，(d) 完成时间，以及 (e) 完成率。

（图片来自原文）

受试者在AR-2环境中实时识别过程中的表现如图5所示。在实时识别过程中，受试者使用开发的AR系统完成了虚拟假肢控制和虚拟物体操作任务。对于健全受试者，CNN和MPDANN在成功转移物体数量、未拾取物体数量、掉落物体数量、破碎物体数量、完成时间和成功率方面的差异在各次训练中均有显著差异。MPDANN在第一天和最后一天的性能也有显著差异（p<0.01）。经过五天的实时训练后，对于身体健全的受试者而言，使用CNN时成功转移物体数量在58个左右，而使用MPDANN时则在64个左右。未拾取物体和掉落物体的数量均呈现出下降的趋势，最后都接近1。使用CNN时，完成时间始终高于8秒，而使用MPDANN时，完成时间从一开始就高于8秒，直到接近4秒。对于截肢受试者来说，成功转移物体数量从一开始与使用CNN的健全受试者一致，到经过5天的实时训练后，能够超过使用CNN的健全受试者的结果。未被拾起物体的数量和破碎物体的数量也呈现出下降的趋势。至于在转移过程中掉落的物体，截肢受试者的结果始终高于使用CNN的健全受试者的结果，但没有赶上使用MPDANN的健全受试者的结果。在完成时间方面，截肢受试者的测试结果与使用CNN的健全受试者一致，直到接近使用MPDANN的健全受试者的结果。由于参加实验的受试者人数较少，因此未对截肢受试者进行统计分析。

图5：AR-2环境中的实时识别性能。AB 代表健全受试者，AM 代表截肢受试者。(a) 成功转移物体的数量。(b) 完成率。(c) 完成时间。(d) 未拾取物体的数量。(e) 掉落物体的数量。(f) 破碎物体的数量。

（图片来自原文）

深度学习算法的一个显著特点是能够在训练过程中生成大量数据。通过t-Distributed Stochastic Neighbor Embedding（t-SNE）利用稀疏、压缩的数据表示揭示了数据的内在结构，增强了模型的可解释性，并提供了分析复杂架构的工具。本研究采用t-SNE来可视化自适应算法中两个领域对抗分类器在学习过程中的行为（图6）。t-SNE可视化显示了原始特征中模糊不清的决策边界（图6a）。经过低级特征域分类（图6b）后，任务相关的组件呈现出聚类趋势；通过高级特征域分类器（图6c）进一步细化后，这些边界变得更加清晰。单靠系统级性能指标无法将用户适应与解码器适应区分开来，因为性能波动可能来自其中任何一个部分。为了识别共同适应性交互，本研究使用sEMG调谐曲线来评估受试者的日常适应性--量化sEMG活动与预期手势之间的关系。通过计算正确操作的前60秒内所有电极的sEMG调谐曲线（图6d、e），对用户的逐次尝试行为进行了描述。图6d比较了第一天和最后一天不同手势的这些曲线，而图6e则说明了不同肢体位置的变化。这些结果表明，通过五天的训练，用户能够熟练地产生与目标手势一致的肌肉激活。综合实验结果，本研究利用势函数拟合了用户与算法的交互模型，如图6f所示。

图6：肌电界面中的协同适应。(a) 原始特征的t-SNE可视化。(b) 低级特征域分类器特征的t-SNE可视化。(c) 高级特征域分类特征的t-SNE可视化。(d) 实时测试中第一天和最后一天每个手势的 sEMG 调谐曲线。(e) 实时测试中第一天和最后一天每个位置的sEMG调谐曲线。(f) 描述用户-算法协同适应模型动态的潜在函数可视化。

（图片来自原文）

为了提高受试者在未知环境中借助sEMG执行全息物体操作任务的准确率和适应性，本研究提出了一种场景引导的自适应增量学习策略。该策略创新性提出了整合sEMG和IMU数据的渐进式领域适应算法MPDANN、以全息物体操作任务为特色的AR环境，以及基于场景的动态非对称训练方案。通过为期5天的实时实验评估发现，使用MPDANN算法的任务完成率呈现渐进式提升趋势，至实验第5天，所有受试者的任务完成率均稳定超过80%。与此同时，受试者的肌肉激活模式也表现出显著的适应性调整，反映出神经肌肉系统对新型控制策略的有效学习。总之，本研究的研究将闭环系统的视觉反馈与实时领域适应算法相结合。这种结合促进了用户与算法之间的协作过程，允许即时纠错并开发一致、稳定和个性化的控制策略。