标签：融合脑电与视觉、时频网络的机器人手臂脑机接口系统
前言
《ArmBCIsys: Robot Arm BCI System With Time–Frequency Network for Multiobject Grasping》
期刊：IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS
年份：2025.10
分区：Q1，一区Top；IF：8.9
提出了一种基于时频网络与视觉引导的机器人手臂脑机接口系统，用于实现多目标抓取。
一、研究背景与动机
1. 问题背景
- BCI为残障人士提供了一种无需肢体动作即可控制外部设备的方式，具有重要康复与辅助价值。
- 多目标抓取在动态、复杂环境中仍面临挑战，尤其是在低信噪比消费级EEG信号下。
- 传统方法如CCA、TRCA等对噪声和伪影敏感，解码精度受限，难以适应实际应用场景。
2. 现有方法局限性
- 信号解码鲁棒性不足：传统方法在复杂环境下易受干扰，解码准确率下降。
- 视觉引导精度有限：现有视觉分割模型对小型、遮挡目标分割能力弱。
- 数据集缺乏：缺少面向多目标c-VEP任务的公开、标准化数据集，制约算法优化与验证。
二、核心贡献
1. 提出ArmBCIsys集成系统
- 集成了EEG信号解码、视觉分割、机械臂控制三大模块，实现端到端的多目标抓取系统。
2. 提出DBFENet时频解码网络
- 时域分支：使用STCB模块提取多尺度时空特征。
- 频域分支：采用DCT变换与DSPT结构提取频域特征，增强抗噪能力。
- 双分支融合：结合时空与频域特征，显著提升解码准确率与鲁棒性。
3. 提出VisGraspSeg视觉分割模块
- 基于Mask2Former与Swin-B模型，在Jacquard数据集上微调，提升对小目标的分割与跟踪能力。
- 引入多帧分析算法（质心匹配+IoU融合），增强动态环境下的目标稳定性判断。
4. 构建自建c-VEP数据集
- 包含1344个样本，6个目标类别，覆盖多种刺激模式与实际场景，为多目标c-VEP研究提供数据支持。
三、方法架构
1. 整体流程
输入：EEG信号 + 视觉图像 → DBFENet解码 → VisGraspSeg分割 → 机械臂控制 → 抓取执行
2. 关键模块说明
DBFENet：
*STCB模块：*卷积核尺寸逐层增大（8→32），捕获短、中、长时间特征。
*DSPT模块：*引入低秩投影、头丢弃、残差缩放等优化，提升频域建模效率。
VisGraspSeg：
*微调Mask2Former：*针对小目标优化查询机制与掩码预测头。
*多帧跟踪：*结合质心距离与IoU进行目标匹配与轨迹维护。
机械臂控制模块：
逆运动学求解 + 梯形轨迹规划，实现平滑抓取动作。
四、实验设计
1. 数据集
- 自建c-VEP数据集：1344样本，6类别，涵盖视觉皮层区域信号。
- 公开数据集：Zhu2023、RIECHMANN2014，用于跨数据集验证。
2. 评价指标
- 解码任务：准确率、召回率、F1分数、损失值。
- 分割任务：mIoU、mAcc、aAcc。
3. 实验设置
- 硬件平台：OpenBCI Cyton + GLUON-6L3机械臂 + Realsense L515摄像头。
- 训练参数：DBFENet（60轮，学习率0.001），VisGraspSeg（10000迭代，学习率0.0001）。
五、实验结果
1. 解码性能对比
- 自建数据集：DBFENet达到97.77%准确率，显著优于TimesNet（94.8%）、iTransformer（93.81%）等。
- 公开数据集：在Zhu2023上准确率92.11%，RIECHMANN2014上84.14%，均优于对比方法。
- 消融实验：时域与频域模块均有显著贡献，融合后性能最佳。
2. 分割性能对比
- 微调前后对比：
未微调：物体类别IoU仅3.47%，无法有效分割。
微调后：物体类别IoU提升至95.16%，mIoU达97.50%。 - 实时测试：VisGraspSeg在未见物体上仍表现鲁棒。
3. 泛化与系统验证
- 导航实验：用户通过凝视方向按钮调整视角，平均解码时间约2秒。
- 抓取实验：系统在多目标场景中成功识别并抓取目标，验证了系统的实际可用性。
六、讨论与意义
1. 技术意义
- 首次将时频网络与视觉分割结合，提升了BCI在复杂场景下的鲁棒性。
- 设计双分支网络结构，充分利用EEG信号的时域与频域信息。
- 提出多帧跟踪机制，增强了动态目标识别的稳定性。
2. 应用前景
- 康复辅助：为肢体残障人士提供智能抓取辅助系统。
- 工业自动化：可用于智能分拣、装配等场景。
- 服务机器人：提升机器人在动态环境中的交互与操作能力。
3. 未来方向
- 扩大受试者范围，提升系统的用户泛化能力。
- 引入迁移学习，适应不同用户与场景的EEG差异。
- 探索在线自适应机制，提升系统在动态环境中的实时性能。
总结
该论文提出了一种集成的BCI机械臂系统，通过时频解码网络与视觉引导模块的协同工作，显著提升了在低信噪比、动态多目标环境下的抓取性能。系统在解码准确率、分割精度、实际抓取成功率方面均表现优异，具有较高的科研价值与应用潜力，为BCI在康复、辅助、工业等领域的落地提供了有力支持。
