元の名称記録: 四川吉利学院; 成都行者悟空科技有限公司

本申请涉及一种基于多模态特征融合的非接触式心率呼吸检测方法。所述方法包括：首先，获取目标区域视频流；之后，将所述目标区域视频流输入目标动态跟踪模型中，输出多区域ROI数据，其中，所述目标动态跟踪模型基于YOLOv5s模型构建；之后，对所述多区域ROI数据进行颜色空间转换，并采用CEEMD‑LSTM算法进行去噪处理；最后，将去噪处理后的多区域ROI数据输入双流注意力融合神经网络模型，输出心率值和呼吸率值。提高了非接触式生理参数检测的鲁棒性和适应性，能够满足实时监护需求。

本申请涉及一种基于多模态时空感知的多人跳绳智能检测方法。所述方法包括：获取多模态跳绳数据并进行预处理，其中，所述多模态跳绳数据包括双摄像头数据和传感器数据；基于YOLOv8‑Pose构建姿态估计模型，包括可变形卷积层、时空注意力模块和关节轨迹补偿模块；将所述摄像头数据输入所述姿态估计模型，将输出结果与所述传感器数据采用分层动态时间规整算法进行时空特征融合，得到时空融合数据；联合脚踝垂直速度计算、IMU峰值检测、绳体角度分析和多条件联合决策对所述时空融合数据进行动作识别，得到多人跳绳检测结果。通过多模态时空对齐架构，通过传感器数据补偿视觉遮挡，提高了多人跳绳智能检测的准确率与精度。