基于深度学习多模态时序融合的畜禽行为识别方法及系统

本发明公开了一种基于深度学习多模态时序融合的畜禽行为识别方法及系统，涉及畜禽行为识别领域，包括：获取时序传感数据与视觉数据，构建多模态时序数据集；对每一畜禽个体提取运动传感时序特征与视觉姿态时序特征，获取多模态行为表征向量；构建个体间关联图，通过图注意力网络获取各畜禽个体的群体上下文增强特征序列；通过时序解码网络解码输出各畜禽个体在每一时刻的行为类别标签，利用群体行为一致性正则化项对模型进行约束，得到最终行为识别结果；构建综合损失函数，对畜禽行为识别模型中的所有可训练网络模块进行端到端联合训练。实现各畜禽个体在动态群体上下文增强下的行为识别，有效解决复杂养殖场景下畜禽行为识别与分析。