基于多模态大模型的长期行为预测方法

本发明提供一种基于多模态大模型的长期行为预测方法，包括：对观测视频进行特征提取与映射，得到视觉对齐特征；将文本指令转换得到的文本嵌入表示与视觉对齐特征组合进行自回归解码，预测得到预测范围内的至少一个时序代表性未来行为；每当预测出一个时序代表性未来行为后，生成与该时序代表性未来行为对应的未来视觉潜在表示；对生成的每一未来视觉潜在表示所包含的多个视觉潜在向量进行聚合，得到视觉摘要表示；根据当前解码隐藏状态与各视觉摘要表示的相关性构建视觉引导注意力偏置机制，从而对后续生成的未来行为进行约束，并最终输出完整的未来行为序列。本发明有效提高了长期行为预测的精度。