上海妙文创意科技有限公司

本发明涉及一种基于多模态AI模型驱动的展馆影音体验展示方法及系统，属智能展馆控制领域。其中，该方法包括输入原生信号流进行时空同步预处理，得到观众多模态观测序列；基于观众多模态观测序列进行观众集体状态表征的变分推断，输出集体状态表征；基于集体状态表征和当前的场景隐变量进行体验流形上的演化驱动力计算，得到势能梯度；基于势能梯度更新场景隐变量并进行多模态参数解码，输出更新后的场景隐变量和解码后的多模态参数集；基于多模态参数集进行跨模态相位相干性约束与最终渲染输出。本发明实现了驱动场景隐变量沿势能梯度演化，从而对展馆全景纹理、空间音频、灯光及振动参数进行自适应解码与同步输出。