一种基于多模态扩散模型的声学特征分析方法和系统

本发明公开了一种基于多模态扩散模型的声学特征分析方法和系统，包括数据集构建模块用于收集医疗数据，通过自举式多模态数据集构建方法构建训练数据集；模型构建模块用于通过多模态融合架构与临床决策引擎构建声学特征分析模型；模型训练模块用于采用训练数据集训练声学特征分析模型，音频输入为训练数据集中的喉音信号，图像输入为训练数据集中的喉镜图像，监督数据为诊断文本；输出模块用于基于LLM生成符合医学规范的分析结果。本发明采用自举式多模态数据集构建方法，解决了医疗训练数据不足的问题，采用大语言模型生成分析文本，并分别训练声音和图像扩散模型，降低了跨模态生成的复杂度。