一种基于自扩展机制的生成式多模态类增量学习方法

本发明公开了一种基于自扩展机制的生成式多模态类增量学习方法，所述方法包括：接收类增量图像数据并构建图像‑文本样本，动态维护候选类别文本集合；利用预训练视觉编码器提取特征；构建自扩展混合专家投影模块，集成投影专家、分布偏移检测器及路由器；利用分布偏移检测器计算投影视觉特征与专家原型的匹配程度，判定是否新增并初始化专家，在线更新专家原型；利用软路由机制分配专家权重并加权融合生成投影视觉嵌入；将投影视觉嵌入、文本提示及目标类别文本拼接输入语言解码器，联合多种损失优化模型参数；推理阶段通过正则匹配优先、相似度回退机制输出类别识别结果。本发明实现了模型对非平稳图像分布适应能力与长期识别稳定性的有效提升。