一种基于预训练语言模型的电力营销文档感知方法

本发明公开了一种基于预训练语言模型的电力营销文档感知方法，包括：利用CLIP对输入的图像和文本进行编码，对已编码的图像和文本特征融合并解码生成初始预测；借助CLIP的文本编码器、跨模态解码器以及大语言模型，对初始预测进行进一步预测；在CLIP的推理过程中采用双重预测和细化解码方案，设置置信阈值，对超过阈值的预测直接输出，低于阈值的预测则用大语言模型重新预测；通过最小化视觉分支和跨模态分支的交叉熵损失之和来优化CLIP，实现对复杂场景中图像和文本的精准识别。本发明实现对电力营销文档的精准感知与深度理解，满足了用户用电需求并实现快捷响应。