一种大数据场景下的AI大模型提示词自动优化的方法

本发明公开了一种大数据场景下的AI大模型提示词自动优化的方法，自动减少输入大模型的token数量，提高模型在大数据场景下的处理效率，降低使用成本，同时确保模型能够准确理解用户在大数据场景下的意图并生成高质量的输出。其技术方案为：针对大数据场景下提示词token过多的问题，首先采用场景化数据重要性区分算法，结合层次分析法与熵值法生成重要性分级表。对指标数据按重要性分级压缩：高重要数据依重复率用游程编码等无损技术，中低重要数据用分段线性近似等有损方式；标签数据通过BitMap位图压缩。再经自动化流程将压缩后数据与任务描述组装成优化提示词。