基于大模型驱动的智能化内容采集与知识入库系统及方法

本发明公开了基于大模型驱动的智能化内容采集与知识入库系统及方法，系统包括：配置管理模块、站点探测与变更监测模块、内容抽取与处理模块、智能分析与入库模块和知识检索与问答模块；通过自动解析输入的站点信息，发现可采集的URL列表，利用网络解析从HTML中抽取核心文本内容进行相关性判定和Markdown转换；基于LLM大语言模型和预训练的Embedding模型将内容的文本信息转换为高维向量表示并进行知识入库；配置RAG架构，集成向量数据库和LLM大语言模型，生成高质量及准确的回答。本方案解决了现有技术中内容采集效率低、智能性不足、鲁棒性差、知识更新滞后以及知识应用受限的问题。