一种基于边缘端算力的对话历史动态清算与NPU崩溃防御方法及系统

本发明涉及边缘计算与人工智能模型推理技术领域。具体涉及一种在嵌入式边缘设备上运行大语言模型时防止NPU内存溢出导致进程崩溃的防御方法。针对边缘端NPU物理显存有限、底层C++推理引擎对上下文窗口长度有硬限制，一旦历史对话累积超出承载上限即触发段错误并导致整个服务进程崩溃死锁的问题，公开了一种动态字符估算拦截与主动式KV缓存清理相结合的崩溃防御方案。该方法在将完整Prompt提交给NPU驱动前实时统计其字符长度，当超出预设安全水位时主动调用底层接口清空硬件KV缓存以释放物理内存；同时将推理接口置于独立子线程并设置超时监控，检测到异常终止时自动执行物理清理并基于当前用户请求发起重试。本发明将原本导致进程崩溃的C++段错误转化为应用层可控状态重置，实现系统无感自愈，确保边缘AI服务持续可用。