思必驰科技股份有限公司

本发明实施例提供一种基于能力引导的级联语音对话系统的训练方法及系统。该方法包括：确定级联语音对话系统内识别模块与合成模块的领域划分能力先验，基于能力先验中的优势能力引导出识别模块与合成模块之间的路由规则；基于路由规则构造教师‑学生模型的理解优势引导路线或生成优势引导路线，生成不同路线下的训练样本；利用训练样本对学生模型进行在线策略蒸馏的监督迭代训练，并保持优化器与学习率状态并进入下一循环迭代训练，得到训练后的识别模块与合成模块。本发明实施例根据领域能力差异选择教师方向，减少低质量伪监督；通过逐周期重构和筛选，使后续训练数据随模型检查点更新；通过同策略蒸馏约束降低更新模块偏离原始能力的风险。

本申请公开一种基于笔动作的录音处理方法、电子设备和存储介质，方法包括：在录音过程中采集笔动作信号，并根据笔动作信号识别有效笔动作；根据有效笔动作生成对应的动作槽，动作槽中包括动作时间戳；根据动作时间戳将动作槽与录音数据中对应时间的目标音频片段建立绑定关系，并存储动作槽、目标音频片段和绑定关系；存储动作槽包括：将动作槽写入动作槽序列中，动作槽序列用于按照时间顺序存储多个有效笔动作对应的多个动作槽。本申请通过检测有效笔动作，然后为有效笔动作生成动作槽序列，通过动作槽建立有效笔动作与相应目标音频片段之间绑定关系，从而能够根据用户的有效笔动作标记重要目标音频片段，并方便进行重要音频片段定位检索的方案。

本发明实施例提供一种基于议程驱动及符号的用户交互模拟系统。该系统包括：状态控制器，用于：在每一轮对话中，获取对话历史以及上一轮的用户目标状态；调用受限符号操作工具集，将上一轮的用户目标状态中的多任务议程堆栈，限定为可执行的符号运算进行逻辑更新，使状态控制器完成本应由响应生成器处理的离散逻辑推理，得到本轮对话的用户目标状态；响应生成器，用于：从多任务议程堆栈限定中读取交互的完整议程，并基于用户画像引导响应生成器专注于遵守人设约束，以多任务议程堆栈、用户画像以及对话历史为条件，生成自然语言用户语句。本发明实施例使生成语言模型能够从繁重的逻辑跟踪中解放，专注于生成高保真、符合人设的自然语言回复。

本发明公开一种设备控制代理的评测方法及系统，方法包括基于种子设备列表创建出多组对象类元数据；基于对象类元数据进行对象类实例化，将各组对象类元数据分别转化为一组可执行的对象类代码；基于实例化的对象类生成评测场景，并在各评测场景中生成标准参考轨迹；基于生成的评测场景和标准参考轨迹对所述设备控制代理的基座模型进行训练和评测，并生成评测报告输出。本发明实施例的方法和系统采用对象导向的状态模拟机制，将真实世界的设备抽象为可编程的对象类，并能够基于种子设备自动扩展和实例化出多种设备对象类，因而可以基于实例化的设备对象类自动生成成百上千个多样化、可执行的评测场景，大幅提升评测规模与效率。