検索に戻る
案件記録
基于注意力消融的音频大语言模型跨模态信息流追踪方法
発明不明
3請求項 · 1 独立
§ Ⅰ
案件概要
IPC分類
G10L 25/03 (2013.01)G10L 25/18 (2013.01)G10L 25/30 (2013.01)G10L 25/63 (2013.01)G06F 40/189 (2020.01)G06F 40/279 (2020.01)G06F 40/30 (2020.01)G06N 5/046 (2023.01)G06N 5/04 (2023.01)
本发明涉及基于注意力消融的音频大语言模型跨模态信息流追踪方法,属于音频大语言模型技术领域。具体是通过对声学与文本模态之间的注意力路径进行选择性干预,定量追踪不同层次中两种模态对最终预测的贡献,在关键词识别、情感分类和问答推理三类任务下,分别执行声学‑末位阻断、文本‑末位阻断、末位自阻断以及声学‑文本阻断四类消融模式,构建逐层模态贡献剖面,得到音频大语言模型内部的模态融合机制与层次化信息处理规律:声学表示主导低层、文本表示主导高层、跨模态注入集中于中间层的层次化组织结构;随任务复杂度提升从声学依赖向均衡多模态推理自适应切换的模态平衡机制;本发明方法为音频大语言模型的结构理解与优化提供了理论依据。
ログインして全文を読む
請求項 1 を表示しています。無料登録で全 3 項の請求項、明細書全文、全図面、翻訳、法的状態を閲覧できます。
- 全請求項
- 技術分野
- 背景技術
- 発明の概要
- 図面の説明
- 発明を実施するための形態
外部リソース