検索に戻る
案件記録

一种基于空洞卷积与通道注意力机制的视口预测增强方法

発明有効
6請求項 · 1 独立
§ Ⅰ

案件概要

発明者

赵峰; 张祎鸣; 贾茹; 周慧怡; 覃文腾

IPC分類

G06V 20/40 (2022.01)G06V 10/82 (2022.01)G06V 10/62 (2022.01)G06V 10/44 (2022.01)G06V 10/52 (2022.01)G06V 40/20 (2022.01)G06N 3/0464 (2023.01)G06N 3/0442 (2023.01)G06N 3/045 (2023.01)

本发明属于360度视频流传输与深度学习视口预测技术领域,具体提供一种基于空洞卷积与通道注意力机制的视口预测增强方法。针对现有视口预测模型在特征提取时存在的感受野受限、局部细节感知不足及全局上下文建模不充分等问题,本发明将空洞卷积与通道注意力(Squeeze‑and‑Excitation,SE)机制相结合,构建一种能够提升特征判别能力的复合模块。该方法首先通过空洞卷积扩大感受野,在不增加参数的前提下有效捕获多尺度上下文信息,强化对长距离空间依赖关系的建模;其次引入SE模块,对不同通道特征进行权重自适应调整,强化关键区域响应,抑制冗余信息;最后将该模块嵌入视口预测网络的卷积层,与卷积多头注意力机制协同作用,从而在保留全局特征的同时提升对局部细节的感知能力。实验结果表明,该模块在3s、4s、5s的预测准确率分别为95.5%、95.6%和95.5%,对应的F1分数为0.708、0.716和0.704,显著提升了360度视频长时视口预测的准确性与稳定性,具备良好的实用性与推广前景。

外部リソース