검색으로 돌아가기
기록
面向大规模网页数据的分块树堆索引构建、存储和查询方法
발명유효
1조회수
10청구항 · 2 독립항
§ Ⅰ
개요
발명자
姜琨; 董馨怡; 刘征; 崔兰兰; 朱磊; 叶青
IPC 분류
G06F 16/31 (2019.01)G06F 16/953 (2019.01)G06F 40/205 (2020.01)G06F 40/289 (2020.01)G06F 40/242 (2020.01)
本发明公开了面向大规模网页数据的分块树堆索引构建、存储和查询方法,该方法包含两部分:其一,分块树堆索引的构建与存储,对大规模网页数据预处理并构建倒排索引,将倒排链表按等长倒排项划分为分块,为每个分块构建树堆索引结构,再通过树堆转一般树、平衡括号存储、文档标识与词频差分编码、变长字节压缩的拓扑差值方法压缩索引并存储;其二,分块树堆索引的查询,从词典读取倒排链表自索引数据,定位目标文档所属分块,读取并解压分块以恢复树堆结构,遍历树堆完成查询。该方法避免了查询时文件切换开销,同时通过自索引结构实现压缩分块的快速随机访问,降低解压时间与内存加载量,显著提升大规模网页数据搜索引擎的查询性能。