검색으로 돌아가기
기록
异构数据预处理方法、系统、设备及存储介质
발명유효
10청구항 · 4 독립항
§ Ⅰ
개요
발명자
宋浩文; 国靖; 费振玉; 陈晓航
IPC 분류
G06F 16/31 (2019.01)G06F 16/35 (2025.01)G06F 16/334 (2025.01)G06F 16/36 (2019.01)G06F 40/30 (2020.01)
本发明涉及人工智能技术领域,具体提供一种异构数据预处理方法、系统、设备及存储介质,包括:获取多源异构原始数据并解析为中间格式样本数据;调用大语言模型生成字段语义标签;通过字段映射规则将原始字段转换为标准字段库中的标准字段;利用机器学习模型清洗异常值得到初版样本数据集;对非结构化文本字段进行语义分析生成结构化特征向量并加入数据集;最后根据数据类型和语义标签对结构化字段执行特征衍生,输出最终数据集。该方法实现了从原始数据到训练就绪数据集的自动化处理,显著提升了数据预处理效率、自动化程度与可靠性。