基于RoBERTa中间层神经元筛选的电信诈骗文本分类检测方法

本发明提供一种基于RoBERTa中间层神经元筛选的电信诈骗文本分类检测方法。步骤如下：对电信诈骗文本数据集进行预处理，以提升数据质量。利用预训练的RoBERTa生成词向量，获取中间层的隐藏状态和激活值，使用L1线性探测和稀疏化策略筛选关键神经元。利用多头注意力机制捕获文本语义关系，使用Dropout层防止过拟合，并通过ReLU激活函数来增强线性表达能力。进一步加入残差连接，加速模型收敛并提高训练稳定性，最后用线性层进行分类。训练过程中采用交叉熵损失和不一致性损失函数，以提升模型的分类准确性和鲁棒性。本发明还构建了含28357条样本的八类别电信诈骗数据集，数据集涵盖七类典型诈骗文本以及非诈骗文本。本发明可显著提高诈骗文本分类准确率与检测效果。