利用对比学习来预训练机器学习模型

提供了用于利用对比学习来预训练机器学习模型的方法。所描述的一些方法还包括：利用至少一个处理器，从真实数据集生成扰动数据集。该方法包括：利用所述至少一个处理器，预训练机器学习模型的至少一个组件以进行替代任务，其中所述机器学习模型进行主要任务。该方法还包括：利用所述至少一个处理器，将经预训练的至少一个组件插入到进行所述主要任务的所述机器学习模型中。附加地，该方法包括：利用所述至少一个处理器，训练包括所述经预训练的至少一个组件的所述机器学习模型以进行所述主要任务。还提供了系统和计算机程序产品。