使用跨模态对比学习来训练多模态机器学习模型

用于使用联邦学习和多模态数据来在多个客户端设备处训练机器学习模型的技术和装置。一种示例方法一般包括在本地设备处从服务器接收定义全局机器学习模型的信息。一般来讲，全局机器学习模型包括多个模态专用编码器，并且多个模态专用编码器中的每个相应编码器一般被训练为将来自相应数据模态的数据编码成潜空间表示。全局机器学习模型的一个或多个模态专用编码器是基于与本地设备处的模态专用数据的对比学习来细化的。