视频和音频多模态搜索系统

描述了一种使用视频查询的多模态搜索系统。所述系统可以接收由用户装置的相机捕获的视频数据。视频数据可以具有图像帧的序列。附加地，所述系统可以接收与由用户装置捕获的视频数据相关联的音频数据。此外，所述系统可以使用一个或多个经机器学习模型来处理图像帧的序列以生成与图像帧的序列相关的视频嵌入。视频嵌入可以具有与图像帧的序列相关联的多个图像嵌入。此外，所述系统可以基于视频嵌入和音频数据来确定一个或多个视频结果。随后，所述系统可以向用户装置传输一个或多个视频结果。