具有多尺度多上下文注意力的变换器

本公开的某些方面提供了用于改善的机器学习的技术和装置。访问经变换版本的图像像素，该经变换版本的图像像素作为对机器学习模型的注意力层的输入。至少部分地基于经变换版本的图像像素的大小来选择在一个变换器中向经变换版本的图像像素应用的局部注意力操作的数量。基于向经变换版本的图像像素应用该数量的局部注意力操作和至少一个全局注意力操作来生成用于机器学习模型的注意力层的变换器输出。