本文提出注意力中心模型，用于预测人眼在图像上首先注意到的位置，从而提高用户体验。
当观察一副图像时，你会先注意图像的哪些内容，或者说图像中的哪些区域会首先吸引你的注意力，机器能否学会人类的这种注意力形式。在来自谷歌的一项研究中，他们开源的注意力中心模型（attention center model）可以做到这一点。并且该模型可用于 JPEG XL 图像格式上。
举例来说，下图是注意力中心模型的一些预测示例，其中绿点为预测的图像的注意力中心点。
图像来自 Kodak 图像数据集：http://r0k.us/graphics/kodak/
注意力中心模型大小为 2MB，格式为 TensorFlow Lite。它以 RGB 图像作为输入，并输出一个 2D 点，该点是图像上的预测注意力中心点。
为了训练模型来预测注意力中心，首先需要一些来自注意力中心的真实数据。给定一张图像，一些注意力点可以通过眼动仪收集，或者通过鼠标点击图像来接近。该研究首先对这些注意点进行时间滤波，只保留最初的注意力点，然后应用空间滤波去除噪声。最后，计算剩余注意力点的中心作为真值注意力中心。下面显示了获取真值过程的示例说明图。
项目地址：https://github.com/google/attention-center
注意力中心模型架构
注意力中心模型是一个深度神经网络，以一张图像为输入，使用预训练分类网络如 ResNet、MobileNet 等作为骨干。从骨干网络输出的几个中间层被用作注意力中心预测模块的输入。这些不同的中间层包含不同的信息，例如，浅层通常包含较低层次的信息，如强度 / 颜色 / 纹理，而更深层次通常包含更高、更语义的信息，如形状 / 目标。
注意中心预测采用卷积、反卷积调整算子，并结合聚合和 sigmoid 函数，生成注意力中心的权重图。然后一个算子（在例子中是爱因斯坦求和算子）可用于从加权图中计算中心。预测注意力中心和真实注意力中心之间的 L2 范数作为训练损失。
此外 JPEG XL 是一种新的图像格式，允许用户在对图像编码时，确保有趣的部分率先显示。这样做的好处是，当用户在网上浏览图像时，图像中吸引人的部分可以率先显示出来，也就是用户首先看到的部分，在理想情况下，一旦用户看向图片其余地方时，图像的其他部分也已经就位并已解码。
在 JPEG XL 中，图像通常被划分为大小为 256 x 256 的矩阵， JPEG XL 编码器将在图像中选择一个起始组，然后围绕该组生成同心正方形。Chrome 浏览器从 107 版增加了对 JPEG XL 图像的渐进解码功能。目前，JPEG XL 还是一个实验性的产物，在 chrome://flags 中通过搜索 jxl 即可启用。
要想了解渐进式加载 JPEG XL 图像的效果，可以访问网址进行查看：
https://google.github.io/attention-center/
©本文为清一色官方代发，观点仅代表作者本人，与清一色无关。清一色对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。本文不作为投资理财建议，请读者仅作参考，并请自行承担全部责任。文中部分文字/图片/视频/音频等来源于网络，如侵犯到著作权人的权利，请与我们联系（微信/QQ:1074760229）。转载请注明出处：清一色财经
微信扫码打赏 
支付宝扫码打赏 
