论文标题
在变压器的眼中：以自我为中心的凝视估计的全局本地相关性
In the Eye of Transformer: Global-Local Correlation for Egocentric Gaze Estimation
论文作者
论文摘要
在本文中，我们提出了第一个基于变压器的模型，该模型解决了以自我为中心凝视估算的具有挑战性的问题。我们观察到，全局场景上下文和本地视觉信息之间的连接对于从以自我为中心的视频框架定位凝视固定至关重要。为此，我们将变压器编码器设计为将全局上下文嵌入一个附加的视觉令牌，并进一步提出了一种新型的全球本地相关（GLC）模块，以明确模拟全局令牌和每个本地令牌的相关性。我们在两个以自我为中心的视频数据集中验证了我们的模型-Egtea凝视+和EGO4D。我们的详细消融研究证明了我们方法的好处。此外，我们的方法超过了先前的最先进利润率。我们还提供了其他可视化，以支持我们的主张，即全球 - 本地相关性是预测以自我为中心视频的凝视固定的关键表示。更多详细信息可以在我们的网站（https://bolinlai.github.io/glc-egogazeest）中找到。
In this paper, we present the first transformer-based model to address the challenging problem of egocentric gaze estimation. We observe that the connection between the global scene context and local visual information is vital for localizing the gaze fixation from egocentric video frames. To this end, we design the transformer encoder to embed the global context as one additional visual token and further propose a novel Global-Local Correlation (GLC) module to explicitly model the correlation of the global token and each local token. We validate our model on two egocentric video datasets - EGTEA Gaze+ and Ego4D. Our detailed ablation studies demonstrate the benefits of our method. In addition, our approach exceeds previous state-of-the-arts by a large margin. We also provide additional visualizations to support our claim that global-local correlation serves a key representation for predicting gaze fixation from egocentric videos. More details can be found in our website (https://bolinlai.github.io/GLC-EgoGazeEst).
