
近日,深圳大学心理学院周小梅助理教授课题组在国际学术期刊Behavior Research Methods(近五年IF=6.8)在线发表题为"FaceTrack-AOI: An AI-driven tool for automated dynamic AOI placement and eye movement analysis in face perception studies"的研究论文。该研究创新融合人工智能面孔关键点检测与高精度眼动分析技术,开发了基于Python的开源工具FaceTrack-AOI,用于支持自然情境下面孔知觉研究的自动化分析。该工具针对传统眼动兴趣区手工标注中耗时耗力、主观性较强等问题,实现了对动态面孔多维特征的自动化与精细化兴趣区定位及眼动数据分析,为婴幼儿、儿童及孤独症等群体的面孔视觉认知研究提供了有力的方法支持。
一、研究背景
面孔知觉是人类社会交往的基石,依赖于对面部特征的动态视觉注意分配。然而真实世界中的面孔并非静止,面部的表情、说话、姿态、光照与场景持续变化,构成丰富的“多维自然变化”信息,这些信息近期被证实是面孔学习与身份识别的关键线索。眼动追踪技术是揭示面孔注意加工机制的核心手段,但其分析高度依赖于"兴趣区"(Area of Interest, AOI)的精准界定。长期以来,针对动态视频和自然变化面孔的兴趣区标注主要依赖人工逐帧操作,工作量巨大、主观性较强、重复性受限,一定程度上制约了动态自然面孔认知的基础研究,对婴幼儿、孤独症儿童等数据噪声较大的特殊群体研究尤具挑战。
二、研究方法
针对以上问题,本研究研发的FaceTrack-AOI集成了三项核心功能:
1. AI驱动的形状贴合动态兴趣区生成:基于Dlib的HOG-SVM人脸检测算法和级联回归树ERT模型,自动定位68个面部关键点,生成贴合面部真实形态轮廓的动态兴趣区,涵盖面部、左/右眉、左/右眼、鼻、嘴等7个核心区域,对头部旋转、遮挡和表情变化具有良好鲁棒性。
2. 灵活可定制的图形用户界面:无需编程基础可调用GUI,支持矩形、多边形兴趣区、自定义缓冲区、空白排除区、层级化结构等多种配置。
3. 开源跨平台部署:兼容Windows、macOS与Linux,代码和使用手册已在GitHub开源,便于研究社区共建共享: https://github.com/zxmlab/FaceTrack-AOI。

图.1:FaceTrack-AOI的工作流程与核心架构和GUI界面
为系统评估工具性能,研究采用了四项互补验证策略, 包括:专家人工标注对比、100张专家标注图像上的跨身份泛化测试(标准化中国人面孔身体数据集CFBD;Hu et al., 2025)、与已发表标准矩形兴趣区方案对照(Segal & Moulson, 2020)、以及基于行为基准(按指令注视特定面部特征)的概念验证。
三、研究结果
1. 兴趣区识别精度高、稳健性强
FaceTrack-AOI生成的兴趣区与多位资深眼动专家手工标注平均空间重叠率高达95.73%,在头部旋转(±40°偏角)、部分遮挡、动态表情等挑战性场景下仍保持稳定。行为基准的概念验证显示,被试按指令注视目标特征时,超过98.8%的注视时间被准确捕获到对应兴趣区内。在加入0°—2°视角高斯噪声的鲁棒性测试中,工具在关键兴趣区均保持高一致率(M = 0.88-1.00)。

图2:FaceTrack-AOI高斯噪声的鲁棒性验证

图3:FaceTrack-AOI与专家手工标注的对比(CFBD面孔身体数据集、视频)、AOI面积比例、平均空间重叠率
2. 复现和拓展婴幼儿、成人自然面孔学习研究
该工具应用于28,800帧动态视频数据,分析6—18个月婴幼儿与成人在高/低面孔变异条件下的注视模式。完整复现了Zhou等人(2021)的核心发现,与传统矩形兴趣区方法所得结果高度相关。工具识别出婴幼儿在高变化条件下对鼻部区域的注视显著增多,提示早期发育阶段已具备利用自然变化信息进行知觉学习的敏感性,凸显了形状贴合型动态兴趣区的精细化分析价值。

图4:婴幼儿基于1800帧动态视频的时序分析结果
3.有效揭示孤独症儿童的面孔加工差异
工具应用于2-8岁中国孤独症(ASD)与正常发育儿童(TD)的面孔变化记忆任务眼动数据,结果显示孤独症儿童在面孔区域的注视次数显著少于正常发育同龄儿童,而对非面孔区域的注视未见组间差异。表明孤独症儿童期面部关注度的下降特异于社会相关刺激本身,而非源于背景分心。这一模式在编码、相同图像识别与新颖图像泛化阶段稳定可重复,证实了工具对孤独症面孔知觉临床特征的灵敏捕捉能力。

图5:面孔兴趣区FaceTrack-AOI自动化标注与人工AOI标注对比
四、研究结论
本研究研发的FaceTrack-AOI是少数将自动化形状贴合动态兴趣区、用户自定义缓冲区与图形化界面集成于一体的开源框架。它将原本耗时数小时甚至数日的手工AOI标注工作压缩至数分钟,在保持高精度的同时提升了动态眼动注视分析的效率与可重复性。该工具为检验“自然变化驱动面孔表征建立”等理论假设提供了更具生态效度的分析路径,为婴幼儿及孤独症儿童的自然面孔知觉研究提供了方法学支持,进一步为推动早期视觉认知发展及其临床转化提供了新的证据与思路。
五、作者贡献
深圳大学为第一完成单位,深圳大学心理学院周小梅助理教授为论文的第一和通讯作者,赵朔副教授、课题组研究助理陈郭伟、硕士研究生蔡媛、本科生赵思雅、宁锦标工程师、广西梧州市妇幼保健医院的陆青灵医生和陈丽副护长,以及多伦多都会大学Margaret Moulson教授对本研究做出了重要贡献。特别感谢所有参与研究的中国与加拿大的婴幼儿、孤独症儿童及家庭。本研究受到国家自然科学基金、广东省哲学社会科学规划项目、深圳市鹏城孔雀计划以及加拿大NSERC基金等项目的资助。
六、引用文献
Zhou, X., Chen, G., Ning, J., Cai, Y., Zhao, S., Zhao, S., Lu, Q., Chen, L., & Moulson, M. C. (2026). FaceTrack-AOI: An AI-driven tool for automated dynamic AOI placement and eye movement analysis in face perception studies. Behavior Research Methods, 58(5), 141. https://doi.org/10.3758/s13428-026-02973-7
本文章仅用于学术分享,若有侵权请联系,即时删侵!
科研成果 | AI如何分辨“正常变老”与“认知障碍”? 北师大BABRI团队发现MCI特异性脑结构特征
科研成果 | 深圳大学心理学院彭微微教授课题组在国际学术期刊Psychological Medicine在线发表研究论文
科研成果丨深圳大学李晓东课题组在教育心理学国际顶级期刊Journal of Educational Psychology上发表研究成果
科学成果|华东师范大学刘永芳团队在 J Prod Brand Manag 发文揭示鼻音韵尾的品牌影响机制


