这项由新加坡南洋理工大学的刘子威教授团队与国立新加坡大学、香港科技大学以及上海人工智能实验室合作完成的研究发表于2025年8月,论文名为"EgoTwin: Dreaming Body and View in First Person"。感兴趣的读者可以通过arXiv:2508.13013访问完整论文,或访问项目主页https://egotwin.pages.dev/获取更多演示内容。
当我们戴上VR眼镜或者使用智能手机拍摄第一人称视频时,有没有想过这样一个问题:如果AI能够像人类一样,不仅"看到"我们眼前的世界,还能"感知"我们的身体动作,会发生什么?刘子威教授的研究团队就在思考这个有趣的问题。
设想一下,你戴着一副特殊的眼镜在房间里走动,眼镜记录下你看到的一切画面,同时另一套设备记录你的身体姿势。现在问题来了:如果我们只给AI一句话描述"走进厨房,打开冰