Meta用一个头显搞定全身动捕，无需手柄和下身传感器，网友：VR终于少点

还记得你玩VR的时候根本看不到下半身吗？

毕竟现在的VR设备通常只有手柄和头显，没有下体传感器。系统无法直接判断下半身的动作，预测时容易出bug。

现在，Meta终于迈出了一大步——只需露出头部，就能全身停搏，甚至还能清晰地预测出双腿的不同动作！

新研究一发表，就会在网上爆炸。

有网友调侃小扎的元宇宙终于有腿了，于是顺手买了一只元股票。

有VR玩家乐了:终于可以在玩游戏的时候少挂点硬件在身上了！

这项研究究竟是如何在只有头部显示的情况下实现全身捕捉的？

为强化学习AI做一个物理约束

研究人员设计了一个框架，以头显和手柄控制器的位置和方向数据作为输入，其他数据都由AI预测。

因此，他们首先训练了一种基于强化学习的策略，根据仅有的HMD和手柄数据，尽可能逼真地还原了真实的动作捕捉姿态(动作捕捉数据共10小时)。

他们建造了4000个不同高度的人形机器人，每个机器人有33个自由度。

随后，在英伟达的艾萨克健身房同时训练这些机器人，比在单一环境下训练一个机器人要快。

经过两天在物理环境中的训练，这个框架可以根据头部显示直接预测用户的全身运动，并根据这种强化学习策略处理数据-

包括慢跑、行走、后退或过渡动作等。

不仅如此，Isaac Gym允许添加其他不同的模拟对象，因此它还可以训练环境的复杂性，以增强动作真实性。

例如，根据虚拟环境中新添加的球，模拟“踢”的交互动作:

那么，为什么这个框架比其他模型预测得更好呢？

经过元分析，研究人员认为，之前的模型难以准确预测下半身姿势的原因是上下半身的相关性较小。

因此，如果在预测中加入某些物理约束，如惯性平衡和地面接触力，预测精度可以通过上一层楼梯来实现。

脚上红色条的大小表示接触力。

研究人员进一步发现，即使没有手柄控制器，仅头部显示的60个姿势就足以重建各种运动姿势，还原的效果也没有物理伪影。

除此之外，由于这种策略是基于4000个不同高度的人形机器人的训练，因此它可以根据用户的不同高度自动调整策略。

但也有网友疑惑他为什么用强化学习来预测自己的运动姿势。毕竟目前的监督学习是主流方法。

对此，作者表示，在强化学习中加入物理约束更方便，但这通常是监督学习的难点。

然而，研究人员也表示，目前的框架仍然存在一些局限性。如果训练数据中没有包含用户的动作，或者进行了一些过于复杂的交互，那么虚拟环境中的仿真机器人就有可能当场摔倒，或者仿真失败。

作者简介

三位作者都来自Meta。

亚历山大·温克勒目前是超现实实验室的研究科学家。研究方向为非线性数值优化、高自由度运动规划、基于三维物理的仿真与可视化等。

毕业于德国卡尔斯鲁厄理工学院，瑞士苏黎世联邦理工学院硕士和博士。

Jungdam Won，现任Meta AI实验室研究科学家，毕业于韩国首尔国立大学计算机科学与工程系。他的研究兴趣包括通过机器学习方法加强学习中智能体的控制和交互以及优化运动捕捉。

Yuting Ye，目前是Meta Reality Lab的研究科学家，参与了Quest和Quest 2的手柄追踪功能的研发。他毕业于北京大学，在弗吉尼亚大学获得学士和硕士学位。他毕业于佐治亚理工学院，获得博士学位。他的研究兴趣是运动捕捉和超宇宙。

论文地址:

参考链接: