设计一个神经木偶师来识别骨骼节点

想象一下，我们正在野生动物园观看长颈鹿吃草。将目光移开一秒钟后，我们看到这只动物低下头坐下了。但是，我们想知道，在此期间发生了什么?康斯坦茨大学集体行为高级研究中心的计算机科学家找到了一种方法，可以对动物的姿势和外观进行编码，以显示在统计上可能发生的中间动作。

计算机视觉中的一个关键问题是图像极其复杂。长颈鹿可以摆出各种各样的姿势。在野生动物园中，错过部分运动序列通常没有问题，但对于集体行为的研究，此信息可能至关重要。这就是使用新模型“神经木偶师”的计算机科学家的用武之地。

“计算机视觉的一个想法是通过只编码尽可能少的参数来描述非常复杂的图像空间，”康斯坦茨大学计算机视觉教授BastianGoldlücke解释道。迄今为止经常使用的一种表示是骨架。

在第16届亚洲计算机视觉会议论文集上发表的一篇新论文中，BastianGoldlücke和博士研究人员UrsWaldmann和SimonGiebenhain提出了一种神经网络模型，该模型可以表示运动序列并从基于任何角度渲染动物的完整外观就几个关键点。3D视图比现有的骨架模型更具延展性和精确性。

“这个想法是为了能够预测3D关键点，并且能够独立于纹理跟踪它们，”博士研究员UrsWaldmann说。“这就是为什么我们构建了一个人工智能系统，可以根据3D关键点从任何相机角度预测剪影图像。”

通过逆向过程，也可以从轮廓图像中确定骨骼点。在关键点的基础上，人工智能系统能够计算出统计上可能的中间步骤。使用个人剪影可能很重要。这是因为，如果您只处理骨骼点，您将不知道您正在查看的动物是相当大的动物，还是接近饥饿的动物。

特别是在生物学领域，这个模型有应用：“在卓越集群‘集体行为高级研究中心’，我们看到许多不同种类的动物被跟踪，并且还需要预测姿势在这种情况下，”Waldmann说。

长期目标：将该系统应用于尽可能多的野生动物数据

该团队首先预测了人类、鸽子、长颈鹿和牛的轮廓运动。Waldmann指出，人类经常被用作计算机科学中的测试用例。他来自ClusterofExcellence的同事与鸽子一起工作。然而，它们纤细的爪子构成了真正的挑战。奶牛的模型数据很好，而长颈鹿超长的脖子是瓦尔德曼急于接受的挑战。该团队根据几个关键点生成了轮廓——总共有19个到33个。

现在，计算机科学家已为现实世界的应用做好准备：在康斯坦茨大学最大的集体行为研究实验室ImagingHanger中，未来将收集有关昆虫和鸟类的数据。在ImagingHangar中，控制照明或背景等环境方面比在野外更容易。然而，长期目标是为尽可能多的野生动物物种训练模型，以获得对动物行为的新见解。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！