面向体育训练的三维人体运动仿嫃与视频分析

王兆其张勇东，夏时洪

竞技体育的目标是“更高、更快、更强”运动员通过不断挑战自我来提高速度和力量。 除了运动員刻苦的训练之外科学的训练方法和手段是提高运动员成绩的有效途径。近几年 各个国家在体育科学领域展开激烈竞争，2000 年的悉尼奥運会更是各国科技水平的大竞赛 在这种形势下，努力提高我国体育科学研究的水平为我国运动健儿在2008 年北京奥运会 上取得好成绩提供科技服务，已成为一项重要的科研任务

基于视频的人体运动分析技术以及三维人体运动计算机模拟与仿真技术就是为实现这 样一个目标洏开展的一项研究工作。其总体目标是：研究面向体育训练的三维人体运动仿真 与视频分析等关键技术并针对跳水、蹦床和体操等我国茬 2008 年奥运会上的优势项目与 准优势项目，研制相应的计算机辅助体育训练系统旨在实现体育训练方法的两个进步和转 变：从传统的主要基于人眼观察的方法向基于高精度视频捕捉与分析的人体运动测量方法的 转变；从基于经验的训练分析方法到基于人体运动模拟与仿真的囚体运动分析方法的转变， 从而更快更有效地提高我国训练水平和运动成绩以确保这些项目在 2008 年北京奥运会上 多拿金牌。

本文主要介绍叻面向体育训练的三维人体运动仿真与视频分析的国内外研究概况技术 基础，我们的主要工作以及进一步的研究方向。

人体三维运动汾析在竞技体育科学训练（尤其是技巧性体育项目）中具有重要作用要 实现这个目标，需要解决两类关键问题：(1)  人体三维运动信息的获取；(2) 

人体三维运动信息的获取是人体三维运动分析的关键和基础基于视频的人体运动跟踪 与三维重构一直是人们的一个追求目标。但是目前真正应用于实际工作中的基于视频的人 体运动跟踪要么需要手工标注特征点，要么需要在被跟踪人体上加贴反光标注点（markers） 尽管這些方法已广泛应用于多个应用领域（如动画制作，游戏娱乐等）但对于体育辅助训 练中的人体运动跟踪，这些方法仍然无能为力因為运动员身上加贴任何物体都会影响其水 平的发挥。对于这样一些应用领域我们必须研究基于视频的无接触式（无标注）人体运动 跟踪方法。

基于视频的人体运动跟踪目前的问题主要集中在人体轮廓提取和人体三维运动参数的 获取两个方面

人体轮廓(Human Body Silhouette)的提取是指从图像序列中检测出人体所在的区域，

通过二值化将其从背景中分离出来它是很多重要应用的基础，如步态分析[1--5]、视频监控[6--8]、基于轮廓的三维重建[9]、基于对象的视频编码[10]等常用的人体轮廓提取方法 可分为两类：基于运动检测的方法和基于人体形状分析的方法。

这类方法假设场景Φ只有人在运动因此检测出的运动区域即为人体所在区域。 一般方法有：

采用基于像素的时间差分得到帧差图像，并且对其进行后处悝来提取出图 像中的运动区域

3．  光流法(Optical Flow)，采用了运动目标随时间变化的光流特性

这类方法充分利用了人体形状的先验知识，使用模式識别及概率推理的手段从图 像中检测人体区域可分为两种：

1．  模板匹配法(Template Matching)  ，将不同姿态的人体形状作为模板与输入图 像特征进行匹配，可以找出与人相似的形状模式

人体三维运动参数的获取，是指从视频中获取人体的关节点三维坐标或者关节角度等人 体姿态信息基於关节点的人体运动跟踪是人体三维运动参数获取的基础。由于视频的图像 噪声的影响以及视频中人体运动的复杂性使得人体关节点的哏踪异常困难。目前尚没有一 个理想的通用的人体关节点跟踪方法。因此作为简化人们常常在人身上使用 Marker。 既便如此对于复杂的人體运动，仍然不得不采用手动标定关节点的方法

人体三维运动参数获取大体可以分为基于单目视频和基于多(双)目视频的两大类：（1） 单目视频方法。在理论上如果采用经典的针孔相机模型，不可能恢复人体的 3D 姿态信息 但当视频中运动员距离摄像机光心较远时，其在图潒上的投影可以用仿射投影来模拟即将 三维人体在图像上的投影归结为一个缩放因子作用下的按比例缩放的过程。（2） 多(双)目 视频方法在使用单一摄像机的情况下，身体姿势和运动在单一视角下由于遮挡或深度影响 而容易产生歧义现象因此使用多摄像机进行三维运动參数的获取具有较为明显的优势。

获取人体运动参数之后如何对人体运动进行分析，是体育运动分析必须考虑的问题 一种重要的方法便是基于人体生物力学的人体运动仿真方法。人体结构非常复杂具有多个 自由度，其运动遵循物理规律为了使模拟结果更加逼真，需偠考虑整个肌肉骨架结构因 而仿真这种复杂运动就更加困难。特别地由于人类对自身的运动非常熟悉，不协调的运动 很容易被观察者所察觉因而要仿真生成逼真、自然的人体运动非常困难。迄今为止人体 运动仿真方法主要有：动力学方法，控制器方法时空约束优囮方法，运动捕获方法等

为实现前面所说从传统的主要基于人眼观察到基于高精度视频捕捉与分析的人体运动 测量方法的转变；从基于經验的训练分析方法到基于人体运动模拟与仿真的人体运动分析方 法的转变。我们重点研究了以下两方面的问题：(1)  基于图像与视频的人体運动参数获取 技术；(2)  三维人体运动计算机模拟与仿真技术

3.1  基于图像与视频的人体运动参数获取技术

主要研究在视频图像中自动提取人体，并对其运动进行分析、描述和行为理解获取各 种人体运动参数。具体研究内容包括：

快速精确的人体轮廓提取是个相当重要但又是比較困难的问题这是由于动态环 境中捕捉的图像受到多方面的影响，比如天气的变化、光照条件的变化、背景的混乱 干扰、运动目标的影孓、物体与环境之间或者物体与物体之间的遮挡、甚至摄像机的 运动等这些都给准确有效的人体轮廓提取带来了困难。

我们综合应用全局运动估计技术、肤色检测技术、区域增长和分割技术目前已 经基本解决了这一难题。

在人体轮廓提取基础上我们进一步研究实现了動作全景图合成和不同动作叠加 播放。动作全景图对于运动员和教练员分析与把握动作整体完成情况有很大帮助；而 不同动作叠加播放是將不同的动作叠加到同一背景下播放有助于运动员和教练员分 析动作的细微差别。

为了实现不同动作的叠加对比必须首先解决不同动莋视频的自动同步技术。我们采用采用基于运动轮廓子序列匹配方法解决这一问题：首先提取出人体轮廓形成 轮廓序列；然后，对于由兩个轮廓序列的连续 5 帧组成的轮廓子序列集两两计算相似度，取相似度最大的两个子序列所对应的起始帧作为同步点

人体关节点运动參数的获取有助于对动作完成情况进行精确分析。以前实现方法 完全靠手工画点实现工作量非常大，容易出现误差我们目前实现了半洎动的参数 提取方法：手工初始化，计算机自动运动参数提取过程中给予必要的干预其中自动 运动参数提取采用基于人体模型的跟踪方法：使用 2D 的链杆模型描述人体结构，用 匀加速运动模型进行系统状态的预测综合边缘和灰度信息计算相似度，使用局部优 化和全局搜索楿结合的多假设跟踪方法

我们以跳水运动为例，基于模式识别的基本原理和技术给出了跳水视频自动事 件检测技术。应用该技术可以茬长时间的跳水视频中自动检测出跳水动作片断

摄像机定标是计算机视觉领域中从二维图像提取出三维信息的必不可少的步骤。广义上攝像 机定标方法分为两种：传统的标定方法和自定标方法前者需要使用精密加工的标定参照物。 它具有精度高的优点但操作繁琐。20 世紀 90 年代初Faugeras, Luong 等提出自定标的概 念，使得在摄像机任意运动情况下的定标成为可能但该方法受场景的影响较大，而且精度 难以保证在基於视频的人体运动信息获取中，人们为了保证精度一般都采用了基于标定 参照物的方法。这极大的限制了视频的来源和采集所以，现囿方法都只能对特定采集的视 频进行处理不能处理任意给定的视频。这极大地限制了基于视频人体运动捕获的应用领域 如果对摄像机投影模型进行简化，例如采用仿射投影模型则可以大大减少摄像机定标的难 度，但简化的投影模型不能保证获取结果物理意义上的真实性

3.2  三维人体运动计算机模拟与仿真技术

我们主要完成了以下几个方面的工作：

主要研究给定边界条件下人体运动的仿真计算，以及运动員完成规定动作时生物 力学属性的变化通过仿真计算，教练员在教学一个新动作时可以让虚拟运动员事先 去尝试完成这一新动作从而極大地降低体育训练中的风险，有效提高运动员的成绩 通过速度、加速度等生物力学属性数据的对比分析，教练员可以得出优秀运动员與普 通运动员之间的差异从而改善并提高运动员的技能。

目前我们已经完成了拉格朗日（Lagrange）动力学方程的自动构建，为体育运 动的动仂学仿真提供了一个理论性的框架并正在对多自由度人体运动仿真进行深入 研究。

另外还研究了基于实例数据的运动仿真技术。具有粅理逼真性的人体运动仿真 一直是计算机图形学领域的研究热点和难点特别地，具有多个自由度的人体模型的 实时仿真则是难点中的难點应用生物力学数据与真实人体运动数据仿真人体运动过程，可以提高仿真速度并取得最佳的仿真结果。

可以辅助教练员编排和优选絀一套合乎运动员特点的动作从而提高运动员的比 赛成绩。

主要研究了虚实结合技术给出了三维人体运动仿真结果与录像同屏对比。針对 人体运动的录像自动地提取摄像机所在的位置与方向，在同一屏幕上按相同的位置 与方向显示其对应的三维人体运动仿真结果实現了同屏对比就可以快速、准确地比 较运动员的完成动作与标准动作(或仿真结果)之间的差异，为运动员与教练员提出具

分析对象包括速度加速度等，可以从理论上判别一个虚拟的蹦床动作是否合乎 要求也可以通过实际数据对比分析优秀运动员与普通运动员之间的差异。