跳转至

关键点检测（姿态估计）任务

1. 任务调研

1.1 任务定义

关键点检测任务目标是标出物体的关键部位，姿态估计任务目标是对物体（通常是人和动物）的姿态（即关键点和关键点之间的连接关系）进行估计。关键点检测和姿态估计通常合在一起讨论，原因是对于人体和动物等其身体部位之间的连接关系是固定的，得到了人体关键点的检测结果，就可以得到姿态估计的结果(是否有姿态估计取决于是否有关键点之间的连接关系)。

img
图片取自：Deep High-Resolution Representation Learning for Human Pose Estimation, CVPR19

1.2 评价指标

评价指标一般采用COCO格式的mAP。mAP的计算方式与COCO目标检测中的mAP计算方式类似，对于关键点检测方法检测出的所有物体以及物体中的关键点，首先使用关键点中的OKS度量指标对所有检测出的物体进行分类，分为TP、FP、FN几类，划分完之后，通过改变score的阈值计算P-R曲线，P-R曲线下的面积即为AP的值。

与目标检测mAP计算方式最大的不同在于，目标检测中衡量实例之间的相似度时使用的是检测框之间的IOU，而在关键点检测中，衡量实例相似度使用的是物体关键点之间的OKS距离，OKS的计算方式如下：

img
图片取自：https://cocodataset.org/#keypoints-eval

OKS代表的是一个物体其所有关键点检测结果（prediction）和真实标注（ground truth）之间的相似度，di代表第i个检测出的关键点和真实标注的欧氏距离，s是物体的像素面积，k代表第i种关键点（例如鼻子）的归一化因子，是对已有数据集中所有物体的同种关键点（例如数据集种所有人的鼻子关键点）计算得到的，值越大，代表数据集中这个关键点标注越差即这个关键点越难检测，值越小代表这个关键点标注越好，即这个关键点检测难度较小。有了OKS距离之后，可以计算得到不同OKS阈值下的AP指标。COCO的关键点检测指标如下图所示，与目标检测类似定义：

img
图片取自：https://cocodataset.org/#keypoints-eval

1.3 主流数据集调研

根据目标类型的不同，姿态估计（关键点检测）数据集的标注形式也不同。姿态估计（关键点检测）数据集根据目标类型可以分为以下几类：

目标类型 任务类型 代表数据集
人体 人体姿态估计/关键点检测 (human body keypoint) COCO, MPII, MPII-TRB, AI Challenger, CrowdPose, OCHuman, MHP
人体(全身) 人体(全身)姿态估计/关键点检测 (human wholebody keypoint) COCO WholeBody, Halpe
人脸 人脸关键点检测 (face keypoint) 300W, WFLW, AFLW, COFW, COCO-WholeBody-Face
手 手部关键点检测 (hand keypoint) OneHand-10K, FreiHand, CMU Panoptic HandDB, InterHand2.6M, RHD, COCO-WholeBody-Hand
衣物 衣物关键点检测 (fashion lanmark) DeepFashion
动物 动物姿态估计/关键点检测 (animal keypoint) Animal-Pose, AP-10K, Horse-10, MacaquePose, Vinegar Fly, Desert Locust, Grévy’s Zebra, ATRW

我们调研了10个主流姿态估计/关键点检测数据集，涵盖了所有以上不同类型的数据集。完整的字段调研结果如下表所示：

姿态估计/关键点检测数据集 image_id height width instance_id category_id is_crowd area num_keypoints bbox segmentation keypoints visible center categories super_categories keypoint_names skeleton other
COCO Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
MPII Y Y Y Y scale, person, torsoangle
AIC Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
CrowdPose Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y crowd index
COCO-WholeBody Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y face valid/kpts/bbox, right hand valid/kpts/bbox, left hand valid/kpts/bbox, foot valid/kpts
Halpe Y Y Y Y Y Y Y Y Y Y Y Hoi
300W Y Y Y Y Y Y Y Y Y Y Y Y Y Y
OneHand10K Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
DeepFashion Y Y Y Y Y Y Y variation
AnimalPose Y Y Y Y Y Y Y Y Y Y

经过整理，关键点检测/姿态估计任务的字段可以分为两种：一种是不同数据集共有的共享字段，一种是不同数据集不同的独立字段。关键点检测/姿态估计任务的共享字段和独立字段如下表所示：

字段类型 字段名称 含义
共享字段 image_id 定位到唯一图片，比如用图片名或者图片路径表示
keypoints 单个目标的关键点标注，包含了一系列坐标点，坐标点用[x, y]或者[x,y,vis]表示（vis代表这个关键点是否可见）
visible 表示某个关键点是否可见，使用整数来标识
独立字段 height/width 图像的原始尺寸（长和宽）
instance_id 这个目标的id，定位到某个具体的目标
category_id 类别id，表示这个目标属于哪个类别
is_crowd 标注的是一个对象还是一组对象，使用0或者1来标识，如果是一组对象为1，否则为0，
area 这个目标所占的面积，通常使用所占像素个数来表示
num_keypoints 关键点个数
bbox 目标的矩形框标注，通常使用[x,y,w,h]来表示
segmentation 目标的像素级分割标注，通常使用一组[x,y]坐标来表示
center 目标的中心点坐标，使用[x,y]来表示，通常代表的是目标矩形框的中心点坐标
categories 表示数据集中所包含的类别以及类别编号
super_categories 数据集中类别的父类
keypoint_names 关键点的名称
skeleton 关键点之间的连接关系
scale MPII中字段，表示目标框的缩放比例，MPII中由于目标框是正方形，scale*200px可以还原得到目标框的边长
person MPII中字段，代表图片中人的个数
torsoangle MPII中字段，代表人体躯干的偏转角度
face/hand/foot valid COCO-WholeBody中字段，代表是否有脸/手/脚的标注，值为0或者1
face/hand/foot kpts COCO-WholeBody中字段，表示脸/手/脚的关键点标注，为一组坐标点
face/hand bbox COCO-WholeBody中字段，表示脸/手的矩形框标注，表示为矩形框[x,y,h,w]
Hoi Halpe中字段，使用整型表示，代表的是人体和其他物体发生交互的种类（例如0代表拿起，1代表坐，等等）
Variation DeepFashion中字段，使用整型表示，代表的是任务的姿态

综上所述，需要描述一个关键点检测数据集，最基础的字段包括image_id, keypoints, visible这三个字段，数据集独立字段用户自行添加修改。

2. 模板展示

根据上述的调研结果，我们知道对于关键点检测/姿态估计任务，一个样本最重要的属性是图片的id(或路径)、每个目标的关键点标注，以及关键点是否可见这个属性，考虑到每张图片可能包含多个物体，可能有多个关键点标注，我们定义了一个嵌套结构体KeyPointLocalObject，用来表述单个目标的关键点标注的信息（即类别和关键点）。在关键点检测/姿态估计任务结构体的$fields 属性中定义了image和annotations两个字段，其中annotations字段则为多个KeyPointLocalObject结构体构成的列表（列表为空表示图片中没有关键点标注的物体）。最后，考虑到模板需要具有的代表性和可扩展性，在所有的属性中，有一些属性是必须的，其他一些特定数据集中的独立字段是可选的。基于上述考虑，我们制定了关键点检测/姿态估计任务的模板，如下所示：

KeypointClassDom:
    $def: class_domain
    classes:
        - person
        - 
        - ...

KeypointDescDom:
    $def: class_domain
    classes:
       - "left eye"
       -
       - ...  
    skeleton:
       - [14, 16]
       - [5, 6]
       - [10, 12]
       - ...
首先是定义了任务类别域的文件。包括以下几个部分：

  1. 定义了目标类别的KeypointClassDom。KeypointClassDom定义了目标的类别域，即这个目标属于哪些类别，比如person等。

  2. 定义了目标关键点名称以及连接关系的KeypointDescDom。KeypointDescDom定义了关键点的检测任务中一些事先定义好的域，包括关键点名称和关键点之间的连接关系skeleton。

KeyPointLocalObject:   
    $def: struct
    $params: ['cdom1', 'cdom2']
    $fields:
        keypoint: Keypoint[dom=$cdom2]
        label: Label[dom=$cdom1]
    $optional: ["label"]

KeyPointSample:
    $def: struct
    $params: ['cdom1', 'cdom2']
    $fields:
        image: Image
        annotations: List[etype=LocalObjectEntry[cdom1=$cdom1, cdom2=$cdom2]]

data:
    sample-type: ObjectKeypointSample[cdom1=KeypointClassDom, cdom2=KeypointDescDom]

其次是定义了关键点检测sample的yaml文件。包括以下几个部分：

  1. KeyPointSample。KeyPointSample定义了关键点检测中的一个sample对象，包括图像路径image以及标注了的目标列表annotations。

  2. KeyPointLocalObject。KeyPointLocalObject定义了一个目标的标注，标注里包括：

    • 目标的类别label，注意这个label所属的域是KeypointClassDom，即目标所属的类别。

    • 关键点标注keypoint，即目标的关键点标注，Keypoint标注使用列表[x1,y1,v1,x2,y2,v2,.....]来表示，x1,y1表示关键点的坐标，v1表示这个关键点的可见性（关键点的可见性标注方面，不设定统一的标准，和原始数据集格式保持一致，认为<=0的值即代表不可见且无标注，>1代表有标注）。keypoint所属的域是KeypointDescDom即描述关键点的domain。

3. 使用方法

下面介绍怎么使用上面定义的模板来描述一个数据集，以COCOKeypoint2017为例，描述了sample的yaml文件keypoint-coco2017.yaml如下：

$dsdl-version: "0.5.0"

KeyPointLocalObject:
    $def: struct
    $params: ["cdom0", "cdom1"]
    $fields:
        iscrowd: Int
        area: Num
        category: Label[dom=$cdom0]
        bbox: BBox
        polygon: Polygon
        num_keypoints: Int
        ann_id: Int
        keypoints: Keypoint[dom=$cdom1]

KeyPointSample:
    $def: struct
    $params: ["cdom0", "cdom1"]
    $fields:
        media: Image
        height: Int
        width: Int
        image_id: Int
        annotations: List[etype=KeyPointLocalObject[cdom0=$cdom0, cdom1=$cdom1]]

可以看出，COCO2017Keypoints数据集的模板除了关键点检测任务模板中的必须字段外（keypoints， visible， 以及image_id），还有许多数据集特有的独立字段

在检测模板中的一些字段含义如下： - $dsdl-version: 描述了该文件对应的dsdl版本。

  • ObjectKeypointEntry: 定义了关键点标注的描述方式的嵌套结构体，包含四个字段:

    • $def: struct, 表示这是一个结构体类型。

    • $params: 定义了形参，在这里即class domain。

    • $fields: 结构体类所包含的属性，具体包括:

      • is_crowd： 是对一个物体的标注还是多个物体的标注。
      • area： 目标实例的像素面积。
      • category： 物体所属的类别。
      • bbox： 目标的目标框标注，类型为BBox。
      • polygon： 目标的实例分割标注，类型为Polygon。
      • num_keypoints： 代表这个对象关键点的个数。
      • ann_id： 实例标注在整个数据集中的编号。
      • keypoints： 关键点标注的列表，其中每一个元素是一个[x,y,z]的三维坐标，x和y表示关键点位置，z表示这个关键点的可见情况。

  • KeypointDetectionSample: 定义了关键点检测/姿态估计任务sample的结构体，包含四个字段:

    • $def: struct, 表示这是一个结构体类型。

    • $params: 定义了形参，在这里即class domain。

    • $fields: 结构体类所包含的属性，具体包括:

      • media 图片的路径。
      • height: 图像的高。
      • width: 图像的宽。
      • image_id: 图像在数据集中的编号。
      • annotations 标注信息，关键点检测/姿态估计任务中，为前面的ObjectKeypointEntry构成的一个列表。

描述了关键点检测任务的class-dom.yaml文件如下所示：

$dsdl-version: "0.5.0"

COCO2017KeypointsClassDom:
    $def: class_domain
    classes: 
        - person

COCO2017KeypointsDescDom[COCO2017KeypointsClassDom]:
    $def: class_domain
    classes:
        - nose[person]
        - left_eye[person]
        - right_eye[person]
        - ...
    skeleton:
        - [16, 14]
        - [14, 12]
        - [17, 15]
        - ...

上面的文件中给出了关键点检测任务重类别域的定义，具体包含下列字段：

  • COCO2017KeypointsClassDom：COCO2017Keypoint关键点检测的类别域，只包含了人这一个类别 。
  • COCO2017KeypointsDescDom：COCO2017Keypoint关键点检测的数据集描述信息域，继承了COCO2017KeypointsClassDom，包含了数据集中对person的描述信息，包括关键点名称以及关键点之间的连接关系。