awesome-pose

• curated list for pose estimation
• 3DPW models : https://paperswithcode.com/sota/3d-human-pose-estimation-on-3dpw

Multi-View - Human Pose Estimation, Human Mesh Recovery

• 2019/09 Cross View Fusion for 3D Human Pose Estimation [paper] [code]

• Multi-View 이미지들을 CNN으로 각각 heatmap 추출한 뒤 fusion하여 각 view의 히트맵이 다른 뷰의 이점을 얻도록 함.
• Multi-View 2D pose에서 3D 포즈를 복구하도록 처리
• 여러 단계 프로세스를 통해 관절 위치를 재귀적으로 미세 조정
• 각 관절을 개별적으로 refine(수정)하는 게 아니라 공간적 관계를 고려하여 모든 관절을 동시에 refine함

• 2021/11 Direct Multi-view Multi-person 3D Human Pose Estimation [paper] [code]
• 2022/01 AirPose: Multi-View Fusion Network for Aerial 3D Human Pose and Shape Estimation [paper] [code]

• 외부적으로 보정되지 않은 여러 대의 비행 카메라로 캡처한 이미지를 사용하여 사람의 자세와 모양을 추정하는 방법(AirPose), SMPL-X 사용, 더 좋은 mocap 품질이 필요한 오프라인 애플리케이션을 위한 최적화 기반의 후처리 방법(AirPose+) 제안

• WACV 2021 3D Human Pose and Shape Estimation Through Collaborative Learning and Multi-view Model-fitting [paper] [code]

• Multi-View 기반의 회귀 학습 루프를 이용해서 3D human pose, shape estimation.
• 먼저 CNN으로 multi-view 이미지에서 각각 SMPL shape, pose를 회귀한 뒤, 그 값들을 초기값으로 활용하여 multi-view 이미지에 동시에 최적화되도록 하는 방법.

• 2021/10 Dynamic Multi-Person Mesh Recovery From Uncalibrated Multi-View Cameras [paper] [code]

• 보정되지 않은 Multi-View 카메라(카메라 매개변수가 알려지지 않은 상태)를 이용한 Dynamic(움직이는 동작) 여러 사람들의 Mesh 복원 방법(물리적 일관성을 이용해서 해결).
• Encoder-Decoder 네트워크를 사용하고, Encoder와 Decoder 내부에는 GRU 사용함.

• 2021/06 Part-aware Measurement for Robust Multi-View Multi-Human 3D Pose Estimation and Tracking [paper] [code]

• Multi-View 기반의 카메라 상황에서 Object Detection(YOLOv3)을 통해 사람만 추출한 뒤, 2D Pose Estimation(HRNet) 처리, 그 후 시간적 일관성(temporal correspondences)을 이용해서 모든 뷰에서 동일한 3D pose로 나오도록 최적화 작업 진행
• 구체적으로 2D-3D 연관을 위한 Part-Aware(부분 인식) 측정과 재구성 과정에서 2D Outlier(이상치)에 대처할 수 있는 필터를 제안함. (목적은 3D Human Pose Estimation)

• 2021/04 Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo [paper] [code]

• 동기화(synchronized)되고 보정된(calibrated) 상태의 multi-view 카메라 사용
• 각 카메라 뷰에 대해 독립적으로 HRNet 모델을 이용한 2D Pose 추정 진행, 그 후 multi reference view에서 2D pose 감지를 활용하여 target camera view 아래에 있는 Joints 2D 후보에 대해 depth 회귀(regression)를 수행함

• 2021/09 Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering [paper] [code]

• Temporal Transformer, Multi-View Transformer, NeRF (Clothed Body Mesh)

Human Mesh Recovery

• 2020/08 frankmocap(3d body+hand motion capture) : Fast Monocular 3D Hand and Body Motion Capture by Regression and Integration [paper][code][skeleton info]
• 2020/08 I2L-MeshNet : Image-to-Lixel Prediction Network for Accurate 3D Human Pose and Mesh Estimation from a Single RGB Image [paper][code]
• 2020/08 ROMP: Monocular, One-stage, Regression of Multiple 3D People [paper] [code] : 실데이터 확인 시 준수한 성능을 보입니다.
• 2021/04 MeshGraphormer [paper] [code] : Microsoft의 이전 논문인 METRO 논문에 GCNN을 추가하여 성능을 향상시킨 논문입니다. 실데이터로 확인 시 폐색에 취약한 결과를 나타냈습니다.
• 2021/04 PARE: Part Attention Regressor for 3D Human Body Estimation [paper] [code] : 실데이터 확인 시 준수한 성능을 보입니다.
• 2021/10 Learning to Regress Bodies from Images using Differentiable Semantic Rendering [code] [paper]
• 2021/11 Out-of-Domain Human Mesh Reconstruction via Dynamic Bilevel Online Adaptation [paper] [code] [project]

• 2021/12 기준 3DPW SOTA, unsupervised online adaption 기반의 모델이라는 점에서 개념적으로 좋지만, 해당 도메인에 대한 skeleton 데이터가 항상 필요하고, 해당 데이터로 학습 진행 후 추론하는 느낌입니다.
• 실데이터로 확인 시 결과가 좋지 않고, 시간이 너무 오래걸립니다.

• 2020/10 Invariant Representation Learning for Infant Pose Estimation with Small Data [paper] [code]
• 2021/06 Animatable Neural Radiance Fields from Monocular RGB Videos [paper] [code]

• NeRF 및 SMPL parameter 공동 최적화
• Animatable neural radiance fields (animatable NeRF), F : 3D position(x,y,z), shape 𝛽, pose 𝜃를 color c =(r,g,b) 와 density σ로 매핑함
• 
• 위의 식에서 D(x, 𝜃, 𝛽)는 다른 프레임들간의 사람 움직임들을 다루기 위해, 관찰 영역 내의 3D position x = (x,y,z)를 표준 영역(canonical space)의 x_0 = (x0, y0, z0)로 변형한다. NeRF의 시점(view) 의존성은 철이나 유리에 비춘 것과 같은 거울 반사를 주로 다룬다. 하지만 사람의 피부와 옷들은 분산되어 있기 때문에(매우 다양해서 그런 것 같습니다), 이 논문에서는 시점 방향(viewing direction)을 제거한다.
• A Pose Sequence(한바퀴 도는 영상, A포즈로)로 학습해서 그 사람의 옷, shape 다 따서 다른 자세로 변형 가능하도록 함
• 
• 한계점 : 최상의 결과를 얻으려면 수행자가 천천히 몸을 돌리고 간단한 포즈(A-Pose)를 취하면서 옷이 고품질 렌더링을 위해 몸에 거의 고정되도록 해야한다.
• 한 장면에 학습된 모든 NeRF기반 방법들과 마찬가지로 보이지 않는 부분은 재구성이 어려워서 input video에 최대한 뷰가 담겨있어야함.

• 2022 Accurate 3D Body Shape Regression using Metric and Semantic Attributes [paper] [code]

• single image + 신체 속성 수치값(키, 몸무게, 가슴둘레, 허리둘레 등)을 모델 에이전시 데이터, 유명인 데이터를 활용해서 수집해서 학습에 이용함
• 좀 더 shape이 잘 나오도록 만든 모델

• 2021 PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop [paper] [code]

• 2021년 Body Mesh를 다뤘던 PyMAF에서 업그레이드해서 Full-Body를 다루는 PyMAF-X가 2022년 7월 논문 발표된 상태이고, 코드는 아직 업데이트가 되지 않은 것 같습니다.
• 3D Body Pose 계열 모든 모델이 실패하는, 관절이 뒤로 가는 동작 빼고는 거의 잘 됩니다. 폐색이 많은 사이드뷰 동작, 전면부 운동 영상에서도 잘 추론됩니다.

• 2022/07 PyMAF-X: Towards Well-aligned Full-body Model Regression from Monocular Images [paper] [code]
• 2022/08 CLIFF: Carrying Location Information in Full Frames into Human Pose and Shape Estimation [paper] [code]

Human Mesh Recovery + Texture

• 2021/09 Texformer: 3D Human Texture Estimation from a Single Image with Transformers [paper] [code]
• 2021/12 ICON: Implicit Clothed humans Obtained from Normals [paper] [code]
• 2021/05 Animated 3D Human Avatars from a Single Image with GAN-based Texture Inference [paper] : 단일 이미지에서 GAN을 이용해 Texture를 만들도록 하는 논문
• 2022/01 HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video [paper] [project] : Google Research에서 발표한 논문으로 monocular video를 input으로 받아서 free-viewpoint rendering(3D로 각도 제한 없이 볼 수 있도록)이 가능하도록 만든 논문

Clothed Body Mesh

• 2021/03 SMPLicit: Topology-aware Generative Model for Clothed People [paper] [code]

• 기존 SMPL 모델의 top에 clothes layer를 얹어서 만든 모델로 기존 SMPL과 별개의 모델 파일이 따로 있음. pifuHD, tex2Shape에 비해 더 정교한 옷의 질감 표현 가능
• image에 fitting하는 코드([fit_SMPLicit])가 Repo 내에 별도로 존재함
• [Self-Correction-Human-Parsing](Cloth segmentation 이용 시 lip 데이터셋,팔레트 제거한 데이터로 이용 가능)
• cloth segmentation, human instance segmenatation, smpl prediction 3개 모델 결과 취합 후 이미지 1장 fitting 시 4분 정도 시간 소요
• 논문 이미지처럼 색상있는 출력값 만드려면 mode를 rendering하는 함수 호출 시 rgb로 변경 필요

• 2020/04 BCNet: Learning Body and Cloth Shape from A Single Image [paper] [code]

• ResNet 기반 모델로 feature 추출해서 garments(옷), smpl params(beta, pose, trans) 추출하는 레이어로 연결해서 처리함
• garment classification : 위의 feature를 이용해서 상의의 경우 FC Layer로 2개(반팔, 긴팔), 하의의 경우 4개(바지, 짧은바지, 치마, 짧은치마)로 분류하도록 한다.
• 옷 부분의 vertices를 만들 때는 SMPL Parameter인 Beta, Pose와 α(상세 의류별 PCA 계수값), D(다양한 포즈 / 옷과 몸의 다양한 상호작용에 따른 Variation을 capture하기 위한 변수)를 사용

3d Pose estimation (3d skeleton)

• 2017/05 ColorHandPose3D : Learning to Estimate 3D Hand Pose from Single RGB Images [code]
• 2018/11 VideoPose3D : 3D human pose estimation in video with temporal convolutions and semi-supervised training [paper][code]

2d Pose estimation

• 2018/12 OpenPose: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation [paper] [code]
• 2020/12 TransPose: Keypoint Localization via Transformer [paper] [code] : Transformer 기반의 2D Pose Estimation (Openpose보다 성능 좋음)
• 2022/04 YOLO-Pose: Enhancing YOLO for Multi Person Pose Estimation Using Object Keypoint Similarity Loss [paper] [code]

• HigherHRNet, EfficientHRNet 보다 좋은 성능

dataset

• Human Foot Keypoint Dataset(2d) : [url][code]
• 2020/07 Coco Whole Body : Whole-Body Human Pose Estimation in the Wild [paper][code]

etc

• SMPL, SMPL-X, MANO, FLAME Annotator(Annotation) : [code]
• 2018/12 PoseFix : Model-agnostic General Human Pose Refinement Network [paper][code]
• Bodyvisualizer(3d mesh by gender, height, weight, etc) : [url]
• 2022/06 OSSO: Obtaining Skeletal Shape from Outside (Mesh Skeleton visualization) - Mesh ply 파일 주어진 상태에서 skeleton 형태로 뽑아낸다 : [paper][code]