Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data (arxiv 2024/01)

Summary

• https://github.com/LiheYoung/Depth-Anything
• link
  • https://huggingface.co/spaces/LiheYoung/Depth-Anything/tree/main model
  • https://github.com/spacewalk01/depth-anything-tensorrt TensorRT実装
• from TikTok
• 汎用性のある Zero-shot monocular relative depth estimation
  • 基盤model + Unsupervisedな学習の手法を取り入れてより汎化性能を得た

Background

• multi-dataset joint training
• MiDaS: relative depth information
• ZoeDepth も強いらしい

Method

• Data
  • 1.5M labeled images from 6 public datasets
  • 62 M unlabeled images
  • NYUv2 and KITTIは評価用に使わなかった
  • Movies and WSVDはクオリティ低

• Learning Labeled Images
  • MiDaS のreproduce
• Unlabeled images
  • perturbations
    • 主に2つ、シンプルながら強かった
    • color distortion: color jittering + Gaussian blurring
    • spatial distortion: CutMix
      • CutMixは 50%にしている
  • Labeledで学習したあとだとunlabeledから学習するのが難しい
    • TeacherとStudentが同じpre trainスタートだとよりその傾向になる
• Semantic-Assisted Depth estimation
  • RAM [85] + GroundingDINO [37] + HQ-SAM [26] modelを使用

Experiment

• Zero-Shot Relative Depth Estimation

• Fine-tuning Absolute depth estimation

• Semantic segmentation for Cityscapes

• Semantic segmentation for ADE20K

• Pre-trained models のInference time (ms)

Discussion