[간단리뷰 1주차] MobileNetV2: Inverted Residuals and Linear Bottlenecks

  • 원문: https://arxiv.org/abs/1801.04381
  • 참고자료: 논문, 블로그
  • 대분야: Optimization
  • 소분야: Model Optimization, TBD …
  • 제안 기법
    • TBD
  • 키워드: TBD

MobileNet V1 돌아보기 (간단요약)

  • 문제제기: Robotics, Self-driving car, Augmented Reality 등 실시간 처리가 필요한 분야에서는 낮은 컴퓨팅 성능으로 정확한 결과를 요구함
  • 제안사항: 경량화 CNN과 speed-accuracy tradeoff를 조절하는 Hyperparameter 제안
    • Depthwise Separable-Convolution
    • width/resolution multiplier
  • 결과 1 – Depthwise Separable Convolution으로 Full-Convolution의 계산량을 약 85% 줄임
    (ImageNet 기준 Accuracy는 1.1%p 감소)
image 15
  • 결과 2 – 모델 구성에 따라 41~569 mAddsMillion Multiply-Adds (0.5~4.2 Million parameters)로 구성이 가능 → Flexible하게 모델 크기를 구성할 수 있도록 선택지를 제공 but 이에 따른 accuracy 차이가 존재
image 14
  • 결과 3 – MobileNet 구조를 사용한 Object Detector 모델에서 낮은 연산량 대비 준수한 성능을 보여주고 있음

MobileNet V2

  • 문제제기
    • SOTA 네트워크가 요구하는 컴퓨팅 성능이 높아 모바일, 임베디드에 적용이 불가능합니다.
    • ReLU Activation의 비선형성 효과로 인해, 정보(manifold)가 손실됩니다.
      → 채널 수가 충분히 많아야 정보를 보존할 수 있습니다.
  • 제안
    • Depthwise Separable Convolution (MobileNet V1)
image 17
  • Linear Bottlenecks
    • ReLU Activation은 채널 내의 정보를 불가피하게 손실됩니다.
    • 채널 내에서의 정보는 손실되지만, 여러 채널 사이에서 Input Manifold로부터 임베딩된 정보(Manifold of Interest)를 얻을 수 있다고 합니다.
image 18
  • Inverted Residual
    • Bottleneck 블록은 모든 입력이 Bottleneck-Expansion 뒤에 따라오는 형태의 Residual Block과 형태가 비슷합니다.
    • 기존에 제안된 Residual Block에 Linear Bottleneck 형태를 붙인 형태