[카테고리:] 미분류

num_workers와 DataLoader에서 GPU 복사를 구현할 경우 발생하는 문제 기존 PyTorch로 학습을 진행하다가, single-thread로 동작하는 DataLoader의 bottleneck때문에 GPU를 최대한 활용하지 못하는 문제점이 있었습니다. 다만, PyTorch에서 기본적으로 제공하는 DataLoader의 num_workers를 설정하려고 하니, 이런 문제가 발생합니다. 각종 레퍼런스들을 찾다가, 이러한 내용을 발견했습니다. Dataloader에서의 num_workers 설정의 필요성: https://jybaek.tistory.com/799 PyTorch Windows FAQ: https://pytorch.org/docs/stable/notes/windows.html#multiprocessing-error-without-if-clause-protection 그래서 생각을 해보니, Dataset에서는 CPU Tensor를 전달해주고, …

더 보기 “[PyTorch] Windows에서 num_workers로 데이터로더 성능 높이기”

선정논문 Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference, 2017 Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation, 2020 Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation Part 2.1 – Related Works ICLR 2018, Baidu&NVIDIA, Mixed precision training: 기존 FP32 Datatype이 아닌 FP16에서 Training할 수 있도록 하는 Technique 2011, …

더 보기 “[간단리뷰 2주차] Model Quantization Papers”