[PyTorch] Windows에서 num_workers로 데이터로더 성능 높이기
num_workers와 DataLoader에서 GPU 복사를 구현할 경우 발생하는 문제 기존 PyTorch로 학습을 진행하다가, single-thread로 동작하는 DataLoader의 bottleneck때문에 GPU를 최대한 활용하지 못하는 문제점이 있었습니다. 다만, PyTorch에서 기본적으로 제공하는 DataLoader의 num_workers를 설정하려고 하니, 이런 문제가 발생합니다. 각종 레퍼런스들을 찾다가, 이러한 내용을 발견했습니다. Dataloader에서의 num_workers 설정의 필요성: https://jybaek.tistory.com/799 PyTorch Windows FAQ: https://pytorch.org/docs/stable/notes/windows.html#multiprocessing-error-without-if-clause-protection 그래서 생각을 해보니, Dataset에서는 CPU Tensor를 전달해주고, …