머신러닝/딥러닝, 리눅스, 소프트웨어, 그리고 일상
서론 Docker-in-Docker는 이미 존재하는 Docker Daemon에서 새로운 Container를 구동하고, 그 안에서 새로운 Daemon을 구동하는 기법이다. 기존에는 docker:dind 이미지와 –privileged 플래그를 이용하여 새로운 컨테이너를 생성하면 바로 가능한 간단한 문제였으나, Synology DSM 7.0에서는 기본 docker의 storage-driver가 aufs로 설정되어 있고 overlay2 드라이버를 지원하지 않으므로 이러한 기본적인 접근방식은 불가능하였다. 해결 방법 기존에는 아래와 같이 dind 컨테이너를 생성하였다. 위 명령어는 …
더 보기 “[DSM 7.0] Synology DSM Docker에서 Docker-in-Docker (dind) 실행하기”
[추가] 현재는 Fix된 이슈임 Windows 11 Insider Preview Build 22000.51이 나온 뒤에는 해결된 문제입니다. 아래 환경에서 테스트하였으니 apt 패키지와 드라이버를 업데이트 해보시기 바랍니다. OS: Windows 11 Insider Preview Build 22000.51 Driver: NVIDIA 470.76 APT Package Version List Inst libnvidia-container1 (1.4.0-1 NVIDIA CORPORATION [email protected]:1.0/bionic [amd64]) Inst libnvidia-container-tools (1.4.0-1 NVIDIA CORPORATION [email protected]:1.0/bionic [amd64]) Inst nvidia-container-toolkit (1.5.1-1 NVIDIA …
더 보기 “[해결됨] WSL2 CUDA undefined symbol: devicesetgpcclkvfoffset 문제 해결하기”
num_workers와 DataLoader에서 GPU 복사를 구현할 경우 발생하는 문제 기존 PyTorch로 학습을 진행하다가, single-thread로 동작하는 DataLoader의 bottleneck때문에 GPU를 최대한 활용하지 못하는 문제점이 있었습니다. 다만, PyTorch에서 기본적으로 제공하는 DataLoader의 num_workers를 설정하려고 하니, 이런 문제가 발생합니다. 각종 레퍼런스들을 찾다가, 이러한 내용을 발견했습니다. Dataloader에서의 num_workers 설정의 필요성: https://jybaek.tistory.com/799 PyTorch Windows FAQ: https://pytorch.org/docs/stable/notes/windows.html#multiprocessing-error-without-if-clause-protection 그래서 생각을 해보니, Dataset에서는 CPU Tensor를 전달해주고, …
※ 원본은 여기(링크)에 써놓고 이 게시물보다 더 주기적으로 업데이트합니다. 참고해주세요. 라즈베리파이에서 사용할 수 있는 LTE Cat-4 Hat으로 모바일 데이터를 사용해보자! 준비물 Raspberry Pi 4 Model B with 4GB RAM USB Power Supply (5V 2.1A is sufficient) SD Card (class 10 or more required for your mental health safety) LTE Hat: SIM7600E-H LTE Cat.4 Hat You …
더 보기 “Raspberry Pi × LTE Hat – Raspberry Pi 4 Model B에 LTE Hat (SIM7600E-H 4G HAT)을 추가해서 LTE를 써보자!”
결과 확인해보기: https://mirror.limenas.ml 미러 서버는 , 데비안 계열 리눅스에서(Debian, Ubuntu),시스템에 설치할 수 있는 deb 패키지들을 가지고 있는 서버이며,이 서버에 빠르게 접근할 수 있도록 서버를 통째로 복제해둔 로컬 서버입니다. Raspberry Pi나 Jetson Nano와 같은 SBC(Single Board Computer)를 사용하다 보면, 같은 Ubuntu/Debian 계열 Linux임에도 불구하고, CPU 아키텍쳐가 ARM이라는 이유로 카카오에서 제공하는 빠른 미러서버를 사용하기 어려워집니다.(이 미러서버에는 ARM …
선정논문 Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference, 2017 Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation, 2020 Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation Part 2.1 – Related Works ICLR 2018, Baidu&NVIDIA, Mixed precision training: 기존 FP32 Datatype이 아닌 FP16에서 Training할 수 있도록 하는 Technique 2011, …
원문: https://arxiv.org/abs/1801.04381 참고자료: 논문, 블로그 대분야: Optimization 소분야: Model Optimization, TBD … 제안 기법 TBD 키워드: TBD MobileNet V1 돌아보기 (간단요약) 문제제기: Robotics, Self-driving car, Augmented Reality 등 실시간 처리가 필요한 분야에서는 낮은 컴퓨팅 성능으로 정확한 결과를 요구함 제안사항: 경량화 CNN과 speed-accuracy tradeoff를 조절하는 Hyperparameter 제안 Depthwise Separable-Convolution width/resolution multiplier 결과 1 – Depthwise Separable …
더 보기 “[간단리뷰 1주차] MobileNetV2: Inverted Residuals and Linear Bottlenecks”