머신러닝/딥러닝, 리눅스, 소프트웨어, 그리고 일상
일반적으로 사용되는 아래 CE Loss의 구현을 Softmax를 빼고 보면 Loss Term에 Negative Class에 대한 고려가 들어가있지 않다. (마지막 정리부에서 다루지만 사실 CE Loss와 Softmax를 분리해서 보는 생각이 잘못된 것 같다.) 이 의문에서 시작해서 답을 찾아갔던 과정을 정리해보았다. 아래 수식에서 $p(x_{i})$는 정답값 분포 [0.0, 0.0, 1.0, 0.0, 0.0]를, $\hat{p}(x_{i})$는 Softmax를 거쳐나온 각 클래스별 확률 분포 $0<\hat{p}(x_{i})<1$를 …
Precision이나 Recall이 -1일 때는 small, medium, large의 areaRng가 데이터셋 분포에 맞게 잘 설정되었는지 확인해보자.
Anaconda/Miniconda로 최신 PyTorch 2.0과 CUDA 라이브러리(pytorch-cuda=11.8)를 설치하고 PyTorch 라이브러리를 로드할 때 이런 오류가 발생하는 경우가 있다. 해당 문제는 pytorch-cuda로 설치된 libnvrtc.so 파일이 제대로 링크되지 않아 발생한 문제이다. 이를 해결하기 위해서는 아래와 같이 기존의 libnvrtc.so.11.2나 libnvrtc.so.11.8 등을 프로그램이 열심히 찾고있는 libnvrtc.so로 링크해주면 된다. 현재 사용중인 conda 환경을 activate하고, 아래 Snippet을 실행하여 링크를 진행하여 문제없이 작동하였다. 위 …
더 보기 “[Linux] PyTorch CUDA 오류 해결 – libcudnn_cnn_infer.so, libnvrtc.so”
[추가] 현재는 Fix된 이슈임 Windows 11 Insider Preview Build 22000.51이 나온 뒤에는 해결된 문제입니다. 아래 환경에서 테스트하였으니 apt 패키지와 드라이버를 업데이트 해보시기 바랍니다. OS: Windows 11 Insider Preview Build 22000.51 Driver: NVIDIA 470.76 APT Package Version List Inst libnvidia-container1 (1.4.0-1 NVIDIA CORPORATION [email protected]:1.0/bionic [amd64]) Inst libnvidia-container-tools (1.4.0-1 NVIDIA CORPORATION [email protected]:1.0/bionic [amd64]) Inst nvidia-container-toolkit (1.5.1-1 NVIDIA …
더 보기 “[해결됨] WSL2 CUDA undefined symbol: devicesetgpcclkvfoffset 문제 해결하기”
원문: https://arxiv.org/abs/1801.04381 참고자료: 논문, 블로그 대분야: Optimization 소분야: Model Optimization, TBD … 제안 기법 TBD 키워드: TBD MobileNet V1 돌아보기 (간단요약) 문제제기: Robotics, Self-driving car, Augmented Reality 등 실시간 처리가 필요한 분야에서는 낮은 컴퓨팅 성능으로 정확한 결과를 요구함 제안사항: 경량화 CNN과 speed-accuracy tradeoff를 조절하는 Hyperparameter 제안 Depthwise Separable-Convolution width/resolution multiplier 결과 1 – Depthwise Separable …
더 보기 “[간단리뷰 1주차] MobileNetV2: Inverted Residuals and Linear Bottlenecks”
원문: https://arxiv.org/abs/1805.10180 참고자료: 논문요약 대분야: Image Segmentation 소분야: Semantic Segmentation, Network Hierarchy 키워드: PAN (Pyramid Attention Network), GAU (Global Attention Upsample) 문제점 [1] 공간해상도 손실 (Spatial resolution loss) 작은 객체 부분 Segmentation 정확도가 낮습니다. 다중 스케일 상에서 객체들의 카테고리를 결정하는데 문제가 있어 SPP나 ASPP를 사용하게 됩니다. 다만 이렇게 하면, 그리드 모양의 Artifact를 만들어 버린다는 단점이 …
넘어온 논문: Pyramid Attention Network for Semantic Segmentation 참고 블로그: 갈아먹는 Object Detection SPP: Fast R-CNN에서 참고한 개념. SPPNet에서 제안 요약: Conv Layer에서는 사실 Resolution이 문제되지 않으나, 마지막 FC Layer의 입력 Size는 고정입니다. 이로 인해 Input Image는 무조건 같은 크기로 Resizing해서 모델에 입력해야하는 제약 조건이 생겨나게 되었는데, SPP는 이를 같은 크기의 Feature로 조절해주는 Pooling을 제안합니다. …