학습 진행도중 아래와 같은 오류가 계속 발생합니다.

[kim-sunghoon]

안녕하세요. facebook에 올리신 글을 보고 공부하기 위해 코드를 사용해보고 있었습니다.
cifar 10 dataset을 이용해 돌려보려고하였고, data 다운로드, gpu 숫자 설정이 끝난 뒤에 아래와 같은 오류가 계속 발생합니다.
어떻게 해결해야 할까요?

nvidia-smi를 통해 살펴본 결과 학습은 진행되고 있는거 같습니다.
제 환경은 다음과 같습니다.

[hebo1221]

우선 제 코드를 실행시켜주셔서 감사합니다. 보내주신 오류를 보니 Dataloader에서 문제가 생기는것 같습니다. 찾아보니 PyTorch 커뮤티니에서 같은 오류를 발견했는데요, https://discuss.pytorch.org/t/data-loader-crashes-during-training-something-to-do-with-multiprocessing-in-docker/4379 사용자마다 다양한 해결방법이 제시되고 있습니다. 1. nvidia-docker 사용시 shared memory크기를 늘린다. I solved this problem by increasing the size of shared memory by using --shm-size, i.e., nvidia-docker run -it --shm-size 8G --name xxxx xxxx This issue dues to that the size of shared memory is not enough. 2. DataLoader의 num_workers를 변경한다. 0으로 바꾸거나 8로 바꿔서 해결한 케이스가 있네요. cifar10의 경우 utils/dataloader.py코드의 42, 82번째 줄의 dataloader함수의 인자에

,num_workers= 8 )

을 추가해 주시면 될것 같습니다. 3. batch size를 두배로 한다. 배치사이즈 변경은 utils/configs/cifar10_config.py의 __C.BATCH_SIZE = 64 를 변경해주시면 됩니다. 4. CPU, RAM의 overclock시 memory의 불안정 문제다. 클럭을 낮춰 해결한 사람도 있군요.. 5. dataset의 corrupttion 문제다. 다운받아진 데이터셋을 삭제후 다시 받으시면 해결이 될 수 있을것으로 보입니다. 소켓 커넥션 에러로 적혀있길래 통신관련 에러인줄 알았는데 다양한 방식으로 에러가 해결되네요. 혹시 위 방법들로 해결하시거나, 혹은 다른방식으로 해결하시면 피드백주시면 코드에 반영할수 있는 부분은 하겠습니다. 감사합니다. 2019년 7월 20일 (토) 오후 1:08, Sh.Kim <notifications@github.com>님이 작성:

…

안녕하세요. facebook에 올리신 글을 보고 공부하기 위해 코드를 사용해보고 있었습니다. cifar 10 dataset을 이용해 돌려보려고하였고, data 다운로드, gpu 숫자 설정이 끝난 뒤에 아래와 같은 오류가 계속 발생합니다. 어떻게 해결해야 할까요? [image: image] <https://user-images.githubusercontent.com/40001125/61573781-1784de00-aaef-11e9-8bac-32597cb0f633.png> nvidia-smi를 통해 살펴본 결과 학습은 진행되고 있는거 같습니다. 제 환경은 다음과 같습니다. [image: image] <https://user-images.githubusercontent.com/40001125/61573804-6df21c80-aaef-11e9-83bc-f8c9f403fbf4.png> — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub <#1?email_source=notifications&email_token=AE43SOFNZMQ7D3CK4IY24ALQAKFVDA5CNFSM4IFNPZU2YY3PNVWWK3TUL52HS4DFUVEXG43VMWVGG33NNVSW45C7NFSM4HANI7FA>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AE43SODJ4BFFOGMZTVGTKSDQAKFVDANCNFSM4IFNPZUQ> .

[kim-sunghoon]

안녕하세요 답변 감사드립니다.
dataset 폴더에 다운 받은 tar.gz 파일이 남아있어서 이걸 지우니 오류가 발생하지 않았습니다.
시험 삼아 다운 받은 tar.gz와 압축해제한 폴더를 지우고, dataloader.py --> extract_tar의 delete 옵션을 true로 바꾸고 다시 실행하니 위와 같은 오류가 발생하지 않았습니다.

감사합니다.