Pay it Forward

Neural network를 train을 하다보면 성능을 비교하기 위해 loss function, optimizer 등이 상이한 여러 가지 model을 돌려볼 일이 수도 없이 많다. 이 때, 한 장의 GPU만 있다면 어쩔 수 없지만 여러장의 GPU가 존재한다면 A model은 GPU 0번에서, B model은 GPU 1번에서 동시에 두 개의 model을 돌려 빠르게 결과를 보고 싶을 것이다. 이를 위하여 각 model을 특정 GPU에서 돌리는 법을 알아보고자 한다. 추가적으로, network의 weight param이 크거나 input dataset의 크기가 커서 하나의 GPU memory로는 model을 돌리기에 부족하여 CUDA out of memory error가 뜨는 경우가 많다. 이를 해결하기 ..