2025/04/30 2

pytorch에서 tensor 타입 변경에 따른 training time과 memory의 trade-off

제목에 영어가 참 많다.. 이러기 싫은데, 억지스럽지 않게 한글로 표현하기가 너무 어렵다.우선 해당 상황은 pytorch를 이용하여 복소수 신경망(CVNN, CVCNN)을 구현하는 중 발생했다.complex를 사용하는 경우가 아니라면 아래와 같은 형 변환을 할 일도, 이유가 많지 않기 때문에 이 trade off는 좀 특수한 케이스일 것이라고 생각된다. 다만 이 문제로 많은 고생을 하였기에 혹시나 싶은 마음에 아래 글을 남겨둔다.복소수 신경망 모델을 구현하고 학습하는 과정에서 GPU 메모리 피크 사용량이 과도하게 증가하는 문제가 발생하였다. 이에 대한 원인을 분석하고 코드 차원에서 메모리 효율을 개선하기 위한 작업을 수행하였다. 결과적으로 메모리 사용량은 줄어들었지만, 학습 시간이 증가하는 현상이 발생하..

AI 2025.04.30

SSH 세션이 끊겨도 프로세스가 끊기지 않게 하려면..

1. 실행 전에 준비했다면 nohup세션이 끊겨도 job이 계속 실행됨. 출력은 파일로 리다이렉션하는 것이 일반적이다.nohup your_command > output.log 2>&1 & tmux (또는 screen)가상 터미널 세션을 생성해서 그 안에서 job을 실행하면, SSH 세션이 끊겨도 job이 살아 있고, 나중에 다시 접속해서 제어 가능.tmux # 세션 시작python train.py # job 실행[Ctrl + B] → D # 세션 분리(detach)# 재접속 후tmux attach # 세션 재접속(attach)위는 tmux의 예시, 아래는 screen의 예시이다.screen # 세션 시작py..

연구실 2025.04.30