seon 님의 블로그

제목에 영어가 참 많다.. 이러기 싫은데, 억지스럽지 않게 한글로 표현하기가 너무 어렵다.우선 해당 상황은 pytorch를 이용하여 복소수 신경망(CVNN, CVCNN)을 구현하는 중 발생했다.complex를 사용하는 경우가 아니라면 아래와 같은 형 변환을 할 일도, 이유가 많지 않기 때문에 이 trade off는 좀 특수한 케이스일 것이라고 생각된다. 다만 이 문제로 많은 고생을 하였기에 혹시나 싶은 마음에 아래 글을 남겨둔다.복소수 신경망 모델을 구현하고 학습하는 과정에서 GPU 메모리 피크 사용량이 과도하게 증가하는 문제가 발생하였다. 이에 대한 원인을 분석하고 코드 차원에서 메모리 효율을 개선하기 위한 작업을 수행하였다. 결과적으로 메모리 사용량은 줄어들었지만, 학습 시간이 증가하는 현상이 발생하..

딥러닝 모델이 점점 대형화됨에 따라, 모델을 경량화하는 기술은 선택이 아니라 필수가 되었다.그중에서도 **Quantization(양자화)**는 가장 널리 쓰이는 경량화 기법이다.이번 글에서는, Quantization의정확한 수학적 정의대표적인 방법별 특징Quantization 방법별 성능 비교를 다룬다.1. Quantization 수식 (현실적으로 많이 쓰이는 버전)실제 많이 사용되는 양자화 수식은 다음과 같다.Uniform Affine Quantization (Offset 포함)여기서,x : 부동소수점 입력값 (float32)s : scaling factor (양자화 단위)z : zero-point (offset, 정수화할 때 기준점 조정)qmin,qmax: 정수 표현 범위 (예: 8-bit int이면..