Pruning 예시 ( IMP 동작 방식 )

IMP (Iterative Magnitude Pruning)

(1) 정의

가장 기본적인 Pruning 방법이다.

• Structured : Unstructured Pruning 기법의 일종
• Scoring : 
  • 파라미터별로 절댓값을 중요도로 측정하고 Global Pruning을 한다.
• Scheduling : Recursive 방식을 활용한다.
• Initialization : Rewind 방식을 활용한다.

 

 

(2) 순서

• 1) 초기 모델을 학습
• 2) 절댓값이 작은 파라미터를 전역에서 제거
• 3) 랜덤으로 파라미터 초기화하고 원래 데이터로 Fine - Tuning 진행
• 4) 여러번 반복해서 최종적인 결과를 얻는다.