5주차_Day 1 학습 정리

 

1. 오늘 배웠던 것

 오늘은 Bert와 Encoding을 통한 자연어 생성에 대해 강의를 들었다.

이전에 배웠던 내용과 겹치는 부분이 있었지만 이번 기회에 대충 넘겼던 부분을 보다 깊게 공부하고, 잘못 알고 있던 부분을 발견할 수 있는 기회가 되었다.

 

 

2. 궁금했던 것과 결론

 Bert는 MLM과 NSP를 동시에 진행하는 모델이라고 한다. 

MLM은 Masked 된 토큰으로 문장의 15%를 감추고 예측하는 것이고 NSP는 두 문장이 실제로 이어지는지 예측하는 것이다.

여기서 궁금한 것은 NSP로 문장을 예측할 때 15% 감춘 문장으로 두 문장이 이어지는지 예측해야 한다면 그건 에러가 생기지 않을까? 에러가 아니더라도 기능의 저하가 일어나지 않을까? 하는 것이다.

 

이에 대해 피어 세션에서 팀원들과 논의한 결과

Bert가 일부 단어를 마스킹한 상태에서 NSP를 수행하는 것은 의도적인 설계라는 결론에 도달했다.

이는 문장에서 일부 단어가 잘못되거나 빠졌더라도, 모델이 두 문장 간의 관계를 이해할 수 있도록 훈련시키기 위한 것이다.

이러한 설계는 모델이 문맥을 더 깊이 이해하고, 결측된 정보나 잡음을 무시하면서도 정확한 관계를 추론할 수 있는 능력을 기르기 위함이다.

따라서, 마스킹된 상태에서 NSP를 수행하는 것이 오히려 모델의 성능을 강화하는 역할을 한다는 결론에 이르렀다.