8주차_Day 2 학습 정리

1. 오늘 한 것

 오늘은 이전에 들었던 강의를 토대로 과제를 수행했다. 처음 보는 함수도 있고 별도로 명시해주지 않아 구글링을 열심히 했던 시간이었지만 어떻게든 과제를 마무리 한 것 같다.

 

2. 피어세션

 프로젝트를 수행하기 전 프로젝트 룰을 만들고 공유하는 시간을 가졌다. 그런데 피어세션이 끝날 즈음 팀원 중 한 분이 stride에 대한 이야기를 꺼냈다.

 처음에는 CV에서의 stride를 말한 것인가? 했지만 조금 다른 내용이었다.

 

토크나이저 안에 들어가는 stride로 강의를 듣다가 생각해볼 법한 것을 무심코 지나쳐버린 것들이었다.

 

토크나이징을 할 때 max length 때문에 문장을 둘로 나눠야할 경우가 생길 수 있다.

 

하지만 완전히 딱 맞아떨어지게 나누면 문맥상의 중요한 부분이 생략될 수 있어 stride를 쓰는 것이다.

 

 

관련한 예시는 아래와 같다.

 

아래와 같은 문장이 있다고 가정하자.

 

원문 : A 식당의 짜장면은 여전히 맛있다.

 

 

쪼개진 문장1 : A 식당의 짜장면은

쪼개진 문장2 :짜장면은 여전히 맛있다.