더 나은 언어 모델을 위한 새로운 접근이 필요했다

RNN이 문장을 읽을 수 있게 되었는데, 왜 또 문제가 생겼을까?

다음 문장을 읽는다고 생각해 보겠습니다.

마지막의 “데려갔다”를 제대로 이해하려면, 앞에서 나온 “강아지”가 무엇을 가리키는지 기억해야 합니다.

첫 번째 생각: 모든 정보를 기억하지 말고, 중요한 것만 남기자

사람도 하루 동안 본 모든 장면을 똑같이 기억하지 않습니다. 약속 시간이나 중요한 이름은 남기고, 필요 없는 세부 사항은 잊습니다.

LSTM의 게이트는 기억을 관리하는 문과 같다

두 번째 생각: 같은 목표를 더 단순하게 만들자

LSTM은 효과적이지만 구조가 복잡합니다. 그래서 비슷한 기억 관리 기능을 더 적은 구성 요소로 구현한 GRU가 제안되었습니다.

기억만의 문제가 아니었다: 학습이 폭주할 수도 있었다

RNN을 역전파할 때 Gradient가 지나치게 커지면, Weight가 한 번에 너무 크게 바뀌어 학습이 불안정해질 수 있습니다.

기억을 잘하게 만들었는데도 문제가 끝나지 않았다

LSTM과 GRU는 단순 RNN보다 오래된 정보를 더 잘 유지할 수 있었습니다. 하지만 문장을 읽는 기본 방식은 그대로였습니다.

생각을 바꾸다: 기억을 전달하는 대신 필요한 곳을 직접 보자

Attention은 RNN의 기억을 조금 더 개선한 구조가 아닙니다. 문제를 바라보는 방식을 바꾸었습니다.

그렇다면 문장 안의 단어들이 서로를 직접 보면 어떨까?

초기 Attention은 주로 Decoder가 Encoder의 여러 상태를 참고하는 방식으로 사용되었습니다. 이후 이 생각을 같은 문장 내부로 확장했습니다.

문제와 해결 방법을 연결해 보기

자주 생기는 의문

학습 내용 정리