빈칸 읽기와 이어쓰기
모식도. 단어 카드는 설명 단위이며 실제 토크나이저나 모델 추론 결과가 아님.
BERT: 앞뒤 읽기
GPT: 앞쪽 읽기
양방향은 빈칸 뒤도 참고. 자동회귀는 다음 자리를 예측할 때 미래 토큰을 볼 수 없음.