10주차: 사전학습 언어모델, BERT와 GPT

이번 주차

사전학습 언어모델, BERT와 GPT

온라인 (2시수)

사전학습의 개념과 이점, BERT의 양방향 학습, GPT의 자동회귀 생성 강의 / 학습활동 - 빈칸 채우기와 이어쓰기 과제를 각각 어떤 모델이 잘할지 예상해 근거와 함께 작성

대면 (1시수)

사전학습 모델로 문장 분류·텍스트 생성 실습

학습활동

[이론] 예상과 실제 결과를 대조해 두 학습 방식의 차이를 체감. 모델 학습 코드는 다루지 않고 사용법까지만(설계도 §과목 경계)

[구현] 제공된 노트북으로 공개 사전학습 모델을 불러와 분류·생성을 실행

[실무] 사전학습 모델을 그대로 쓸 때와 손봐야 할 때를 제공된 판단 기준표를 보고 구분. 인력과 장비가 적은 도내 소규모 조직이 모델을 새로 학습시킬 수 있는지를 기준으로 판단. 중간 프로젝트 진행 점검

실습 노트북

준비 중입니다. 올라오면 이 자리에 Colab 링크가 표시됩니다.