자연어처리 입문

PyTorch로 자연어처리 모델의 핵심 구성 요소를 직접 구현하며, 토큰 표현부터 Transformer까지 단계적으로 익힌다.

이 책의 대상

• Python 기초 문법을 아는 학습자
• 딥러닝 기초(텐서, 선형층, 손실 함수)를 알고 자연어처리를 시작하려는 학습자
• LLM의 내부 구조를 코드 수준에서 이해하려는 학습자

실습 환경

• Python 3.10 이상
• PyTorch
• Google Colab 또는 VS Code, Jupyter

Colab에는 PyTorch가 기본 설치되어 있다. 로컬에서 실습할 때만 설치한다.

pip install torch

목차

실습	주제
Lab 1	Transformer와 Self-Attention

읽는 순서

각 실습은 앞 실습의 내용을 바탕으로 한다. Lab 1부터 순서대로 진행하는 것을 권장한다.