책소개
최신 딥러닝 기술을 활용한 자연어 처리 기본기부터 실전 심화까지 한 권으로 끝내기 자연어 처리 기초부터 심화까지 파이토치를 활용하여 짜임새 있게 설명한다. 저자가 현업에서 시스템을 구현하며 얻은 경험과 인사이트를 최대한 담았다. 자칫 지루할 수 있는 수학적 이론을 최소화하고 실전에 꼭 필요한 개념을 정리했다. 최신 딥러닝을 활용한 기술뿐만 아니라, 딥러닝 이전의 전통적인 방식도 차근차근 설명하여 왜 지금의 기술이 필요하고, 어떤 부분이 성능 개선을 이끌어냈는지 쉽게 이해할 수 있다. 딥러닝과 머신러닝 관련 개념과 이론의 기본기를 어느 정도 갖춘 독자라면 자연어 처리를 실무에 적용하는 데 필요한 지식을 이 한 권으로 체계적으로 익힐 수 있다.
저자소개
지난 10여 년간 자연어 처리 연구 및 서비스 개발에 몸담았으며, 현재 인공지능 스타트업 마키나락스(MakinaRocks)에서 딥러닝 연구 개발 수석을 맡고 있습니다. 주요 관심 연구 분야는 자연어 생성과 비지도학습입니다.
딥러닝 이전부터 머신러닝을 통해 자연어 처리의 실무를 경험하였으며, 기계번역과 음성인식 그리고 추천 시스템 등의 실제 서비스를 코드 레벨부터 직접 설계, 구현하여 상용화한 이력이 다수 있습니다. 이처럼 밑바닥부터 다져온 자연어 처리 핵심 실무 경험과 이론을 포함해, 자연어 처리 기술에 딥러닝을 접목하여 다양한 사례에 적용한 경험과 노하우를 온·오프라인 플랫폼을 통해 다른 이들에게 널리 전달하고 있습니다.
패스트캠퍼스에서 『PyTorch를 활용한 자연어 처리 심화 CAMP』 와 『자연어 처리를 위한 딥러닝 CAMP』 강의를 하고 있습니다. 같은 주제로 SK텔레콤과 KT 등의 기업에서도 강의했습니다.
목차
0장_ 윈도우 개발 환경 구축__0.1_ 아나콘다 설치__0.2_ 파이토치 설치__0.3_ 깃 설치
1장_ 딥러닝을 활용한 자연어 처리 개요__1.1_ 자연어 처리란 무엇일까?__1.2_ 딥러닝 소개__1.3_ 왜 자연어 처리는 어려울까?__1.4_ 무엇이 한국어 자연어 처리를 더욱 어렵게 만들까?__1.5_ 자연어 처리의 최근 추세
2장_ 기초 수학__2.1_ 확률 변수와 확률 분포__2.2_ 쉬어가기: 몬티 홀 문제__2.3_ 기댓값과 샘플링__2.4_ MLE__2.5_ 정보 이론__2.6_ 쉬어가기: MSE 손실 함수와 확률 분포 함수__2.7_ 마치며
3장_ Hello 파이토치__3.1_ 딥러닝을 시작하기 전에__3.2_ 설치 방법__3.3_ 짧은 튜토리얼
4장_ 전처리__4.1_ 전처리__4.2_ 코퍼스 수집__4.3_ 정제__4.4_ 문장 단위 분절__4.5_ 분절__4.6_ 병렬 코퍼스 정렬__4.7_ 서브워드 분절__4.8_ 분절 복원__4.9_ 토치텍스트
5장_ 유사성과 모호성__5.1_ 단어의 의미__5.2_ 원핫 인코딩__5.3_ 시소러스를 활용한 단어 의미 파악__5.4_ 특징__5.5_ 특징 추출하기: TF-IDF__5.6_ 특징 벡터 만들기__5.7_ 벡터 유사도 구하기__5.8_ 단어 중의성 해소__5.9_ 선택 선호도__5.10_ 마치며
6장_ 단어 임베딩__6.1_ 들어가며__6.2_ 차원 축소__6.3_ 흔한 오해 1__6.4_ word2vec__6.5_ GloVe__6.6_ word2vec 예제__6.7_ 마치며
7장_ 시퀀스 모델링__7.1_ 들어가며__7.2_ 순환 신경망__7.3_ LSTM__7.4_ GRU__7.5_ 그래디언트 클리핑__7.6_ 마치며
8장_ 텍스트 분류__8.1_ 들어가며__8.2_ 나이브 베이즈 활용하기__8.3_ 흔한 오해 2__8.4_ RNN 활용하기__8.5_ CNN 활용하기__8.6_ 쉬어가기: 멀티 레이블 분류__8.7_ 마치며
9장_ 언어 모델링__9.1_ 들어가며__9.2_ n-gram__9.3_ 언어 모델의 평가 방법__9.4_ SRILM을 활용하여 n-gram 실습하기__9.5_ NNLM__9.6_ 언어 모델의 활용__9.7_ 마치며
10장_ 신경망 기계번역__10.1_ 기계번역__10.2_ seq2seq__10.3_ 어텐션__10.4_ input feeding__10.5_ 자기회귀 속성과 Teacher forcing 훈련 방법__10.6_ 탐색(추론)__10.7_ 성능 평가__10.8_ 마치며
11장_ 신경망 기계번역 심화 주제__11.1_ 다국어 신경망 번역__11.2_ 단일 언어 코퍼스 활용하기__11.3_ 트랜스포머__11.4_ 마치며
12장_ 강화학습을 활용한 자연어 생성__12.1_ 들어가며__12.2_ 강화학습 기초__12.3_ 정책 기반 강화학습__12.4_ 자연어 생성에 강화학습 적용하기__12.5_ 강화학습을 활용한 지도학습__12.6_ 강화학습을 활용한 비지도학습__12.7_ 마치며
13장_ 듀얼리티 활용__13.1_ 들어가며__13.2_ 듀얼리티를 활용한 지도학습__13.3_ 듀얼리티를 활용한 비지도학습__13.4_ 쉬어가기: Back-translation 재해석하기__13.5_ 마치며
14장_ NMT 시스템 구축__14.1_ 파이프라인__14.2_ 구글의 NMT__14.3_ 에든버러 대학교의 NMT__14.4_ MS의 NMT
15장_ 전이학습__15.1_ 전이학습이란__15.2_ 기존의 사전 훈련 방식__15.3_ ELMo__15.4_ BERT__15.5_ OpenAI의 GPT-2__15.6_ 마치며
한줄 서평
