무늬만 바둑봇을 알파고 제로 성능으로 환골탈태시키자

2016년 세상을 공포와 충격에 빠트린 알파고는 알파고 제로에 완패를 당해 쓸슬히 퇴역했다. 이런 알파고의 드라마틱한 역정을 지켜본 개발자라면 한 번쯤 인공지능 바둑봇을 만들고 싶다는 막연한 생각을 해봤을 것이다. 고성능 바둑봇을 만드는 방법은 생각만큼 어렵지 않다. 첫째, 파이썬 딥러닝 라이브러리인 케라스를 사용해 훈련 기법과 전략을 적용한다. 둘째, 바둑봇이 스스로 바둑을 익히는 것을 즐겁게 지켜본다. 자세한 방법은 이 책에 있다. 이 책을 탐독해 바둑봇을 만들며 익힌 딥러닝 기술을 널리 활용해보자.

[Part 1 기초]

CHAPTER 1 딥러닝을 향해 - 머신러닝 기초
1.1 머신러닝이란 무엇인가
__1.1.1 머신러닝은 AI와 어떤 연관성이 있는가
__1.1.2 머신러닝으로 할 수 있는 것과 할 수 없는 것
1.2 사례로 보는 머신러닝
__1.2.1 애플리케이션에서 머신러닝 사용
__1.2.2 지도학습
__1.2.3 비지도학습
__1.2.4 강화학습
1.3 딥러닝
1.4 이 책에서 학습할 내용
1.5 요약

CHAPTER 2 머신러닝 문제로서의 바둑
2.1 왜 게임인가
2.2 간단한 바둑 소개
__2.2.1 바둑판 이해하기
__2.2.2 돌 놓기와 잡기
__2.2.3 경기 종료 및 점수 계산
__2.2.4 패 이해하기
2.3 접바둑
2.4 추가 학습 자료
2.5 머신에 무엇을 가르칠 수 있을까
__2.5.1 포석 두기
__2.5.2 다음 수 찾기
__2.5.3 고려할 수 줄이기
__2.5.4 게임 현황 평가하기
2.6 바둑 AI가 얼마나 강력한지 측정하는 방법
__2.6.1 일반 바둑 등급
__2.6.2 바둑 AI 벤치마킹
2.7 요약

CHAPTER 3 첫 번째 바둑봇 만들기
3.1 파이썬으로 바둑 나타내기
__3.1.1 바둑판 구현하기
__3.1.2 바둑에서 연결 추적하기 : 이음
__3.1.3 바둑판에 돌 놓기와 따내기
3.2 대국 현황 기록과 반칙수 확인
__3.2.1 자충수
__3.2.2 패
3.3 게임 종료
3.4 첫 번째 봇 만들기 : 상상 가능한 최약체 바둑 AI
3.5 조브리스트 해싱을 사용한 대국 속도 향상
3.6 봇과 대국하기
3.7 요약

[Part 2 머신러닝과 게임 AI]

CHAPTER 4 트리 탐색을 통한 경기
4.1 게임 분류
4.2 미니맥스 탐색을 사용한 상대 수 예측
4.3 틱택토 풀기 : 미니맥스 예제
4.4 가지치기를 통한 탐색 공간 축소
__4.4.1 위치 평가를 통한 탐색 깊이 축소
__4.4.2 알파-베타 가지치기를 사용해서 탐색 폭 줄이기
4.5 몬테카를로 트리 탐색을 이용한 경기 상태 평가
__4.5.1 파이썬으로 몬테카를로 트리 탐색 구현하기
__4.5.2 탐색할 가지 선택법
__4.5.3 바둑에 몬테카를로 트리 탐색 적용하기
4.6 요약

CHAPTER 5 신경망 시작하기
5.1 간단한 사례 : 손글씨 숫자 분류
__5.1.1 MNIST 숫자 손글씨 데이터셋
__5.1.2 MNIST 데이터 처리
5.2 신경망 기초
__5.2.1 단순한 인공 신경망으로의 로지스틱 회귀
__5.2.2 1차원 이상의 결과를 갖는 신경망
5.3 순방향 신경망
5.4 우리 예측은 얼마나 훌륭한가 : 손실 함수와 최적화
__5.4.1 손실 함수란 무엇인가
__5.4.2 평균제곱오차
__5.4.3 손실 함수에서의 최솟값 찾기
__5.4.4 최솟값을 찾는 경사하강법
__5.4.5 손실 함수에서의 확률적 경사하강법
__5.4.6 신경망에 기울기를 역으로 전파하기
5.5 파이썬을 활용한 단계별 신경망 훈련
__5.5.1 파이썬에서의 신경망층
__5.5.2 신경망에서의 활성화층
__5.5.3 순방향 신경망의 구성 요소로서의 파이썬에서의 밀집층
__5.5.4 파이썬으로 순차 신경망 만들기
__5.5.5 신경망으로 손글씨 숫자 분류하기
5.6 요약

CHAPTER 6 바둑 데이터용 신경망 설계
6.1 신경망용 바둑경기 변환
6.2 트리 탐색 게임을 신경망 훈련 데이터로 만들기
6.3 케라스 딥러닝 라이브러리 사용하기
__6.3.1 케라스 디자인 원리 이해
__6.3.2 케라스 딥러닝 라이브러리 설치
__6.3.3 케라스로 익숙한 첫 번째 문제 실행해보기
__6.3.4 케라스에서 순방향 신경망을 사용한 바둑 수 예측
6.4 합성곱 신경망으로 공간 분석하기
__6.4.1 합성곱 역할에 대한 직관적 이해
__6.4.2 케라스로 합성곱 신경망 만들기
__6.4.3 풀링층을 사용한 공간 감소
6.5 바둑 수 확률 예측하기
__6.5.1 마지막 층에서 소프트맥스 활성화 함수 사용
__6.5.2 분류 문제에서의 교차 엔트로피 손실
6.6 드롭아웃과 정류 선형 유닛을 사용해 더 깊은 신경망 구성
__6.6.1 표준화를 위해 일부 뉴런 제거하기
__6.6.2 ReLU 활성화 함수
6.7 기능 결합을 통해 더 강력한 바둑 수 예측 신경망 만들기
6.8 요약

CHAPTER 7 데이터로부터 학습하기 : 딥러닝 봇
7.1 바둑 대국 기록 가져오기
__7.1.1 SGF 파일 포맷
__7.1.2 KGS에서 바둑 대국 기록을 다운로드해서 재현하기
7.2 딥러닝용 바둑 데이터 준비
__7.2.1 SGF 기록을 사용해서 바둑 대국 재현하기
__7.2.2 바둑 데이터 전처리기 만들기
__7.2.3 데이터를 효율적으로 불러오는 바둑 데이터 생성기 만들기
__7.2.4 바둑 데이터 처리 및 생성기의 병렬 실행
7.3 인간의 대국 기록으로 딥러닝 모델 훈련하기
7.4 더 실질적인 바둑 데이터 변환기 만들기
7.5 적응 경사법을 사용해서 효율적으로 훈련하기
__7.5.1 SGD에서의 붕괴와 모멘텀
__7.5.2 에이다그래드로 신경망 최적화하기
__7.5.3 에이다델타로 적응 경사법 조정하기
7.6 직접 실험하고 성능 평가하기
__7.6.1 모델 구조 및 하이퍼파라미터 검정 지침
__7.6.2 훈련 및 검정 데이터로 성능 지표 평가하기
7.7 요약

CHAPTER 8 맨땅에 봇 배포하기
8.1 심층 신경망으로 수 예측 에이전트 만들기
8.2 바둑봇을 웹 프론트엔드로 제공하기
__8.2.1 바둑봇 예제 처음부터 끝까지 다루기
8.3 클라우드에서 바둑봇 훈련 후 배포하기
8.4 다른 봇과의 대화에 사용할 바둑 텍스트 프로토콜
8.5 로컬에서 다른 봇과 대결하기
__8.5.1 봇이 차례를 넘기거나 기권해야 할 때
__8.5.2 봇과 다른 바둑 프로그램 간 대국 두기
8.6 바둑봇을 온라인 바둑 서버에 배포하기
__8.6.1 온라인 바둑 서버에 봇 등록하기
8.7 요약

CHAPTER 9 체험을 통한 학습 : 강화학습
9.1 강화학습 주기
9.2 경험을 통해 어떻게 달라질까
9.3 학습 가능한 에이전트 만들기
__9.3.1 확률분포에 따른 샘플링
__9.3.2 확률분포 제한
__9.3.3 에이전트 초기화
__9.3.4 물리 장치로부터 에이전트 불러오고 저장하기
__9.3.5 수 선택 구현
9.4 자체 대국 : 컴퓨터 프로그램이 연습하는 방법
__9.4.1 경험 데이터 나타내기
__9.4.2 대국 시뮬레이션
9.5 요약

CHAPTER 10 정책 경사를 사용하는 강화학습
10.1 임의의 경기에서 좋은 결정을 정의하는 방법
10.2 경사하강법을 사용해서 신경망 정책 수정하기
10.3 자체 대국 훈련 팁
__10.3.1 성능 향상 평가하기
__10.3.2 작은 성능 차이 측정하기
__10.3.3 확률적 경사하강(SGD) 최적화기
10.4 요약

CHAPTER 11 가치 기법을 사용하는 강화학습
11.1 Q-학습을 사용한 대국
11.2 케라스로 Q-학습 만들기
__11.2.1 케라스로 입력값이 둘인 신경망 만들기
__11.2.2 케라스로 ε-탐욕 정책 구현하기
__11.2.3 행동-가치 함수 훈련
11.3 요약

CHAPTER 12 행위자-비평가 방식 강화학습
12.1 어느 결정이 중요한지는 어드밴티지가 알려준다
__12.1.1 어드밴티지란 무엇인가
__12.1.2 자체 대국 중에 어드밴티지 구하기
12.2 행위자-비평가 학습용 신경망 설계
12.3 행위자-비평가 에이전트를 사용한 대국
12.4 경험 데이터로 행위자-비평가 에이전트 훈련하기
12.5 요약

[Part 3 전체는 부분의 합보다 크다]

CHAPTER 13 알파고 : 모든 AI 기법의 합작품
13.1 알파고의 신경망 훈련
__13.1.1 알파고의 신경망 구조
__13.1.2 알파고 바둑판 변환기
__13.1.3 알파고 스타일의 정책 신경망 훈련하기
13.2 정책 신경망으로 자체 대국 부트스트래핑
13.3 자체 대국 데이터로 가치 신경망 도출하기
13.4 정책 신경망과 가치 신경망을 사용한 탐색 개선
__13.4.1 신경망으로 몬테카를로 롤아웃 개선하기
__13.4.2 결합 가치 함수를 사용한 트리 탐색
__13.4.3 알파고의 탐색 알고리즘 구현
13.5 각자의 알파고를 훈련할 때 실제로 고민해야 할 부분
13.6 요약

CHAPTER 14 알파고 제로 : 강화학습과 트리 탐색의 결합
14.1 트리 탐색용 신경망 만들기
14.2 신경망으로 트리 탐색 안내하기
__14.2.1 트리 따라 내려가기
__14.2.2 트리 확장
__14.2.3 수 선택
14.3 훈련
14.4 디리클레 잡음을 사용한 탐색 향상
14.5 더 깊은 신경망을 만드는 현대적 기법
__14.5.1 배치 정규화
__14.5.2 잔차 신경망
14.6 추가 참고 자료
14.7 정리
14.8 요약

부록 A 수학 기초
부록 B 역전파 알고리즘
부록 C 바둑 프로그램 및 서버
부록 D 아마존 웹서비스를 사용한 봇 훈련 및 배포
부록 E 온라인 바둑 서버에 봇 등록하기