ゼロから作るDeep Learning ❹ ―強化学習編
斎藤 康毅オライリー・ジャパン376ページISBN 9784873119755
機械学習タグで同率28位（87冊中）。Zenn・Qiitaなどの1記事で紹介（時点）。
- 紹介記事
- 1件
- 媒体別
- Qiita 1
- 初めての紹介
- 最新の紹介
この本を選ぶ前に
- 出版年
- （約5年前）
- タグ内の順位
- 機械学習タグで同率28位（87冊中・紹介記事数の順）
紹介している記事（1件）
記事ごとの説明は、記事本文のうちこの本に触れた部分をAIが要約したもので、筆者の原文ではありません。
- SE 3年目で読んだ技術書52冊 Qiita · BinomialSheep · · いいね 77
競技プログラミングのヒューリスティックコンテストに取り組む中で、強化学習の原理を知るために読んだとしている。（非深層）強化学習の入門として、ぼんやり考えていたことが定式化されており、数式変形の説明も丁寧で追いやすかったと評価する。一方、深層強化学習はさわりをつかめるものの、DeZeroやgymをそのまま使えず、ゼロから作る実感も乏しいため、理解した手応えは弱かったという。実課題に適用するには、理論寄りの教科書を読み、プログラムを組む必要があると述べている。
この本について
強化学習の基本理論からニューラルネットワークを使うDQNまでを、数式とコードを通じて学ぶ書籍である。前半では、バンディット問題を入口に、マルコフ決定過程、ベルマン方程式、動的計画法を扱い、方策や価値関数を評価・改善する考え方を説明する。続いて、モンテカルロ法とTD法による方策評価・制御、SARSAやQ学習へ進む。後半では、ニューラルネットワークの基礎とQ学習を組み合わせ、経験再生やターゲットネットワークを用いるDQNを実装する。OpenAI Gymの環境やAtariを題材に、画像の前処理やCNN、Double DQNにも範囲を広げる。強化学習の構成要素を理論と実装の両面から扱い、基本的な手法から深層強化学習の導入までを段階的に学べる。
出版社の内容紹介・目次と紹介記事をもとにAIが要約したものです。原文の転載ではありません。
目次（主な章）
出典: 出版社の書籍ページ （章の見出しのみ）
- 1章 バンディット問題
- 2章 マルコフ決定過程
- 3章 ベルマン方程式
- 4章 動的計画法
- 5章 モンテカルロ法
- 6章 TD法
- 7章 ニューラルネットワークとQ学習
- 8章 DQN
- 9章 方策勾配法
- 10章 さらに先へ
- 付録A 方策オフ型のモンテカルロ法
- 付録B nステップのTD法
- 付録C Double DQNの理解
- 付録D 方策勾配法の証明