つくりながら学ぶ！LLM 自作入門

GPT型の大規模言語モデルを一から組み立てる流れを、実装を通じて学ぶ書籍である。テキストの前処理とAttentionの計算を扱い、文章を生成するGPTを構成した後、ラベルのないテキストで学習させる。続いて分類タスクと指示応答に向けた追加学習を行い、データ準備から事前学習、用途に応じた調整までの工程を順に扱う。付録にはPyTorchの基礎、練習問題の解答、訓練時の応用的な手法、LoRAを使うパラメーター効率のよい調整法が含まれる。Pythonの基礎を持ち、LLMの仕組みと小規模なモデルの自作を学びたい機械学習愛好家、エンジニア、学生が対象である。高度な数学は前提ではなく、高校程度のベクトルや行列の知識が理解の助けとなる。