LLMのプロンプトエンジニアリング

LLMの性質を踏まえてプロンプトを設計し、生成AIアプリケーションを構築・評価する方法を学べる本である。前半では、トークン化や自己回帰生成、確率、ハルシネーション、RLHF、チャット形式への移行を扱い、LLMの処理と人間の思考の違いや、モデルの限界を説明する。続いて、ユーザーの問題をモデルが扱える形に変換するアプリケーションの構成と、品質を測るオフライン・オンライン評価を取り上げる。中心となる技法には、Few-shotプロンプティングやRAGによる情報の追加、プロンプト内の要素と順序の設計、補完形式やlogprobを使った出力制御、モデル選択が含まれる。後半では、ツールを使う会話型エージェント、推論手法、タスクに応じたコンテキストの管理、複数段階のLLMワークフローとその評価を扱い、マルチモダリティにも目を向ける。AIアプリケーションを開発する人や、生成AIの可能性と限界を理解したい人を対象とする。