MLflowで実践するLLMOps
生成AIアプリケーションの実験管理と品質保証 (エンジニア選書)
弥生 隆明, 渡辺 祐貴, 大内山 浩, 平田 東夢, 河村 春孝技術評論社376ページISBN 9784297155735
LLMタグで同率13位（23冊中）。Zenn・Qiitaなどの1記事で紹介（時点）。
- 紹介記事
- 1件
- 媒体別
- Qiita 1
- 初めての紹介
- 最新の紹介
この本を選ぶ前に
- 出版年
- （1年以内）
- タグ内の順位
- LLMタグで同率13位（23冊中・紹介記事数の順）
紹介している記事（1件）
記事ごとの説明は、記事本文のうちこの本に触れた部分をAIが要約したもので、筆者の原文ではありません。
- 「MLflowで実践するLLMOps」サポートリポジトリを大幅に拡充しました Qiita · Takaaki Yayoi ·
本書のサポートリポジトリを拡充し、各章のコードと本文の対応や差分の理由、機能が現場のどの課題に効くかを補う資料、脚注URLの要約、依存関係を検証するCIを整えたと述べている。さらに本文の60リストを照合してコードを可能な範囲で合わせ、一致率を52％から85％に改善した。残る差分の理由と本文で見つけた5箇所の誤りも記録し、読者が本書と公開コードを並べて学べるよう継続的に改訂する方針としている。
この本について
生成AIアプリケーションの開発・運用をMLflowで管理し、実験から品質評価、本番展開までを扱うLLMOpsの実践書である。従来のソフトウェア開発やMLOpsとの違い、導入課題、規制・コンプライアンスを整理し、環境構築や各種モデル提供基盤との接続、実験管理、Model Registryを学ぶ。続いて、トレースによるプロンプトや応答、トークン使用量、コスト、ツール呼び出しの記録と調査、ルールベース評価やLLM-as-a-Judge、カスタムスコアラー、会話評価、データセット管理、アライメントを扱う。プロンプトの登録・版管理・性能評価と段階的な展開に加え、AI Gatewayを使ったコスト管理、レート制限、プロバイダー切り替えも取り上げ、生成AIアプリの評価と運用の方法を解説する。
出版社の内容紹介・目次と紹介記事をもとにAIが要約したものです。原文の転載ではありません。
目次（主な章）
出典: 出版社の書籍ページ （章の見出しのみ）
- 第1章 LLMOpsの世界へようこそ
- 第2章 MLflowとは
- 第3章 MLflowのインストールと初期設定
- 第4章 可観測性の確保──トレーシングの導入
- 第5章 改善サイクルを加速する ──評価の仕組み
- 第6章 プロンプトエンジニアリング──プロンプトの運用と管理
- 第7章 本番環境で動かす──サービングとデプロイメント
- 第8章 監視と運用──LLMアプリケーションの健全性管理
- 第9章 実践ケーススタディ
- 第10章 エンタープライズ環境でのMLflow活用
- 第11章 LLMOpsの未来とベストプラクティス
- Appendix 付録