データエンジニアリングの基礎

データエンジニアリングの実務を、データの流れ、組織での役割、システム設計と技術選択の面から整理する書籍である。データエンジニアリングライフサイクルを軸に、ソースシステムでのデータ生成から保存、取り込み、変換、利用者への提供までを扱い、セキュリティ、データ管理、DataOps、アーキテクチャ、オーケストレーション、ソフトウェアエンジニアリングが各段階にどう関わるかを示す。データ成熟度に応じたシステム構築の考え方や、データエンジニアのビジネス面・技術面の責務、他職種や経営層との関係も取り上げる。続いて、障害への備え、拡張性、疎結合、可逆性、セキュリティ、コストを考慮する設計原則を説明し、データウェアハウス、データレイク、データメッシュなどの構成を比較する。技術選定では、チーム規模、導入速度、相互運用性、費用と価値、設置環境、内製か購入か、モノリスかモジュールかといった判断材料を扱う。後半はライフサイクルの各工程を詳しく見ていき、データソースの章ではファイル、API、データベース、変更データキャプチャ、ログ、メッセージやストリームなどを説明する。