- トップ
- データエンジニアリング
- 詳解 データレイクハウスアーキテクチャ
詳解 データレイクハウスアーキテクチャ
Delta Lakeを使ったデータAI活用とガバナンス
Denny Lee, Tristen Wentling, Scott Haines, Prashanth Babu, R. Tyler Croy, 長谷川 亮(監訳), 倉光 怜(監訳), 小谷 尚太郎(監訳), 竹下 俊一郎(監訳)オライリー・ジャパン388ページISBN 9784814401390
データエンジニアリングタグで同率15位(28冊中)。Zenn・Qiitaなどの1記事で紹介(時点)。
- 紹介記事
- 1件
- 媒体別
- Zenn 1
- 初めての紹介
- 最新の紹介
この本を選ぶ前に
- 出版年
- (1年以内)
- タグ内の順位
- データエンジニアリングタグで同率15位(28冊中・紹介記事数の順)
紹介している記事(1件)
記事ごとの説明は、記事本文のうちこの本に触れた部分をAIが要約したもので、筆者の原文ではありません。
- データエンジニアリング関連のおすすめ書籍(随時更新) Zenn · ぺんぎん · · いいね 23
Open Table Format(OTF)の一つでDatabricksに採用されているDelta Lakeを扱う本として紹介している。概念やアーキテクチャから運用まで詳しく解説され、特にパフォーマンスチューニングの章はレイクハウス運用の参考になるとしている。Predictive OptimizationやAutomatic Liquid Clusteringの導入で運用負荷は軽減された一方、それらの機能が必要な理由を理解することも重要だと述べ、Delta Lakeを扱う人には多くの学びがあると評価している。
この本について
Delta Lakeを基盤に、データレイクハウスの設計、構築、運用に必要な仕組みと操作を学ぶ書籍である。トランザクションログやテーブルの構造、ACIDトランザクション、タイムトラベル、スキーマ進化、データ品質管理を扱い、テーブルの作成・読み書き・更新・削除・結合まで説明する。導入環境の準備から始まり、Apache Sparkとの連携、FlinkやTrinoなどのコネクタ、テーブルの最適化・パーティション管理・復元といった保守、ネイティブアプリケーションの構築へ進む。後半ではストリーミングとの入出力も扱う。Delta LakeをBIやAI・機械学習に活用する構成にも触れ、運用時の性能調整やガバナンスに関わる知識を含む。
出版社の内容紹介・目次と紹介記事をもとにAIが要約したものです。原文の転載ではありません。
目次(主な章)
出典: 出版社の書籍ページ (章の見出しのみ)
- 1章 Delta Lakeにおけるレイクハウスフォーマット
- 2章 Delta Lakeを導入する
- 3章 Delta Lakeの操作
- 4章 Delta Lakeエコシステムの詳細解説
- 5章 Delta Lakeのメンテナンス
- 6章 Delta Lakeを利用したネイティブアプリケーションの構築
- 7章 Delta Lakeへのストリーミングの入出力
- 8章 高度な機能
- 9章 レイクハウスのアーキテクチャ設計
- 10章 パフォーマンスチューニング:Delta Lakeでのデータパイプライン最適化
- 11章 成功するデザインパターン
- 12章 レイクハウスのガバナンスとセキュリティの基礎
- 13章 メタデータ管理、データフロー、リネージ
- 14章 Delta Sharingプロトコルでのデータ共有