クローリングハック あらゆるWebサイトをクロールするための実践テクニック

本書は、Webアプリケーションやサービス開発・運用に不可欠なWeb技術の基礎知識から、大規模Webクローラーの開発・運用ノウハウまでを網羅する実践書です。HTTP、文字コード、HTML、認証、Ajax/JSONなど、クローラーの構築・運用に必要な技術要素を、実サービスでの経験に基づき深く解説。Webサイトの仕組みをクローラー視点から理解し、効率的なクロール方法論を習得できます。Web開発者にとっては、クローラービリティの高いWebサイト設計のヒントを得られ、Webサイト運営者にとっては、自身のサイトへのクローラーの挙動を理解し、適切な対策を講じるための知見が得られます。Javaでのサンプルコードが提供されますが、Web技術の理解に重点を置いているため、Javaの深い知識は不要です。Web技術の基礎から実践的なクロールテクニックまで、幅広く学びたいエンジニアやサイト運営者におすすめの一冊です。