Pythonクローリング＆スクレイピング[増補改訂版]

Pythonを使ったWebクローリング・スクレイピングの基礎から、データの保存・活用、継続運用までを学べる実践ガイドである。クローラーの役割や関連用語を確認し、Unixコマンドによる取得・整形を経て、requestsでのページ取得とXPath・CSSセレクタによる要素抽出に進む。BeautifulSoupによる解析、RSSのパース、MongoDBへの保存に加え、robots.txtやキャッシュなど実行時の注意点も扱う。形態素解析による単語頻度の分析、Web APIからの情報取得、JavaScriptで描画されるページの取得を取り上げ、Scrapyを使った実装にも進む。収集したデータの検索や画像処理への活用例を含み、サーバー上で定期的にクローリングする方法と運用・管理の基礎までを扱う。用語や環境構築、サンプルコードを含むため、データ収集を始める初心者から、クローラーの機能や運用を広げたい人までを対象とする。