森巧尚 ：Python 2年生 スクレイピングのしくみ

概要

「はじめに」から引用する。

（前略）気になるニュースを調べたり、地元のお店の情報を調べたり、自宅の明日の天気を調べたり、 「Python を自分の身の回りの調べものに使ってみる」のなら、やさしく次へ進めると思いませんか。うまくできれば、役に立つプログラムも作れます。（後略）

感想

スクレイピング

スクレイピングとは、本書の p.15 によれば、インターネット上に公開されているデータを収集して、その収集したデータを解析して、必要なデータを取得することと定義されている。

昔、 VOW という、雑誌の名物コーナーがあり、私は単行本を買っていた。そのなかのある巻で、英単語をエロい語呂合わせで覚える本が紹介されていた。 英単語 scrape がその中にあったと記憶している。どのような語呂合わせだったかも覚えているが、それを書くことはここでは控える。

以前借りてきたPython による Web スクレイピング 第 2 版がきちんと読めなかったので、今度こそ理解しようと思って借りてきた本だ。

環境

まずは環境構築からである。本書では LINUX についての説明はないが、私は Linux（WSL2, Ubuntu 24.04）を使っている。 また、本書ではパッケージマネージャーとして pip を使っているが、私は uv を使った。

$ uv init
$ uv sync
$ uv add requests
$ uv add beautifulsoup4

実行

次のように実行する。次は一例である。

$ uv run python chap1/chap1-1.py

本書と異なるところ

pp.53-56 では、「Yahoo ニュースの IT の最新トピックス一覧」を取得して表示する例がある。 このニュースが表示されている URI は https://news.yahoo.co.jp/categories/it で変わりはないが、対応するタグのクラス名は、 本書の topicsList_main ではなく、sc-1d6xg0e-3 という文字列だった。そして実はスペースで区切られたもう一つ別の文字列もあった。 動作としては、本書の topicsList_main を sc-1d6xg0e-3 に変更するだけで、本書と同じように実行することができた。

書誌情報