【Python】BeautifulSoupの基本から実例を徹底解説

（最終更新月：2023年7月）

✔当記事は以下のような方に向けて書かれています

「PythonのBeautifulsoupって何ができるのだろうか？」

「Beautifulsoupの使い方を学びたい」

「PythonでBeautifulsoupの具体的な使用例が理解できる内容を探している」

✔当記事でお伝えすること

Python Beautifulsoupの基本的な概念
Beautifulsoupの使用方法とその応用
Beautifulsoupを使った具体例

当記事では、Python Beautifulsoupの基本的な使い方から、応用的な操作まで、実際のコード例を通じて詳細に解説します。

最後までお見逃しなく。

筆者プロフィール

【現職】プロダクトマネージャー

【副業】ブログ（月間20万PV）/YouTube/Web・アプリ制作

「プログラミング × ライティング × 営業」の経験を活かし、30後半からのIT系職へシフト。現在はプロダクトマネージャーとして、さまざまな関係者の間に入り奮闘してます。当サイトでは、実際に手を動かせるWebアプリの開発を通じて、プログラミングはもちろん、IT職に必要な情報を提供していきます。

【当ブログで紹介しているサイト】

当サイトチュートリアルで作成したデモ版日報アプリ

Django × Reactで開発したツール系Webアプリ

✔人に見せても恥ずかしくないコードを書こう

「リーダブルコード」は、わかりやすく良いコードの定義を教えてくれる本です。

見るからにきれいなコードの書き方
コードの分割方法
変数や関数の命名規則

エンジニアのスタンダートとすべき基準を一から解説しています。

何回も読むのに値する本なので、ぜひ手にとって読んでみてください。

リーダブルコード ―より良いコードを書くためのシンプルで実践的なテクニック

created by Rinker

スクレイピングとその基礎知識

こちらでは、「スクレイピング」の基本となる知識についてお伝えしていきます。

スクレイピングの定義と用途
Pythonスクレイピングの流れとライブラリの選択
ウェブスクレイピングにおける注意点

スクレイピングの定義と用途

スクレイピングは、ウェブページからデータを自動的に抽出する技術のことを指します。

以下のようなさまざまな目的で利用されます。

データ分析
情報収集
コンテンツ監視

例えば、商品価格の追跡や競合他社のウェブサイトからの情報収集が考えられます。

以下の記事ではWebスクレイピングについて詳しく解説。

【コード付】PythonでWebスクレイピングをおこなう方法

Pythonでのwebスクレイピングについて知りたいですか？Pythonを利用したwebスクレイピングは、効率的にウェブサイトのデータを収集するための優れたツールです。当記事では、Pythonを使ったwebスクレイピングの基本的な手法を、具体的なコード例を交えて詳細に解説しています。特にwebスクレイピング初心者の方は必見です。

Pythonスクレイピングの流れとライブラリの選択

Pythonは、スクレイピングのための強力なライブラリが豊富です。

スクレイピングの一般的な流れは、ウェブページにアクセスし、必要なデータを抽出し、そのデータを解析や保存のために整理する、というものです。

PythonではBeautifulSoup, Requests, Scrapyなどのライブラリがよく使われます。

ウェブスクレイピングにおける注意点

ウェブスクレイピングは便利な技術ですが、実施する際には以下のようなリスクや注意点が存在します：

法的リスク：公開されている情報であっても、ウェブサイトの情報をスクレイピングすることは法的な問題を引き起こす可能性があります。ウェブサイトの利用規約やロボット排除標準（robots.txt）を確認して、スクレイピングが許可されているかを確認してください。許可されていない場合は、スクレイピングは違法行為となり得ます。
プライバシー：特に個人データを扱う場合、データ保護とプライバシーに関する法律、特にEUのGDPR（General Data Protection Regulation）のような規制に厳密に従う必要があります。
サーバーへの負荷：高頻度でのアクセスは、ウェブサイトのサーバーに大きな負荷をかける可能性があります。これはサービスの中断を引き起こす可能性があり、その結果、法的な問題に発展することもあります。可能な限り非ピーク時間にスクレイピングを行い、適切なディレイを設けてアクセスを行うことが推奨されます。
データの信頼性：ウェブスクレイピングによって収集されたデータの正確性や完全性は、そのソースや収集方法によります。ウェブサイトが情報を更新したり、レイアウトを変更したりすると、スクレイピングの結果に影響を及ぼす可能性があります。
維持の問題：ウェブサイトが構造を変更すると、スクレイピングのコードもそれに追随して変更する必要があります。このため、維持管理が必要となり、それが一定のコストとなります。

ウェブスクレイピングを行う際には、これらのリスクと注意点を理解し、尊重することが重要です。また、必要に応じて法的なアドバイスを求めることも重要です。

PythonとBeautifulSoupの導入

こちらでは、BeautifulSoupの導入について説明します。

BeautifulSoupとは
必要なライブラリのインストール

BeautifulSoupとは

BeautifulSoupは、Pythonのライブラリで、HTMLとXMLの解析をおこなうのに適しています。

ウェブスクレイピングにおいては、ページからデータを効率的に抽出するために使用されます。

BeautifulSoupは直感的なAPIを持っており、初心者にも扱いやすいです。

必要なライブラリのインストール

BeautifulSoupを使用するには、まずPythonがインストールされている必要があります。

次に、pipを使用してBeautifulSoupとRequestsライブラリをインストールします。

pip install beautifulsoup4 requests

pipのインストールがまだの方はこちらをどうぞ。

BeautifulSoupの基本的な実装

こちらでは、BeautifulSoupの基本的な使い方を学んでいきます。

Requestsを使用したデータ取得方法
BeautifulSoupの基本的な使い方導入

Requestsを使用したデータ取得方法

Requestsライブラリを使用して、ウェブページのHTMLを取得します。

基本的な構文はこちら。

response = requests.get(URL)

URLのHTMLを取得できます。

response.textを使用してHTMLコンテンツにアクセスします。

import requests

url = "http://example.com"
response = requests.get(url)

html_content = response.text

こちらの記事で詳しく解説しています。

【便利】Pythonのrequestsとは？コード付きで徹底解説

Pythonの「requests」ライブラリを活用する手法を学びたいですか？requestsライブラリはPythonにおけるHTTP通信をシンプルに実行するためのツールです。当記事では、「requests」ライブラリの使用方法を実際のコードを用いて詳しく解説します。特にPython初心者やrequestsライブラリに新しい方は必見です。

BeautifulSoupの基本的な使い方導入

BeautifulSoupを使用すると、取得したHTMLを解析しやすい形に変換できます。

以下は基本的な使い方の例です。

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, "html.parser")

print(soup.prettify())

BeautifulSoupオブジェクトを作成し、prettifyメソッドを使用して整形されたHTMLを出力しています。

データ選択の基本

こちらでは、BeautifulSoupでデータを選択する基本的な方法を学びます。

CSSセレクタを用いたselectメソッドの使い方
HTMLタグを用いたfind, find_allメソッドの使い方

CSSセレクタを用いたselectメソッドの使い方

BeautifulSoupのselectメソッドを使用すると、CSSセレクタを使用して特定の要素を選択できます。

例えば、すべての<a>タグを選択するには以下のようにします。

links = soup.select("a")

for link in links:
    print(link.get("href"))

HTMLタグを用いたfind, find_allメソッドの使い方

findメソッドは、条件に一致する最初の要素を返すもの。

一方、find_allメソッドは、条件に一致するすべての要素を返します。

以下は<p>タグを検索する例です。

paragraph = soup.find("p")
paragraphs = soup.find_all("p")

print(paragraph.text)
for p in paragraphs:
    print(p.text)

こちらでfindメソッドの実例をたくさん紹介しています。

【Python】findメソッドの基本｜文字列検索の具体例付き

Pythonのfindメソッドについて知りたいですか？当記事では、Pythonのfindメソッドや関連するメソッドの基本的な使い方や実践的な例を詳細に解説しています。主に実例を中心にご紹介しているので、コードを見ながら手を動かして学べます。初心者の方は必見です。

複雑なサイト構造からのデータ取得

こちらでは、複雑なサイト構造からデータを取得する方法を見ていきます。

階層化されたサイトのクローリング法
HTML階層を活用したタグの指定方法

階層化されたサイトのクローリング法

階層化されたサイトでは、ページ間のリンクを辿ってデータを収集する必要があります。

これをクローリングと呼びます。

クローリングの際には、ひとつのページから次のページへとリンクを辿りながらデータを取得していきます。

base_url = "http://example.com"
response = requests.get(base_url)
soup = BeautifulSoup(response.text, "html.parser")

links = soup.select("a")

for link in links:
    href = link.get("href")
    new_url = base_url + href
    new_response = requests.get(new_url)
    new_soup = BeautifulSoup(new_response.text, "html.parser")

    # new_soupを使用して必要なデータを取得
    # 例：タイトルの取得
    title = new_soup.find("title").text
    print(f"Page Title: {title}")

この例では、基本URLから開始して、そのページにあるすべてのリンクを辿り、各ページのタイトルを取得しています。

HTML階層を活用したタグの指定方法

HTML文書は階層構造を持っているため、BeautifulSoupを使って特定の階層のタグを指定できます。

例えば以下は、特定の<div>タグ内のすべての<p>タグを取得できるコードです。

div = soup.find("div", {"class": "content"})
paragraphs = div.find_all("p")

for p in paragraphs:
    print(p.text)

クラス名が”content”の<div>タグ内のすべての<p>タグのテキストを出力します。

詳細なBeautifulSoupの使い方

こちらでは、BeautifulSoupのさらに詳しい使い方を解説します。

find_allメソッドの詳細解説
findメソッドの詳細解説
selectメソッドの詳細解説

find_allメソッドの詳細解説

find_allメソッドは、指定した条件に一致するHTML要素をすべて探してリストで返すもの。

たとえば、すべての<a>タグを取得する場合、以下のようにします。

links = soup.find_all("a")

for link in links:
    print(link.get("href"))

また、find_allは属性で絞り込むこともできます。

special_divs = soup.find_all("div", {"class": "special"})

findメソッドの詳細解説

findメソッドは、`find_all`メソッドと同様に、条件に一致するHTML要素を探します。

ただし最初に見つかったひとつの要素のみを返すものです。

属性を使用して特定の要素を探せます。

header = soup.find("h1", {"class": "header"})
print(header.text)

selectメソッドの詳細解説

selectメソッドは、CSSセレクタを使用して要素を選択するためのメソッドです。

これにより、クラスやIDを指定して要素を選択することができます。

# IDセレクタを使用して要素を選択
element_with_id = soup.select("#my_id")

# クラスセレクタを使用して要素を選択
elements_with_class = soup.select(".my_class")

上級者向け：Seleniumの利用と画像のダウンロード

こちらでは、Seleniumを利用したスクレイピングと、画像のダウンロード方法について説明します。

Seleniumとはなにか
SeleniumとBeautifulSoupの連携方法
画像ファイルの保存法

Seleniumとはなにか

Seleniumは、ウェブブラウザの自動化ツールで、主にウェブアプリケーションのテストに使用されるのの。

スクレイピングでは、JavaScriptで動的に生成されるコンテンツをスクレイピングするのに使えます。

SeleniumとBeautifulSoupの連携方法

Seleniumを使用してページを操作し、BeautifulSoupで解析することができます。

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Firefox()
driver.get("http://example.com")

html = driver.page_source
soup = BeautifulSoup(html, "html.parser")

# ここでsoupを使用して解析

画像ファイルの保存法

ウェブサイトから画像をダウンロードするには、そのURLを取得し、バイナリデータとして保存します。

img_url = "http://example.com/image.jpg"
img_response = requests.get(img_url, stream=True)

with open("image.jpg", "wb") as f:
    for chunk in img_response.iter_content(chunk_size=8192):
        f.write(chunk)