Google ColabでSeleniumを使ってウェブページのスクリーンショットやウェブスクレイピングを行う方法

Google Colabは、機械学習やデータ分析プロジェクトに広く使用される無料のクラウドベースのJupyterノートブック環境です。
しかし、この強力なツールは、ウェブページのスクリーンショットを撮るやウェブスクレイピングなど、他の多くの用途にも活用できます。
この記事では、Google Colabでgoogle-colab-seleniumパッケージを使用して、これらのタスクを簡単に実行する方法を紹介します。

環境セットアップ

まず、Google Colabのノートブックでgoogle-colab-seleniumパッケージをインストールすることから始めます。このパッケージは、Google Colab環境に最適化されたSeleniumとChromeDriverのセットアップを提供し、インストールと使用を簡素化します。

1
%pip install google-colab-selenium

スクリーンショットを撮る

ウェブページのスクリーンショットを撮るには、次のコードスニペットを使用します。このコードは、指定されたURLのウェブページを開き、スクリーンショットをファイルに保存します。

1
2
3
4
5
6
import google_colab_selenium as gs

driver = gs.Chrome()
driver.get("https://www.example.com")
driver.save_screenshot('example_screenshot.png')
driver.quit()

ウェブスクレイピング

ウェブスクレイピングを行う場合、google-colab-seleniumとBeautifulSoupライブラリを組み合わせると効果的です。
以下の例では、特定のウェブページからh1タグのテキストを抽出します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
from bs4 import BeautifulSoup
import google_colab_selenium as gs

driver = gs.Chrome()
driver.get("https://www.example.com")

page_html = driver.page_source
soup = BeautifulSoup(page_html, 'html.parser')
h1_tags = soup.find_all('h1')

for tag in h1_tags:
    print(tag.text)

driver.quit()

応用とカスタマイズ

google-colab-seleniumパッケージは、Google ColabでSeleniumを使用する際の多くの一般的な設定をデフォルトでカバーしています。しかし、特定のニーズに合わせてSeleniumのオプションをカスタマイズすることも可能です。たとえば、以下のようにカスタムオプションを追加ができます。

試しにウィンドウのサイズを設定します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
from selenium.webdriver.chrome.options import Options
import google_colab_selenium as gs

# カスタムオプションの作成
custom_options = Options()
custom_options.add_argument("--window-size=1920,1080")

# カスタムオプションを使用してChromeドライバーを起動
driver = gs.Chrome(options=custom_options)

# 以下に、ウェブページにアクセスしたり、スクリーンショットを撮ったりするコードを記述

まとめ

Google Colabでgoogle-colab-seleniumパッケージを使用することで、ウェブページのスクリーンショットの撮影やウェブスクレイピングなど、ウェブ自動化タスクを簡単かつ効率的に実行できます。この記事で紹介した方法は、プログラミングやデータ収集プロジェクトにおいて多くの可能性を開きます【

参照

google-colab-selenium