Pythonでfurlを使用しURLの解析と操作を簡単に情報を取得する

Pythonでfurlを使用しURLの解析と操作を簡単に情報を取得してみます。

今回はfurlを使用します。このライブラリは、Pythonの標準ライブラリ・モジュールではありませんので、事前にインストールする必要があります。

■Python

今回のPythonのバージョンは、「3.8.5」を使用しています。(Windows10)(pythonランチャーでの確認)

■furlを使用しURLの解析と操作を簡単に情報を取得する

では、早速furlを使用しURLの解析と操作を簡単に情報を取得するスクリプトを書いていきます。

■コード

from furl import furl
import requests

f = furl('https://www.google.com/')
f.fragment.path.segments = ['search']
f.fragment.args = {'q': '日本'}

response = requests.get(f.url)

print(response.text)

「from import」でfurlのfurlを呼び出します。その後にimportで標準ライブラリであるrequestsも呼び出します。

その後、fという変数を定義し、その中でfurl()を用います。括弧内に引数,パラメータとして情報を取得するURLを渡し格納します。今回はGoogleのURLを渡します。

格納後、fという変数に対して、fragment.path.segmentsを用いて、Googleの検索結果のページを取得するために「search」を指定します。さらにfragment.argsを用いて、Google検索のクエリを指定します。

さらに、responseという変数を定義し、その中でrequests.get()を用います。括弧内には引数,パラメータとしてf.urlを渡します。これでGETリクエストが送信されます。

これで特定のキーワードで検索した時の検索結果ページの情報を取得することができます。

■実行・検証

このスクリプトを「url_get_contents.py」という名前で、Pythonが実行されている作業ディレクトリ(カレントディレクトリ)に保存し、コマンドプロンプトから実行してみます。

実行してみると、今回指定したURLの情報を、ソースコードそのままであるが取得することができた。

コメント

タイトルとURLをコピーしました