requests-htmlを使用しPythonでアマゾン（Amazon）の商品詳細ページ（価格・タイトル）から自動で情報を抽出してみます。
なお、requests-htmlモジュールは、Pythonの標準ライブラリではありませんので、事前にインストールする必要があります。
■Python
今回のPythonのバージョンは、「3.8.5」を使用しています。（Windows10）（pythonランチャーでの確認）
■requests-htmlを使用しアマゾン（Amazon）の商品詳細ページから情報を抽出する
では、早速requests-htmlを使用しアマゾン（Amazon）の商品詳細ページから情報を抽出するスクリプトを書いていきます。
■コード
from requests_html import HTMLSession
#Amazonの商品詳細ページ
urls = ['https://www.amazon.co.jp/******/dp/B07N*****/ref=sr_1_15***qid=1***&sr=***',
'https://www.amazon.co.jp/gp/slredirect/picassoRedirect.html/ref=***,
'https://www.amazon.co.jp/%****/dp/B08****/ref=****&keywords=**']
#GETリクエストを作成しXPathで特定要素の抽出
def getPrice(url):
s = HTMLSession()
r = s.get(url)
r.html.render(timeout=20)
product = {
'タイトル': r.html.xpath('//*[@id="productTitle"]', first=True).text,#XPathを使って要素の抽出
'価格': r.html.xpath('//*[@id="priceblock_ourprice"]', first=True).text#XPathを使って要素の抽出
}
print(product)
return product
tvprices = [] #空のリストを作成
#for文によるループ処理（繰り返し処理）で各商品詳細ページの情報を抽出
for url in urls:
tvprices.append(getPrice(url))#空のリストに関数の戻り値を追加
#リストを出力
print(len(tvprices))requests_htmlモジュールのHTMLSessionを呼び出して、urlsにAmazon（アマゾン）の商品詳細ページのURLを格納します。
格納後、関数を定義し、GETリクエストを作成しXPathで特定要素の抽出します。
XPathで特定要素の抽出する場合は、GoogleChromeのデベロッパーツールを表示させます。表示させた後に、デベロッパーツール上で特定要素の部分で、右クリックをするとプルダウンメニューが表示され「Copy」がありますので、こちらをクリックし、さらに「Copy XPath」をクリックすると、特定要素がコピーされますので、あとはコードエディターに貼り付けるだけです。（画像は、商品タイトルを抽出するために、「＜span id=”productTitle”＞＜/span＞」の部分をコピーしています。）
なお、商品詳細ページによっては、「＜span id=””＞＜/span＞」のidが変更されている場合があります。変更せずにスクリプトを実行すると「AttributeError: ‘NoneType’ object has no attribute ‘text’」や「ConnectionResetError: [WinError 10054] 既存の接続はリモート ホストに強制的に切断されました。」といったエラーが発生します。
■実行
今回のスクリプトを「amazon_urls.py」という名前で保存し、コマンドプロンプトから実行してみます。
実行してみると、指定したアマゾン（Amazon）の商品詳細ページから自動で情報を抽出し、出力できることを確認できました。
コメント