Contents
Seleniumを使用したwebスクレイピング
今回はAmazonの人気商品(ゲーム)の上位20を取得するプログラムのサンプルを作成しました。
最終的にはCSVに出力されるよう作成しています。
これを今後、mac/windowsで動くネイティブアプリケーションにしていきたい。。。
あとは、ブラウザをバックグラウンドで起動させる必要もありそうかな。
コーディングが雑なのは多めに見ていただきたく。。
from selenium import webdriver import chromedriver_binary import csv import copy import sys driver = webdriver.Chrome() #amazon ゲームの欲しいものリストページ driver.get('https://www.amazon.co.jp/gp/most-wished-for/videogames?pd_rd_wg=4VmNR&pd_rd_r=70cf5063-537e-417a-9b9d-bcb9d87237e9&pd_rd_w=bxCe3&ref_=pd_gw_ri&pf_rd_r=1AHHZ5ZC2YKE712WR5RW&pf_rd_p=cc17c435-35f6-5801-aeae-5c1f4efad58f') contents = driver.find_elements_by_class_name('p13n-sc-truncated') #商品名称の取得 lists = [] #2次元配列用 try: for i in range(0,20): list = [] list.append(i) list.append(contents[i].text) lists.append(copy.copy(list)) #値渡しするためコピー作成 list.clear except: driver.quit() driver.quit() print(lists) try: f = open('output.csv', 'w') writer = csv.writer(f, lineterminator='\n') writer.writerows(lists) f.close() except: f.close() sys.exit()