前回(002)で取得したパーソナルショッパーのURLから実際に
対象のページを解析し、出品者登録日を取得していきます。
今回webスクレイピングで使用しているモジュールはlxmlです。
選定利用としてはxpathでの指定が可能だったからです。
xpathだとChromeの検証ツールから必要な情報を思考停止で取得出来てしまう。。。。
import requests from lxml import html import configparser def scraping(): config = configparser.ConfigParser() config.read('config.ini') section = 'url' url = config.get(section, 'sample') rs = requests.get(url) root = html.fromstring(rs.text) date = root.xpath('//*[@id="profile_txt"]/dd') #今回はxpathで指定 print(date[0].text) #出品者登録日 if __name__ == "__main__": scraping()