【twitterAPI1.1】pythonでアンケートデータを取得する

url = "https://api.twitter.com/1.1/search/tweets.json"
params = {
    'q':'card_name:poll2choice_text_only'
    ,'count':20
    ,'lang':'ja'

}
req = twitter.get(url, params = params)

import json
from requests_oauthlib import OAuth1Session
import requests
from bs4 import BeautifulSoup
from selenium.webdriver import Chrome, ChromeOptions
from selenium.webdriver.common.keys import Keys
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import chromedriver_binary
import time
import re


CK = '<twitterのカスタマーキー>'
CS = '<twitterのカスタマーシークレット>'
AT = '<twitterのトークンキー>'
ATS = '<twitterのトークンシークレット>'

twitter = OAuth1Session(CK, CS, AT, ATS)




driver = webdriver.Chrome()

#seleniumで使用するヘッドレスブラウザの設定
options = webdriver.ChromeOptions()
options.add_argument("--headless")
driver = webdriver.Chrome(options=options)


#twitterAPIのエンドポイント
url = "https://api.twitter.com/1.1/search/tweets.json"
params = {
    'q':'card_name:poll2choice_text_only'
    ,'count':20
    ,'lang':'ja'

}
req = twitter.get(url, params = params)



if req.status_code == 200:
    
    res = json.loads(req.text)
    for i in range(len(res['statuses'])):
        try:
            screen_name = res['statuses'][i]['user']['screen_name'] #投稿者のユーザ名
            id_str = res['statuses'][i]['id_str'] #ページid
            theme = res['statuses'][i]['text'] #アンケートタイトル
            
　　　　　　　#リツイートによる投稿かどうかの判定
            if theme[0:2] == 'RT':
　　　　　　　　　
                continue

　　　　　　　#対象アンケートのページ
            url = "https://twitter.com/{0}/status/{1}" .format(screen_name,id_str)

            driver.get(url)

　　　　　　　#articleタグが読み込まれるまで待機
            WebDriverWait(driver, 15).until(EC.visibility_of_element_located((By.TAG_NAME, 'article')))
            html = driver.page_source.encode('utf-8')
            soup = BeautifulSoup(html, "html.parser")
　　　　　　　
            #選択肢1
            question1 = soup.select(".css-18t94o4.css-1dbjc4n.r-1niwhzg.r-p1n3y5.r-sdzlij.r-1phboty.r-rs99b7.r-16y2uox.r-1w2pmg.r-1vsu8ta.r-aj3cln.r-1ny4l3l.r-1fneopy.r-o7ynqc.r-6416eg.r-lrvibr")[0].text

            #選択肢2
            question2 = soup.select(".css-18t94o4.css-1dbjc4n.r-1niwhzg.r-p1n3y5.r-sdzlij.r-1phboty.r-rs99b7.r-16y2uox.r-1w2pmg.r-1vsu8ta.r-aj3cln.r-1ny4l3l.r-1fneopy.r-o7ynqc.r-6416eg.r-lrvibr").text

            #総投票数
            allvote = soup.select(".css-1dbjc4n.r-1d09ksm.r-xoduu5.r-18u37iz.r-1wbh5a2")[0].text
            allvote = int(re.sub("\\D", "", allvote[0:3]))


            
        except:
            pass


else:
    res=""
    print("Failed: %d" % req.status_code)

driver.quit()

#選択肢1        
num = soup.select(".css-1dbjc4n.r-1awozwy.r-18u37iz.r-1g7fiml.r-1wtj0ep")[0].text

#選択肢2
num2 = soup.select(".css-1dbjc4n.r-1awozwy.r-18u37iz.r-1g7fiml.r-1wtj0ep").text