크롤링할때 프록시를 이용해 ip 차단 우회하기 2 - Selenium Chrome

이번엔 selenium으로 프록시 쓰는걸 해보자. 나는 Chrome을 쓴다.

user_agent 와 proxy_server는 각자 생성해보자. 앞에글 참조.

 

while True:

    options = webdriver.ChromeOptions()
    options.add_argument('headless')
    options.add_argument('window-size=800x600')
    options.add_argument("disable-gpu")
    options.add_argument('user-agent=' + user_agent)
    webdriver.DesiredCapabilities.CHROME['proxy'] = {
        "httpProxy": proxy_server,
        "ftpProxy": proxy_server,
        "sslProxy": proxy_server,
        "proxyType": "MANUAL"
    }

    driver = webdriver.Chrome('chromedriver', options=options)
    driver.implicitly_wait(3)
    try:
        driver.get('url')
        time.sleep(5)
        driver.implicitly_wait(5)
        html = driver.page_source
        break
    except:        
        print("error")
        continue

 

중간에 time이나 wait는 없어도 된다.