Selenium设置Chrome和PhantomJS的请求头信息

对于反爬虫来说,部分对策可以选择Selenium模拟器进行爬取,但是问题来了,如何设置请求头呢,模拟器是怎样伪装的呢?

目录:

  • 一:selenium设置phantomjs请求头
  • 二:selenium设置chrome请求头
  • 三:selenium设置chrome–cookie
  • 四:selenium设置phantomjs-图片不加载

一:selenium设置phantomjs请求头:

设置http://www.cnblogs.com/TTyb/p/6128323.html 网址,可看见自己设置的头文件,感谢百度

如代码:

from selenium import webdriver
 
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
 
headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
    'Connection': 'keep-alive'
}
 
cap = DesiredCapabilities.PHANTOMJS.copy() # 使用copy()防止修改原代码定义dict
 
for key, value in headers.items():
    cap['phantomjs.page.customHeaders.{}'.format(
        key)] = value
browser = webdriver.PhantomJS(desired_capabilities=cap)
 
browser.get("http://httpbin.org/get?show_env=1")
 
# print(browser.page_source)
browser.get_screenshot_as_file('01.png')
 
browser.close()

二:selenium设置chrome请求头:

来源 http://www.cnblogs.com/TTyb/p/6128323.html ,感恩原作者

from selenium import webdriver  # 进入浏览器设置
 
options = webdriver.ChromeOptions()  # 设置中文
 
options.add_argument('lang=zh_CN.UTF-8')  # 更换头部
 
options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"')
 
browser = webdriver.Chrome(chrome_options=options)
 
browser.get("http://httpbin.org/get")
 
print(browser.page_source)
 
browser.close()
 

三:selenium设置chrome–cookie:

cookie用于模拟登陆,记录会话

from selenium import webdriver
 
browser = webdriver.Chrome()
 
browser.get("https://www.baidu.com/")
 
new_window = 'window.open("https://www.baidu.com");'  # 打开新窗口
 
browser.delete_all_cookies()  # 删除原来的cookie
 
browser.add_cookie({'name': 'ABC', 'value': 'DEF'})  # 携带cookie打开
 
browser.execute_script(new_window)  # 通过js新打开一个窗口
 
input("查看效果")
 
browser.close()

四:selenium设置phantomjs-图片不加载:

from selenium import webdriver
 
options = webdriver.ChromeOptions()
 
prefs = {
    'profile.default_content_setting_values': {
        'images': 2
    }
}
options.add_experimental_option('prefs', prefs)
 
browser = webdriver.Chrome(chrome_options=options)
 
browser.get("http://image.baidu.com/")
 
input("是否有图")
 
browser.close()

效果如图:

特此记录,以备不时之需