文章目录

Python 提供了许多模拟浏览器运行的库，如 Selenium、Splash、PyV8、Ghost 等。我们可以直接使用模拟浏览器运行的方式来实现，这样就可以做到在浏览器中看到是什么样，抓取的源码就是什么样，也就是可见即可爬。这样我们就不用再去管网页内部的 JavaScript 用了什么算法渲染页面，不用管网页后台的 Ajax 接口到底有哪些参数。

1-Selenium介绍

Selenium 是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些 JavaScript 动态渲染的页面来说，此种抓取方式非常有效。

2-准备工作

Selenium安装

ChromeDriver安装

3-基本使用

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
    input = browser.find_element_by_id('kw')
    input.send_keys('Python')
    input.send_keys(Keys.ENTER)
    wait = WebDriverWait(browser, 10)
    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))
    print(browser.current_url)
    print(browser.get_cookies())
    print(browser.page_source)
finally:
    browser.close()

运行代码后发现，会自动弹出一个 Chrome 浏览器。浏览器首先会跳转到百度，然后在搜索框中输入 Python，接着跳转到搜索结果页

在这里插入图片描述此时在控制台的输出结果如下：
在这里插入图片描述
可以看到，我们得到的当前 URL、Cookies 和源代码都是浏览器中的真实内容。

所以说，如果用 Selenium 来驱动浏览器加载网页的话，就可以直接拿到 JavaScript 渲染的结果了，不用担心使用的是什么加密系统。

4-声明浏览器对象webdriver.Chrome()

Selenium 支持非常多的浏览器，如 Chrome、Firefox、Edge 等，还有 Android、BlackBerry 等手机端的浏览器。另外，也支持无界面浏览器 PhantomJS。

from selenium import webdriver

#初始化浏览器对象，并将其赋值为browser
#接下来调用 browser 对象，让其执行各个动作以模拟浏览器操作。
browser = webdriver.Chrome()  
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

5-访问页面browser.get(url)

我们可以用 get() 方法来请求网页，参数传入链接 URL 即可。

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
print(browser.page_source) #page_source 属性可以获取网页的源代码，接着就可以使用解析库（如正则表达式、Beautiful Soup、pyquery 等）来提取信息了
browser.close()

#运行后发现，弹出了 Chrome 浏览器并且自动访问了淘宝
#然后控制台输出了淘宝页面的源代码
#随后浏览器关闭。

6-查找节点

方法 描述
单个节点 find_element_by_name() 根据 name 值获取
find_element_by_id() 根据 id 获取
browser.find_element_by_id(‘q’)
find_element_by_css_selector() 根据css选择器
browser.find_element_by_css_selector(’#q’)
find_element_by_xpath() 根据XPath选择器
browser.find_element_by_xpath(’//*[@id=“q”]’)
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element() 传入两个参数：查找方式 By 和值。
find_element_by_id(id) 就等价于 find_element(By.ID, id)
多个节点 find_elements() browser.find_elements(By.CSS_SELECTOR, ‘.service-bd li’)
结果是列表类型，列表中的每个节点是 WebElement 类型。
find_elements_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

7-节点交互

Selenium 可以驱动浏览器来执行一些操作，也就是说可以让浏览器模拟执行一些动作。

方法 描述
send_keys 输入文字
clear 清空文字
click 点击按钮 
from selenium import webdriver  #导包
import time

browser = webdriver.Chrome() #初始化浏览器对象，并赋值给browser
browser.get('https://www.taobao.com')  #访问淘宝网

input = browser.find_element_by_id('q')  #用 find_element_by_id() 方法获取输入框

input.send_keys('iPhone')  #输入 iPhone 文字
time.sleep(1)
input.clear() #等待一秒后用 clear() 方法清空输入框

input.send_keys('iPad')  #输入 iPad 文字
button = browser.find_element_by_class_name('btn-search')  #获取搜索按钮
button.click()  #调用 click() 方法完成搜索动作

8-动作链

在上面的实例中，一些交互动作都是针对某个节点执行的。比如，对于输入框，我们就调用它的输入文字和清空文字方法；对于按钮，就调用它的点击方法。
其实，还有另外一些操作，它们没有特定的执行对象，比如鼠标拖曳、键盘按键等，这些动作用另一种方式来执行，那就是动作链。

比如，现在实现一个节点的拖曳操作，将某个节点从一处拖曳到另外一处，可以这样实现：

from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)  #首先，打开网页中的一个拖曳实例
browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable') #然后依次选中要拖曳的节点和拖曳到的目标节点
target = browser.find_element_by_css_selector('#droppable')
actions = ActionChains(browser)  #接着声明 ActionChains 对象并将其赋值为 actions 变量
actions.drag_and_drop(source, target) #然后通过调用 actions 变量的 drag_and_drop() 方法
actions.perform()  #再调用 perform() 方法执行动作

在这里插入图片描述

9-执行JavaScript—execute_script()

对于某些操作，Selenium API 并没有提供。比如，下拉进度条，它可以直接模拟运行 JavaScript，此时使用 execute_script() 方法即可实现，代码如下：

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)') #execute_script()方法将进度条下拉到最底部，然后弹出 alert 提示框。
browser.execute_script('alert("To Bottom")')

所以说有了这个方法，基本上 API 没有提供的所有功能都可以用执行 JavaScript 的方式来实现了。

10-获取节点信息

获取节点信息的两种方法
1）通过 page_source 属性可以获取网页的源代码，接着就可以使用解析库（如正则表达式、Beautiful Soup、pyquery 等）来提取信息了。
2）Selenium 已经提供了选择节点的方法，返回的是 WebElement 类型，那么它也有相关的方法和属性来直接提取节点信息，如属性、文本等。

方法 描述
get_attribute() 获取节点属性，前提是先选中这个节点
text 获取文本值
每个 WebElement 节点都有 text 属性，直接调用这个属性就可以得到节点内部的文本信息
相当于 Beautiful Soup 的 get_text() 方法、pyquery 的 text() 方法
id 获取节点id
location 获取节点location属性
tag_name 获取标签名称
size 获取节点的大小，也就是宽高 
from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)  #首先，驱动浏览器打开知乎页面

#1.获取属性：通过 get_attribute() 方法，然后传入想要获取的属性名，就可以得到它的值了。
logo = browser.find_element_by_id('zh-top-link-logo') #获取知乎的 logo 节点
print(logo)  
print(logo.get_attribute('class'))  #打印出它的 class
"""
<selenium.webdriver.remote.webelement.WebElement (session="e08c0f28d7f44d75ccd50df6bb676104", element="0.7236390660048155-1")>
zu-top-link-logo
"""

#2.获取文本值
input = browser.find_element_by_class_name('zu-top-add-question') #获取 “提问” 按钮这个节点
print(input.text) #再将其文本值打印出来
"""
提问
"""

#3.获取 ID、位置、标签名、大小
input = browser.find_element_by_class_name('zu-top-add-question')  #首先获得 “提问” 按钮这个节点
print(input.id) #然后调用其 id、location、tag_name、size 属性来获取对应的属性值
print(input.location)
print(input.tag_name)
print(input.size)

11-切换Frame—switch_to.frame()

网页中有一种节点叫作 iframe，也就是子 Frame，相当于页面的子页面，它的结构和外部网页的结构完全一致。

Selenium 打开页面后，它默认是在父级 Frame 里面操作，而此时如果页面中还有子 Frame，它是不能获取到子 Frame 里面的节点的。

这时就需要使用 ==switch_to.frame() ==方法来切换 Frame。

import time
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException

browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)

browser.switch_to.frame('iframeResult')  #首先通过 switch_to.frame() 方法切换到子 Frame 里面
try: #然后尝试获取子 Frame 里的 logo 节点（这是不能找到的）,如果找不到的话，就会抛出 NoSuchElementException 异常，异常被捕捉之后，就会输出 NO LOGO
    logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
    print('NO LOGO')
 
browser.switch_to.parent_frame()  #重新切换回父级 Frame
logo = browser.find_element_by_class_name('logo')  #然后再次重新获取节点
print(logo)
print(logo.text)

"""
NO LOGO
<selenium.webdriver.remote.webelement.WebElement (session="4bb8ac03ced4ecbdefef03ffdc0e4ccd", element="0.13792611320464965-2")>
RUNOOB.COM
"""

所以，当页面中包含子 Frame 时，如果想获取子 Frame 中的节点，需要先调用 switch_to.frame() 方法切换到对应的 Frame，然后再进行操作。

12-延时等待

在 Selenium 中，get() 方法会在网页框架加载结束后结束执行，此时如果获取 page_source，可能并不是浏览器完全加载完成的页面，如果某些页面有额外的 Ajax 请求，我们在网页源代码中也不一定能成功获取到。所以，这里需要延时等待一定时间，确保节点已经加载出来。

这里等待的方式有两种：一种是隐式等待，一种是显式等待。

12-1-隐式等待—implicitly_wait()

介绍：当使用隐式等待执行测试的时候，如果 Selenium 没有在 DOM 中找到节点，将继续等待，超出设定时间后，则抛出找不到节点的异常。换句话说，当查找节点而节点并没有立即出现的时候，隐式等待将等待一段时间再查找 DOM，默认的时间是 0。

缺点：隐式等待的效果其实并没有那么好，因为我们只规定了一个固定时间，而页面的加载时间会受到网络条件的影响。

from selenium import webdriver

browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get('https://www.zhihu.com/explore')
input = browser.find_element_by_class_name('zu-top-add-question')
print(input)

12-2-显式等待—WebDriverWait()

显式等待方法——它指定要查找的节点，然后指定一个最长等待时间。如果在规定时间内加载出来了这个节点，就返回查找的节点；如果到了规定时间依然没有加载出该节点，则抛出超时异常。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')

wait = WebDriverWait(browser, 10) #首先引入 WebDriverWait 这个对象，指定最长等待时间

#然后调用它的 until() 方法，传入要等待条件 expected_conditions。
input = wait.until(EC.presence_of_element_located((By.ID, 'q')))  #这里传入了 presence_of_element_located 这个条件，代表节点出现的意思，其参数是节点的定位元组，也就是 ID 为 q 的节点搜索框。
#这样可以做到的效果就是，在 10 秒内如果 ID 为 q 的节点（即搜索框）成功加载出来，就返回该节点；如果超过 10 秒还没有加载出来，就抛出异常。

#对于按钮，可以更改一下等待条件，比如改为 element_to_be_clickable，也就是可点击，所以查找按钮时查找 CSS 选择器为.btn-search 的按钮，如果 10 秒内它是可点击的，也就是成功加载出来了，就返回这个按钮节点；如果超过 10 秒还不可点击，也就是没有加载出来，就抛出异常。
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))
print(input, button)

#运行代码，在网速较佳的情况下是可以成功加载出来的。
"""
<selenium.webdriver.remote.webelement.WebElement (session="07dd2fbc2d5b1ce40e82b9754aba8fa8", element="0.5642646294074107-1")>
<selenium.webdriver.remote.webelement.WebElement (session="07dd2fbc2d5b1ce40e82b9754aba8fa8", element="0.5642646294074107-2")>
"""

#如果网络有问题，10 秒内没有成功加载，那就抛出 TimeoutException 异常，此时控制台的输出如下：
"""
TimeoutException Traceback (most recent call last)
<ipython-input-4-f3d73973b223> in <module>()
      7 browser.get('https://www.taobao.com/')
      8 wait = WebDriverWait(browser, 10)
----> 9 input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
"""

12-3-等待条件及其含义

等待条件 含义
title_is 标题是某内容
title_contains 标题包含某内容
presence_of_element_located 节点加载出，传入定位元组，如 (By.ID, ‘p’)
visibility_of_element_located 节点可见，传入定位元组
visibility_of 可见，传入节点对象
presence_of_all_elements_located 所有节点加载出
text_to_be_present_in_element 某个节点文本包含某文字
text_to_be_present_in_element_value 某个节点值包含某文字
frame_to_be_available_and_switch_to_it frame 加载并切换
invisibility_of_element_located 节点不可见
element_to_be_clickable 节点可点击
staleness_of 判断一个节点是否仍在 DOM，可判断页面是否已经刷新
element_to_be_selected 节点可选择，传节点对象
element_located_to_be_selected 节点可选择，传入定位元组
element_selection_state_to_be 传入节点对象以及状态，相等返回 True，否则返回 False
element_located_selection_state_to_be 传入定位元组以及状态，相等返回 True，否则返回 False
alert_is_present 是否出现 Alert

13-前进forward()、后退back()

import time
from selenium import webdriver

browser = webdriver.Chrome()

#1.连续访问 3 个页面
browser.get('https://www.baidu.com/')
browser.get('https://www.taobao.com/')
browser.get('https://www.python.org/')

#2.调用 back() 方法回到第二个页面
browser.back()
time.sleep(1)

#3.调用 forward() 方法又可以前进到第三个页面
browser.forward()
browser.close()

14-Cookies

方法 描述
get_cookies() 获取所有的 Cookies
add_cookie() 添加Cookie，传入字典
delete_all_cookies() 删除所有Cookies 
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')

print(browser.get_cookies())  #调用 get_cookies() 方法获取所有的 Cookies

browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})  #然后，添加一个 Cookie，这里传入一个字典，有 name、domain 和 value 等内容。
print(browser.get_cookies()) #接下来，再次获取所有的 Cookies

browser.delete_all_cookies()  #调用 delete_all_cookies() 方法删除所有的 Cookies
print(browser.get_cookies())

"""
[{'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888849ea509ac366d0"', 'domain': '.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'l_cap_id', 'expiry': 1494196091.403418}]
[{'secure': False, 'value': 'germey', 'domain': '.www.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'name'}, {'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888849ea509ac366d0"', 'domain': '.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'l_cap_id', 'expiry': 1494196091.403418}]
[]
"""

15-选项卡管理

import time
from selenium import webdriver

#1.初始化浏览器对象，访问百度
browser = webdriver.Chrome()
browser.get('https://www.baidu.com')  

#2.调用了 execute_script() 方法，这里传入 window.open() 这个 JavaScript 语句新开启一个选项卡
browser.execute_script('window.open()')  

#3.调用 window_handles 属性获取当前开启的所有选项卡，返回的是选项卡的代号列表。
print(browser.window_handles) 

#4.要想切换选项卡，只需要调用 switch_to_window() 方法即可，其中参数是选项卡的代号。
#这里我们将第二个选项卡代号传入，即跳转到第二个选项卡，接下来在第二个选项卡下打开一个新页面，然后切换回第一个选项卡重新调用 switch_to_window() 方法，再执行其他操作即可。
browser.switch_to_window(browser.window_handles[1])  
browser.get('https://www.taobao.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('https://python.org')
"""
['CDwindow-4f58e3a7-7167-4587-bedf-9cd8c867f435', 'CDwindow-6e05f076-6d77-453a-a36c-32baacc447df']
"""

16-异常处理—try except 语句

在使用 Selenium 的过程中，难免会遇到一些异常，例如超时、节点未找到等错误，一旦出现此类错误，程序便不会继续运行了。这里我们可以使用 try except 语句来捕获各种异常。

from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException

browser = webdriver.Chrome()

#这里我们使用 try except 来捕获各类异常。比如，我们对 find_element_by_id() 查找节点的方法捕获 NoSuchElementException 异常，这样一旦出现这样的错误，就进行异常处理，程序也不会中断了。
try:
    browser.get('https://www.baidu.com')
except TimeoutException:
    print('Time Out')
try:
    browser.find_element_by_id('hello')
except NoSuchElementException:
    print('No Element')
finally:
    browser.close()

参考文献

主要根据崔庆才《Python 3 开发网络爬虫》整理而成
官方文档的交互动作介绍：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement。
官方文档的动作链介绍：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains。
官方文档的异常类介绍：http://selenium-python.readthedocs.io/api.html#module-selenium.common.exceptions。
官方文档的等待条件的参数及用法介绍：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.support.expected_conditions。

# python # selenium
Logo
加入社区！打开量化的大门，首批课程上线啦！

加入社区！打开量化的大门，首批课程上线啦！

更多推荐

cover

AI写的高抛低吸策略，胜率还不错

avatar 量化交易与投资社区
cover

零代码搭建动量抄底模型：RSI+MTM 动量反转策略

avatar 量化交易与投资社区
cover

震荡行情神器： ARBR情绪反转抄底策略

avatar 量化交易与投资社区