知识库 : 爬虫中使用Selenium WebDriver操作浏览器

一、介绍

Selenium让浏览器自动化，Selenium调用浏览器的自动化api对浏览器进行操作，Selenium支持Firefox, Chrome, Internet Explorer, PhantomJS等多种浏览器；
Selenium WebDriver提供一套简洁的、面向对象的、支持动态网页的API。

二、安装
Python中使用selenium包与浏览器进行交互，安装方式：
pip install -U selenium

三、示例代码

示例0：
打开火狐浏览器
加载网页

from selenium import webdriver

browser = webdriver.Firefox()
browser.get(‘http://seleniumhq.org/')

示例1：
打开火狐浏览器
加载yahoo
搜索“seleniumhq”
关闭浏览器

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

browser = webdriver.Firefox()

browser.get('http://www.yahoo.com')
assert 'Yahoo' in browser.title

elem = browser.find_element_by_name('p') # Find the search box
elem.send_keys('seleniumhq' + Keys.RETURN)

browser.quit()

示例2：
网页可用性测试

import unittest

class GoogleTestCase(unittest.TestCase):

def setUp(self):
self.browser = webdriver.Firefox()
self.addCleanup(self.browser.quit)

def testPageTitle(self):
self.browser.get('http://www.google.com')
self.assertIn('Google', self.browser.title)

if __name__ == '__main__':
unittest.main(verbosity=2)