selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。
通过编写模仿用户操作的 Selenium 脚本,可以从终端用户的角度驱动浏览器执行特定的动作,这个特性对我们爬取由 JavaScript 动态渲染的页面是非常友好的。
因为由 JavaScript 动态渲染的页面,这种页面上的 JavaScript 通常经过了编译打包,看到的都是简码,非常难以阅读。
一、Selenium基础
官方文档:https://selenium.dev/selenium/docs/api/py/api.html
Selenium自动化测试工具:可以驱动浏览器执行特定的动作(例如:点击、下拉等)。同时还可以获取浏览器当前呈现的页面的源代码。
1.安装Selenium
pip install selenium常用包导入:
from selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.common.keys import Keysfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.support.wait import WebDriverWaitimport time
2.安装谷歌浏览器及ChromeDriver
ChromeDriver镜像网站:http://npm.taobao.org/mirrors/chromedriver/[1]
ChromeDriver安装步骤:①下载chromedriver.exe(注意浏览器版本保持一致) ②将chromedriver.exe配置到系统环境变量
Path(建议直接拷贝的python的安装目录Scripts目录下)
先写一点简单的小功能演示一下(浏览器自动打开百度搜索"曾庆林"):
from selenium import webdriverfrom selenium.webdriver.common.keys import Keysbrowser = webdriver.Chrome()# 获取谷歌浏览器browser.get('https://www.baidu.com')# 打开百度input = browser.find_element_by_id('kw')# 找到id为kw的搜索框input.send_keys('曾庆林')# 设置搜索文本input.send_keys(Keys.ENTER)# 发送回车键print(browser.current_url)# 获取浏览器的当前地址print(browser.get_cookies())# 获取浏览器页面cookieprint(browser.page_source)# 获取浏览器页面源文件
代码执行结果
3.创建浏览器对象
from selenium import webdriverbrowser = webdriver.Chrome()
或者使用PhantomJS(基于Webkit的“无界面”(headless)浏览器)
browser = webdriver.PhantomJS()4.加载网页
browser.get(url)二、浏览器操作
1.加载网页
browser.get(url)2.执行js
browser.execute_script(js代码串)3.截图
browser.save_screenshot("文件名.png")4.前进与后退
# 页面后退browser.back()# 页面前进browser.forward()
5.标签页切换
browser.switch_to.window(browser.window_handles[下标])6.关闭
# 关闭当前标签页或窗口browser.close()# 关闭所有标签页或窗口browser.quit()
三、节点选取
1.单节点选取
browser.find_element_by_id('kw') # 原生语法browser.find_element_by_css_selector('#kw') # CSS语法browser.find_element_by_xpath("//*[@id='kw']") # XPath语法
以上三种方法获取的元素类型都是WebElement类型。以下两种方法等效:
browser.find_element_by_id('kw')browser.find_element(By.ID, 'kw')
2.多节点选取
与单节点选取相似,将element改为elements即可。
browser.find_elements_by_id()browser.find_elements_by_name()browser.find_elements_by_tag_name()browser.find_elements_by_class_name()browser.find_elements_by_xpath()browser.find_elements_by_css_selector()browser.find_elements_by_link_text()browser.find_elements_by_partial_link_text()
3.页面源代码获取
browser.page_source四、提取节点数据
| 语法 | 数据 |
| element.get_attribute(属性名) | 获取节点属性值 |
| element.text | 获取节点文本内容 |
| element.id | 获取节点ID |
| element.location | 获取节点位置 |
| element.tag_name | 获取节点标签 |
| element.size | 获取节点大小 |
五、动作
1.获取节点
•直接方法
element = browser.find_element_by_XXX(value)•使用By类型(需要导入By)
from selenium.webdriver.common.by import Byelement = browser.find_element(By.ID, value)
2.对节点元素的操作
| 动作 | 描述 |
| element.click() | 单击 |
| element.submit() | 提交 |
| element.send_keys(data) | 向可输入元素输入数据 |
| element.clear() | 清空可输入元素中的数据 |
六、动作链
用来模拟鼠标拖拽、鼠标按键等操作。
1.创建动作链对象
from selenium.webdriver import ActionChainsactions = ActionChains(browser)
2.动作
(1)鼠标操作
| 动作 | 描述 |
| actions.click(on_element) | 单击 |
| actions.double_click(on_element) | 双击 |
| actions.context_click(on_element) | 右键点击 |
| actions.click_and_hold(on_element) | 点击不放 |
| actions.drag_and_drop(source, target) | 拖放 |
| actions.drag_and_drop_by_offset(source, target, xoffset, yoffset) | 拖动至元素相对位置 |
| actions.move_by_offset(xoffset, yoffset) | 移动光标 |
| actions.move_to_element(to_element) | 移动光标至元素 |
| actions.move_to_element_with_offset(to_element, xoffset, yoffset) | 移动光标至元素相对位置 |
(2)键盘操作
| 动作 | 描述 |
| actions.send_keys(data) | 向当前焦点元素发送信息 |
| actions.send_keys_to_element(element, data) | 向元素发送信息 |
| actions.key_down(value, element) | 按下按键 |
| actions.key_up(value, element) | 释放按键 |
3.执行动作链
actions.perform()七、延时等待
1.固定等待(强制等待)
等待固定的时间,不管页面的加载情况。
time.sleep(秒数)2.隐式等待
页面加载完成或者超时执行下一步。
browser.implicitly_wait(time_to_wait)3.显示等待
条件成立才执行下一步,超时则会抛出TimeoutException异常。
from selenium.webdriver.support import expected_conditions as ECwait = WebDriverWait(browser, timeout)element = wait.until(EC.条件)
4.等待条件
| 等待的条件 | 含义 |
| title_is | 标题是某内容 |
| title_contains | 标题包含某内容 |
| presence_of_element_located | 节点加载出来,需要传入定位元组(例如:(By.ID, 'q')) |
| visibility_of_element_located | 节点课件,传入定位元组 |
| visibility_of | 传入的节点对象可见 |
| presence_of_all_elements_located | 所有节点可见 |
| text_to_be_present_in_element | 某个节点包含某文字 |
| element_to_be_clickable | 节点可被点击 |
| staleness_of | 判断一个节点是否仍在DOM中,可以判断页面是否被刷新过 |
| alert_is_present | 判断警告框是否弹出 |
八、cookie操作
1.获取cookie
browser.get_cookies()2.添加cookie
browser.add_cookie({"name": 名称, "value": 值})3.删除cookie
browser.delete_cookie(name)browser.delete_all_cookies()
参考:https://www.jianshu.com/p/a36f92f74e75
感谢每一个认真阅读我文章的人,礼尚往来总是要有的,虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走:
这些资料,对于【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴上万个测试工程师们走过最艰难的路程,希望也能帮助到你!有需要的小伙伴可以点击下方小卡片领取