Fork me on GitHub

Python_Spider_Selenium

发表于 | 分类于 | 评论数： | 阅读次数：

##自动化测试

1
2
3
4
5
6
7
8
9
10
import selenium.webdriver
driver = selenium.webdriver.'浏览器种类'()

url = " "
driver.get(url)
#向url内发送内容
driver.find_element_by_class_name(" ").send_keys(" ")
#模拟点击的动作
driver.find_element_by_id(" ").click()
driver.quit()


####1、声明浏览器对象，访问页面并获取网页html（源代码）

1
2
3
4
5
6
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
# browser.page_source是获取网页的全部html,即获取网页源代码
print(browser.page_source)
browser.close()

2、查找元素

1
2
3
4
5
6
7
8
9
10
11
12
13
# 单个元素
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
# 三种方式返回的是相同的值
input_first = browser.find_element_by_id('q')
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id="q"]')
print(input_first,input_second,input_third)

# 多个元素，elements多个s
input_first = browser.find_elements_by_id('q')
browser.close()
1
2
3
4
5
6
7
8
9
# 可以使用通用的方法
from selenium import webdriver
from selenium.webdriver.common.by import By
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
# 第一个参数传入名称，第二个传入具体的参数
input_first = browser.find_element(By.ID,'q')
print(input_first)
browser


3、元素交互操作-搜索框传入关键词进行自动搜索

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
from selenium import webdriver
import time
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
# 找到搜索框
input = browser.find_element_by_id('q')
# 传送入关键词
input.send_keys('iPhone')
time.sleep(5)
# 清空搜索框，文本框
input.clear()
# 传送入关键词
input.send_keys('男士内裤')
# 找到搜索按钮
button = browser.find_element_by_class_name('btn-search')
# 点击按钮
button.click()
# double_click(on_element=None)
# 双击Double-clicks an element.

4.截图

img.screenshot_as_png

5.动作链

1
2
3
# 前进后退
browser.back()
browser.forward()
1
2
3
4
5
6
7
8
9
10
11
12
13
# 调用动作链
from selenium import webdriver
from selenium.webdriver import ActionChains
browser = webdriver.Chrome()
# 将source元素拖放至target元素处，参数为两个elementObj
source = browser.find_element_by_css_selector('#draggable')
target = browser.find_element_by_css_selector('#droppable')
# 将动作链实例化
action = ActionChains(browser)
# drag_and_drop(鼠标拖动)
action.drag_and_drop(source,target)
# 执行动作链
action.perform()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 更多用法

# move_to_element 鼠标移动到某一个元素上,结束elementObj
ActionChains(driver).move_to_element(e)

# 鼠标移动到制定的坐标上，参数接受x，y
ActionChains(driver).move_by_offset(e['x'],e['y'])

#Keys 实际是Selenium提供的一个键盘事件模块，在模拟键盘事件时需要导入Keys模块
from selenium.webdriver.common.keys import Keys
# key_down 模拟键盘摁下某个按键 key_up 松开某个按键，
# 与sendkey连用完成一些操作，每次down必须up一次否则将出现异常
# 全选&复制
# key_down(value, element=None)
# element：要发送密钥的元素。如果没有，则将密钥发送给当前有焦点的元素。
ActionChains(driver).key_down(Keys.CONTROL,dom).send_keys('a')\
.send_keys('c').key_up(Keys.CONTROL)
# 黏贴
ActionChains(driver).key_down(Keys.CONTROL,dom1).send_keys('v')\
.key_up(Keys.CONTROL).perform()


6、获取元素信息

切换标签

browser.switch_to.frame('iframe')
: switch_to.标签名(‘属性’)

获取属性

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
logo = browser.find_element_by_id('zh-top-link-logo')#获取网站logo
print(logo)
# 获取属性
print(logo.get_attribute('class'))
# 获取网页的cookies
print(browser.get_cookies)
# 删除所有的cookies
browser.delete_all_cookies
browser.close()

获取页面源码

1
2
3
4
5
# selenium的page_source方法可以直接返回页面源码
from selenium import webdriver
driver = webdriver.Firefox()
driver.get("http://www.cnblogs.com/yoyoketang/")
page = driver.page_source

获取文本值

1
2
3
4
5
6
7
8
from selenium import webdriver
browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
# 获取文本值
print(input.text)
browser.close()

获取Id，位置，标签名，大小

1
2
3
4
5
6
7
8
9
10
from selenium import webdriver
browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.id)#获取id
print(input.location)#获取位置
print(input.tag_name)#获取标签名
print(input.size)#获取大小
browser.close()

7、等待

1
2
3
4
5
6
7
8
9
10
# 隐式等待
from selenium import webdriver
browser = webdriver.Chrome()
# 设置等待时间,
browser.implicitly_wait(5)
# 当查找元素并没有立即出现时，隐式等待将等待一段时间在查找DOM,默认时间为0
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 显式等待 Explicit Waits¶
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Firefox()
driver.get("http://somedomain/url_that_delays_loading")
try:
    element = WebDriverWait(driver, 10).until(
      # 可以修改By.的选择，“ ”内的对象也可以改变
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
    )
finally:
    driver.quit()
喜欢的可以对我打赏了哟~
分享到： 收藏夹 复制网址 邮件 微信 QQ空间 腾讯微博 豆瓣 一键分享 更多