电脑做网站服务器改端口,做网站国内好的服务器,vps云服务器免费,天津网站建设市场python爬虫之selenium自动化操作
需求#xff1a;操作淘宝去掉弹窗广告搜索物品后进入百度回退又前进
selenium模块的基本使用
问题#xff1a;selenium模块和爬虫之间具有怎样的关联? 1、便捷的获取网站中动态加载的数据 2、便捷实现模拟登录 什么是selenium模块#x…python爬虫之selenium自动化操作
需求操作淘宝去掉弹窗广告搜索物品后进入百度回退又前进
selenium模块的基本使用
问题selenium模块和爬虫之间具有怎样的关联? 1、便捷的获取网站中动态加载的数据 2、便捷实现模拟登录 什么是selenium模块 1、基于浏览器自动化的一个模块
selenium使用流程
1、环境安装pip install selenium 2、下载一个浏览器的驱动程序edge浏览器为例 1下载路径edge浏览器驱动 2驱动程序和浏览器的映射关系查看浏览器版本上面链接找到相对应版本的驱动后下载到爬虫程序所在文件路径中。 3、实例化一个浏览器对象 4、编写基于浏览器自动化的操作代码 1发起请求get(url) 2标签定位find系列的方法 3标签交互send_keys(‘xxx’) 4执行js程序excute_script(‘jsCode’) 5前进后退back(),forward() 6关闭浏览器quit() 实现代码如下
from selenium import webdriver
from time import sleep
from selenium.webdriver.common.by import By
# selenium 4版本必须要设置浏览器选项否则会闪退
option webdriver.EdgeOptions()
option.add_experimental_option(detach, True)
# 实例化浏览器驱动对象并将配置浏览器选项
# driver webdriver.Edge(optionsoption)
#实例化一个浏览器对象传入浏览器的驱动程序
bro webdriver.Edge(optionsoption)
bro.get(https://www.taobao.com/)# basic-pop-tmpl-closeBtn
#关闭广告弹窗
guanggao_btn bro.find_element(By.CLASS_NAME,basic-pop-tmpl-closeBtn)
guanggao_btn.click()#标签定位
search_input bro.find_element(By.ID,q)
#标签交互
search_input.send_keys(Iphone)#执行一组js程序
bro.execute_script(window.scrollTo(0,document.body.scrollHeight))
sleep(2)
#点击搜索按钮
btn bro.find_element(By.CLASS_NAME,btn-search)
btn.click()bro.get(https://www.baidu.com)
sleep(2)
#回退
bro.back()
sleep(2)
#前进
bro.forward()sleep(5)bro.quit()
