做外贸球衣用什么网站,北京活动策划网站,如何查看网站的死链接,系统首页设计前言
最近在学习Python爬虫的知识#xff0c;既然眼睛会了难免忍不住要实践一把。 不废话直接上主题
代码不复杂#xff0c;简单的例子奉上#xff1a;
import requests
from lxml import etreecookie 浏览器F12网络请求标头里有
user_agent 浏览器F12网络请求标头里有…前言
最近在学习Python爬虫的知识既然眼睛会了难免忍不住要实践一把。 不废话直接上主题
代码不复杂简单的例子奉上
import requests
from lxml import etreecookie 浏览器F12网络请求标头里有
user_agent 浏览器F12网络请求标头里有
# 具体的方法网上有很多这里不是叙述的重点headers {User-Agent: user_agent,Cookie: cookie,Host: fanqienovel.com,Connection: keep-alive
}url https://****# 使用get方法请求网页
resp requests.get(url, headersheaders)# 将网页内容按utf-8规范解码为文本形式
content resp.content.decode(utf-8)# 将文本内容创建为可解析元素
html etree.HTML(content)# 获取1
title1 html.xpath(//*[idapp]/div/div[2]/div/div[1]/div/div[2]/div[2]/div[1]/h1/text())[0]# 获取2
title2 html.xpath(//*[idapp]/div/div/div/div[1]/div/div[2]/div[2]/div[1]/h1/text())[0]“获取1”是页面打开后直接复制的XPath路径但根据这个路径获取不到数据见截图。 但content是有内容的参阅网上的方案都未决解但提供了思路。
是网站做了反爬虫处理复制的XPath不准确导致的想了个办法将content的内容复制到txt文档然后修改为html的后缀用浏览器打开在新的网页下重新复制XPath就得到了“获取2”的路径可以发现1和2路径是有差异的。
问题到这就解决了。
