主流做网站,vs2015做网站如何添加控件,市场价格查询,阿里云域名注册证书Python 网络爬虫入门#xff1a;Spider man的第二课 写在最前面观察目标网站代码编写 第二课总结 写在最前面
有位粉丝希望学习网络爬虫的实战技巧#xff0c;想尝试搭建自己的爬虫环境#xff0c;从网上抓取数据。
前面有写一篇博客分享#xff0c;但是内容感觉太浅显了… Python 网络爬虫入门Spider man的第二课 写在最前面观察目标网站代码编写 第二课总结 写在最前面
有位粉丝希望学习网络爬虫的实战技巧想尝试搭建自己的爬虫环境从网上抓取数据。
前面有写一篇博客分享但是内容感觉太浅显了 【一个超简单的爬虫demo】探索新浪网使用 Python 爬虫获取动态网页数据
本期邀请了擅长爬虫的朋友PoloWitty来撰写这篇博客。通过他的专业视角和实战经验一步步引导我们入门成为一名数据探索的“Spider Man”。
【Python网络爬虫入门教程1】成为“Spider Man”的第一课HTML、Request库、Beautiful Soup库 【Python网络爬虫入门教程2】成为“Spider Man”的第二课观察目标网站、代码编写 【Python网络爬虫入门教程3】成为“Spider Man”的第三课从requests到scrapy、爬取目标网站 随着互联网数据的指数级增长了解如何有效地提取这些信息变得越来越重要。无论是文本模型如ChatGPT还是视觉模型如Stable Diffusion它们的训练数据大多来源于互联网的海量数据。在这个日新月异的大数据时代爬虫也算是其中不得不点的一项基础技能树了。
本系列文章将深入浅出地介绍Python网络爬虫的基础知识和技术从 Requests 库到 Scrapy 框架的 入门级 使用为你开启python网络爬虫的大门成为spider man的一员并最终以ScrapeMe网站作为目标示例爬取下网站上的可爱又有趣的宝可梦照片。 在开始之前还要啰嗦几句叠个甲网络爬虫虽然强大但在使用时必须遵守法律法规和网站的爬虫协议。不违法爬取数据遵守相关法律法规哦~ 这是本系列的第二篇文章将会以ScrapeMe网站作为示例展示如何使用第一课中学到的基础知识来对网站上的宝可梦图片进行爬取。
观察目标网站
首先我们需要先对我们需要爬取的目标网站及目标内容进行一番观察。
直接点进目标网站我们可以看到如下内容 我们想要爬取的目标图像就处于中间位置。
再观察一下如何获取到不同page上的所有图片点击不同page并观察对应的链接地址可以发现通过在请求的地址链接中加入page参数便可以访问不同的链接了。比如https://scrapeme.live/shop/page/2/?orderbypopularity就是第二个page对应的链接地址通过不断更换page后面的参数便可以访问到不同的page了。
代码编写
通过上面的观察分析我们的爬虫代码思路便很清晰了
通过改变urlfhttps://scrapeme.live/shop/page/{pageNum}/?orderbypopularity中的pageNum参数获取到不同的page 获取当前page下所有图片的链接利用requests去请求相应的链接并保存至本地文件夹中
通过上面的伪代码我们便可以写出相应的爬虫程序了
import requests
from bs4 import BeautifulSoupdef download_from_url(url:str):利用requests库从相应的图片链接中下载对应的图片结果会保存到results文件夹中filename url.split(/)[-1]with open(f./results/{filename},wb) as fp:fig_response requests.get(url)fp.write(fig_response.content)if __name____main__:for pageNum in range(1,49):urlfhttps://scrapeme.live/shop/page/{pageNum}/?orderbypopularityresponse requests.get(url)soup BeautifulSoup(response.text, html.parser)# 找到所有的图片元素links soup.find_all(img)for link in links:# 找到图片对应的链接fig_link link.get(src)# 根据链接下载相应的图片download_from_url(fig_link)
然后我们可以看看我们爬取下来的宝可梦图片 怎么样是不是又优雅又简单hhh轻轻松松拿捏住了
第二课总结
通过本节课程你应该已经对如何使用requests库和Beautiful Soup库编写爬虫程序有了更加深入的认识。恭喜你你已经能够应付大多数的爬虫场景了已经基本入门了python 网络爬虫的世界φ(゜▽゜*)♪
接下来本系列课程的第三课将讲述本系列课程的提高内容利用scrapy库以应对更多更复杂的爬虫场景。
