门户网站建站方案,百度域名对应的ip地址,wordpress怎么设置访问不了,西安做网站排名爬取某些云网页音乐#xff0c;无需app 分析网页第二种方式批量爬取 声明#xff1a;仅供参考学习#xff0c;参考#xff0c;若有不足#xff0c;欢迎指正 你是不是遇到过这种情况#xff0c;在pc端上音乐无法下载#xff0c;必须下载客户端才能下载#xff1f; 那么无需app 分析网页第二种方式批量爬取 声明仅供参考学习参考若有不足欢迎指正 你是不是遇到过这种情况在pc端上音乐无法下载必须下载客户端才能下载 那么爬虫可以解决这个麻烦继续实战利用request和xpath爬取网上音乐。
本文主要是在网页端下载音乐如果你有客户端也可以太高级的笔者也不会。这是一个基础皮毛的练习
分析网页
定位目标网址你也可以在浏览器打开某云之后随便进入一个歌单 https://music.163.com/#/playlist?id26467411
对于网页上的音乐在进行下载时经常会弹出提示页面请前往客户端下载 非常讨厌了也是好好的下载一首歌曲非要弄得这么麻烦。甚至有些音乐在下载了软件后需要付费或者VIP万恶的资本家。
本次实战就可以通过简单的爬虫解决以上问题直接下载歌曲。
首先检查— Network — 刷新点击 文档(Doc)可以看到它的标头里面的请求网址为 https://music.163.com/playlist?id26467411 这跟最开始是不一样的。
这是因为我们所请求的网址并非是浏览器地址栏上的网址通过这张截图很清晰的发现我们所请求的网址是哪个了。
通过对每首歌曲打开进行网页源代码分析不难发现本网页的歌曲都有一个共同的特点即前面的网址为 https://music.163.com/#/song?id 加每首歌曲的 id 号。 然而目前为止我们仅仅是找到了些许规律并没有找到歌曲的真正链接要真正下载到每一首歌曲还遥不可及。 音乐文件一般为mpegmp3mpeg-4midimwam4a等 到现在为止还没有请求音乐当我们在进行点击播放时会发现 当我们在进行播放音乐时请求数量增多说明该网页又重新进行了对网页的请求。通过重新查找发现只需查看后面新的内容这次有了一些 .m4a 文件。
当点击这些文件打开时会发现有一个新的 Request URL当你将该网址复制在新的网页下进行打开会出现如下图所示打开时浏览器会自动进行下载该音乐
结合上面的情况来说我们是不是已经成功了呢但很难过的告诉你这个网址在短时间内打开的确会有用但是它是有时间限制的不信的话你可以过五分钟或许还不需要这么久再重新打开该网址试一下。 所以这种方式行不通由于是初学者我们就需要点外援了。
第二种方式
这里介绍一个新的URL不要问这个怎么来的
http://music.163.com/song/media/outer/url?id
在之前的分析中我们发现了一个很重要的一点便是这10首歌曲都是一个网址加每首歌曲的id所在的新页面。
我们有了上面的这个网址便可以为所欲为了。你现在便可以立马复制上面的链接在网页上找到一首歌曲的id号添加至网址后面进行打开如http://music.163.com/song/media/outer/url?id36897723是不是得到了如下的界面 通过这个页面就可以直接下载。
批量爬取
首先每首音乐可以通过这个网址 ➕ id 进行下载所以我们第一步便是想办法获取每首音乐的 id 。根据之前的分析不难发现每首音乐的 id 都在一个a标签内我们只要获取这个a就可以了。 一步一步来开始写代码 根据真正的目标网址注意真正的获取源码信息
import requests
from lxml import etree# 真实地址在Network--Doc
url https://music.163.com/playlist?id26467411# 请求requests 图片视频音频 content 字符串 text
html_str requests.get(url).text
print(html_str)
print(type(html_str)) # 字符串类型result etree.HTML(html_str) 从源码中用 xpath 找到每首歌的id和name
song_ids result.xpath(//a[contains(href,/song?)]/href) # 歌曲id
song_names result.xpath(//a[contains(href,/song?)]/text()) # 歌名
# print(song_ids)
# print(song_names) #列表
for song_id,song_name in zip(song_ids,song_names):print(song_id)print(song_name)整理一下 通过打印发现前面多了一些 /song?id 这时便使用下面这行代码进行删减仔细观察打印结果发现后面多了三个无用的这三个必须删掉才行不然在进行后面的 URL 拼接肯定会报错因为压根就找不到这样的一个网址。
count_id song_id.strip(/song?id) # 去掉/song?id# print(count_id)# 过滤含有“$”符号if ($ in count_id) False:print(count_id)拼接URL后在浏览器里打开上面的任意链接 song_url即可获取该音乐的链接并进行下载。但是我们最终的目的是让爬虫自动帮我们全部下载并进行保存至文件夹利用 for 循环就可以啦
song_url base_url count_id # 拼接url
print(song_url)
mp3 requests.get(song_url).content
# 保存数据
with open(yinyue/{}.mp3.format(song_name),wb) as file:file.write(mp3)如需完整代码请自行查看。某云音乐爬取
