济南建设监理协会网站,北京鑫旺路桥建设有限公司网站,网站建设类图书有哪些,做毕业设计网站需要的工具文章中所有内容仅供学习交流使用#xff0c;不用于其他任何目的#xff01;严禁将文中内容用于任何商业与非法用途#xff0c;由此产生的一切后果与作者无关。若有侵权#xff0c;请联系删除。
目标#xff1a;LI视频采集
地址#xff1a;aHR0cHM6Ly93d3cucGVhcnZpZGVv…文章中所有内容仅供学习交流使用不用于其他任何目的严禁将文中内容用于任何商业与非法用途由此产生的一切后果与作者无关。若有侵权请联系删除。
目标LI视频采集
地址aHR0cHM6Ly93d3cucGVhcnZpZGVvLmNvbS8 主页分析
首先要明白我们本次任务的目标——下载页面中的视频(以人物为例)那么也就意味着我们最终的目的就是要找到视频的下载地址。
所以在进入主页之后我们先来到人物板块这个页面。 在这里我们想要采集最新的数据所以就需要定位到最新视频的标签。这里就可以直接打开开发者工具进行分析了。 可以看到最新视频是位于id为categoryList的ul标签之中。同时每一个视频就是一个li标签那么到这里我们只需要确定这些数据是静态化存在于html结构中就能够使用xpath将其解析出来。直接刷新页面然后来到document 从这里来看可以确定我们能够直接使用xpath去解析这第一页的视频的详情页地址了(解析到但是不一定要去访问这里我先写代码的时候就按照常规思路去访问了详情页然后找视频地址但写过去之后发现视频地址是做了反爬处理的从详情页也无法直接获取到)。
详情页分析
根据普遍的思路我们访问详情页的目的就是要找视频的播放下载地址所以我们来到主页之后一样先打开开发者工具然后点击播放按钮进行抓包分析。 刷新播放之后抓到一个mp4文件将url复制到浏览器访问会发现这就是视频的下载地址。那么问题就是这个地址从哪里来的呢我们可以通过搜索url中 的一些特殊的字符查看例如这些数字组合根据以往的经验判断这些数字串必然是这个视频的id而id必然就是唯一的存在。 但是如上图所示我们从响应页面去搜索的话是没有这个串的那么也就意味着我们代码去访问详情页的话是无法获取到这个视频的播放地址的。所以这里就需要我们好好想想这个请求的流程了。首先对于浏览器来说需要播放视频的时候那么浏览器肯定是要对视频地址请求的那请求的时候这个视频的播放地址必然在请求前已经是拿到了浏览器中所以播放前的播放地址必然是位于动态加载或者静态的某一个文件当中。那么我们就来进行全局搜索查看一下。 动态静态两边的文件都搜索一下最后在动态加载的包中找到了一个名为videoStatus.jsp的包在这里面我们发现了一个MP4的播放地址(这个地址是有坑的前面提过但是大家可以先不看后面的内容自己往后先写一下代码看看是否能够自己将这个坑填上)
所以就是说我们在下载之前需要先访问这个videoStatus.jsp来获取视频地址但是呢在访问这个videoStatus.jsp的时候会发现如下问题。 这个呢明显就是网站的一个小反爬手段了但是都不用去实践就知道问题必然是出在头信息里面同一个浏览器(浏览器本案例中没有清理过也没有重新打开过)从网站访问的时候是正常的但是复制url到新标签页访问就无法访问了这明显和防盗链就算没有100%的关系那也有个99%了所以这里将referer添加到请求头之后访问就能够成功了。
接下来说一下这个包中的播放地址的坑。
直接上对比请看下方两个url其中一个是访问videoStatus.jsp获取到的播放地址一个是我们从media中找到的播放地址。
https://video.pearvideo.com/mp4/adshort/20200909/1698642033243-1427-203145_adpkg-ad_hd.mp4https://video.pearvideo.com/mp4/adshort/20200909/cont-1696358-1427-203145_adpkg-ad_hd.mp4上面一个url是响应来的播放地址下面一个url是抓包分析是media中的地址将两个地址分别进行访问会发现上面个是无法访问的。
所以就需要我们手动将url进行修改才能够通过代码进行视频下载了。
这里处理起来也是比较容易得我们很容易发现不同点就在**/**分割后的最后一部分所以我们只需要将1698642033243改成cont-1696358就能够下载视频了
最后关于翻页翻页在本站中是动态页面加载的当我们往下翻翻到最底部的时候就会加载出新的页面所以我们就找到对应的参数进行修改即可。在本站中控制翻页的参数为start跨度为24只需要修改这个参数就OK老生常谈的东西就不在浪费字数浪费时间了。
完整代码请移步https://gitee.com/shuailiuquan/
