当前位置: 首页 > news >正文

怎么给网站做跳转网络营销的概念和特点是什么

怎么给网站做跳转,网络营销的概念和特点是什么,成都科技网站建设电话多少钱,wordpress外观隐藏使用场景:半自动,一次性少量数据采集需求在工作中还是不少遇到的,无论使用模拟的方式,或者破解都不太划算。其实这种需求,使用半自动爬虫是最简单的。不需要考虑网站反爬虫的问题,因为你使用的就是真实的浏…

使用场景:半自动,一次性少量数据采集需求在工作中还是不少遇到的,无论使用模拟的方式,或者破解都不太划算。其实这种需求,使用半自动爬虫是最简单的。不需要考虑网站反爬虫的问题,因为你使用的就是真实的浏览器,不会通过代码来发起请求

  1. 从chrome获取har包
    首先打开浏览器的开发者工具,勾选上Perserve log复选框,如下图所示:
    在这里插入图片描述

然后刷新页面。注意一定要先打开开发者工具再刷新页面,顺序不能搞反了。接下来,你就正常往下滚动页面或者点击翻页按钮,滚到你不想滚为止。此时开发者工具里面已经有很多数据包了。如下图所示:

在这里插入图片描述

在任何一个数据包上面右键,选择Save all as HAR with content。就会把当前页面的所有数据包全部合并到一个 har 文件里面,如下图所示:
在这里插入图片描述
备注:如果遇到需要来回跳转的页面,可以使用抓包工具获取har,这个自己搜吧

  1. 示例代码,只需要按提示修改相关变量和函数即可运行
import json
import csv
import jsonpath
from haralyzer import HarParser
#功能: 解决一次性数据量不大的数据采集需求,通过chrome获取所有请求包,打包成har包,然后解析存储# har包获取方法:
# 1、打开chrome的检查,
# 2:勾选Network中的Preserve log,
# 3:刷新当前网页,点击下一页或者滑动,直到自己需要的数据加载完,
# 4: 点击右上角的下载图标,或者是选择任意一个请求,右击,点击’Save all as HAR with content‘# 代码使用方法: 按照需要修改har_file_path, url_keyword, csv_title_title三个变量,以及解析函数parser_har, 其他都不需要动def save_csv(title_list, data_list):'''保存数据到csv文件中'''data_list.insert(0, title_list)with open('result_csv.csv', 'w', encoding='utf-8-sig', newline='') as csvFile:writer = csv.writer(csvFile)# 写入多行用writerowswriter.writerows(data_list)print('组合数据运行结束, 结果文件result_csv.csv位于当前目录下')def read_har_file(har_file_path):'''读取指定路径的har文件'''har_parser = HarParser.from_file(har_file_path)data = har_parser.har_dataentries = data['entries']for entry in entries:yield entrydef crawle_har_to_csv(har_file_path, url_keyword, csv_title_title):'''主启动函数'''all_result_list = []for entry in read_har_file(har_file_path):url = entry['request']['url']if url.find(url_keyword) > -1:print(url)body = entry['response']if 'text' in body['content']:content = body['content']['text']info = json.loads(content)if sub_result_list := parser_har(info):all_result_list.extend(sub_result_list)save_csv(csv_title_title, all_result_list)#需要修改
def parser_har(json_content):'''解析har中的相关数据,这个需要根据具体返回内容进行修改'''result_list = []data_list = jsonpath.jsonpath(json_content, '$.data.content.offerList.*')if data_list:for offer in data_list:result_list.append([offer['subject'], offer['price']])return result_listelse:print('parser_har函数没有获取指定的data_list')return []if __name__ == '__main__':#har包地址, 需修改har_file_path = r'C:\Users\men\Desktop\milishipin.1688.com.har'#择选的请求唯一关键词,用来筛选关键词, 需修改url_keyword = 'mtop.1688.shop.data.get/1.0'#csv文件中的title列表, 需修改csv_title_title = ['名称', '价格']crawle_har_to_csv(har_file_path, url_keyword, csv_title_title)
http://www.hkea.cn/news/50857/

相关文章:

  • 做外贸网站需要请外贸文员吗网站seo诊断分析和优化方案
  • 百度网站怎么做的赚钱吗seo中文含义
  • 做网站界面的软件互联网培训
  • 电子商务网站建设与维护李建忠高级搜索引擎技巧
  • 做地产网站全网搜索软件
  • 网站开发培训班百度网站推广关键词怎么查
  • 东莞市做网站公司seo怎样
  • ps做网站大小尺寸应用商店优化
  • 网站站群建设方案知名网页设计公司
  • 广州网站建设公司哪家好专业的seo搜索引擎优化培训
  • 外国人做汉字网站seo搜索排名影响因素主要有
  • 外贸五金网站建设网站制作优化排名
  • 义乌网站建设多少钱网络平台营销
  • 怀仁有做网站的公司吗磁力搜索引擎2023
  • 建站行业都扁平化设计合肥网站推广公司哪家好
  • 做企业网站织梦和wordpress哪个好百度指数查询工具app
  • 郑州网站服务公司优化神马排名软件
  • 茶叶网站建设的优势南宁seo外包平台
  • 高古楼网站 做窗子北京seo技术交流
  • 南阳建设网站制作网络最有效的推广方法
  • 纯静态网站seoseo排名优化北京
  • 开封网站建设哪家好指数计算器
  • 网站开发 架构石家庄seo关键词排名
  • 可以免费做商业网站的cms百度seo霸屏软件
  • 哪家网站建设专业快速建站教程
  • 坪山网站建设行业现状优化seo方案
  • 做网站需要架构师吗网站平台有哪些
  • 网站建设丿选择金手指15凡科建站官网
  • 可以做外国网站文章武汉企业seo推广
  • 天津网站建设公司最好太原做网站哪家好