我的世界有什么做的视频网站,提升学历正规渠道,滕州盛扬网络公司网站建设推广,网站内容优化技巧l 采集场景
【场景描述】采集东方财富网行情中心沪深京A股数据。
【使用工具】前嗅ForeSpider数据采集系统#xff0c;免费下载:
ForeSpider免费版本下载地址 l采集网站
【入口网址】
http://quote.eastmoney.com/center/gridlist.html#hs_a_board
【采集内容】
采集行… l 采集场景
【场景描述】采集东方财富网行情中心沪深京A股数据。
【使用工具】前嗅ForeSpider数据采集系统免费下载:
ForeSpider免费版本下载地址 l采集网站
【入口网址】
http://quote.eastmoney.com/center/gridlist.html#hs_a_board
【采集内容】
采集行情中心沪深京A股中的所有数据。 【采集效果】如下图所示 l采集思路 l配置步骤
1. 新建采集任务
选择【采集配置】点击任务列表右上方【】号可新建采集任务将采集入口地址填写在【采集地址】框中【任务名称】自定义即可点击下一步。 2.观察翻页请求链接
①在浏览器中打开该页面点击不同的翻页观察左上角页面链接发现没有变化。说明翻页中的数据在请求链接中。 ②点击F12,如下图所示操作先清空所有请求点击任意一个翻页右侧出现对应请求链接。打开请求的Preview看到有表格中的数据。说明该请求为该翻页对应的请求链接。 右击该请求可复制链接。 ③将复制的链接粘贴到文档中并用同样的方法再获取另外两个翻页链接观察翻页请求链接规律如下所示 3.拼取翻页请求链接
①选中链接抽取打开脚本窗口。 ②写一个for循环拼取翻页请求链接。 脚本文本如下所示
url u;//定义一个链接取值
for(int i1;i 50;i) //设定翻页总数50
{
u.title URL.title_i.ToStr();//返回链接标题为当前链接_第i页
u.urlname http://42.push2.eastmoney.com/api/qt/clist/get?cbjQuery1124005285923334703457_1642750942461pnipz20po1np1utbd1d9ddb04089700cf9c27f6f7426281fltt2invt2fidf3fsm:0t:6,m:0t:80,m:1t:2,m:1t:23,m:0t:81s:2048fieldsf1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f12,f13,f14,f15,f16,f17,f18,f20,f21,f23,f24,f25,f22,f11,f62,f128,f136,f115,f152_time(time.GetTime()).ToStr().Left( )%2017:27:240000;//根据请求链接规律拼取链接
u.entryid CHANN.id;//返回链接id
u.tmplid 2;//关联模板02
RESULT.AddLink(u);//结束返回链接
} ③采集预览查看链接是否正确复制任意一条链接并在浏览器中打开该链接。 如下图所示源码中包含该翻页的数据内容则表示请求链接配置正确可继续下一步操作。 4.抽取数据
①新建模板02在其下新建一个数据抽取如下图所示 ②新建数据表具体如下图所示 ④关联数据表 ⑤打开脚本窗口新建数据抽取脚本。 ⑥打开浏览器观察源码发现页面表格中的数据在页面源码的json串中在data中的diff数组中每个数值对应一行数据。每行数据分别在f1——f152对应的数值中。 根据数据所在位置规律编写脚本如下所示 脚本文本
var strDOM.GetSource().ToStr();//获取请求链接中所有的源码var str_secstr.Middle(data:,}));//获取data后的数组内容jScript js;//定义一个jsvar obj js.RunJson(str_sec);//运行数组var dataobj.diff;//定义data为diff数组for(var i0;i20;i){//有20个数值所以写一个for循环来获取这些数值的内容record re;//定义返回值固定搭配re.idURL.title.Right(_)i;//id为当前链接标题中_后数值ire.f1data[i].f1;//返回f1为data数组中的第i个数值中的f1值re.f2data[i].f2;//返回f1为data数组中的第i个数值中的f2值re.f3data[i].f3;//返回f1为data数组中的第i个数值中的f3值re.f4data[i].f4;re.f5data[i].f5;re.f6data[i].f6;re.f7data[i].f7;re.f8data[i].f8;re.f9data[i].f9;re.f10data[i].f10;re.f11data[i].f11;re.f12data[i].f12;re.f13data[i].f13;re.f14data[i].f14;re.f15data[i].f15;re.f16data[i].f16;re.f17data[i].f17;re.f18data[i].f18;re.f20data[i].f20;re.f21data[i].f21;re.f22data[i].f22;re.f23data[i].f23;re.f24data[i].f24;re.f25data[i].f25;re.f62data[i].f62;re.f115data[i].f115;re.f128data[i].f128;re.f140data[i].f140;re.f141data[i].f141;re.f136data[i].f136;re.f152data[i].f152;RESULT.AddRec(re,this.schemaid);//结束返回一个数据固定搭配} ⑥采集预览
发现数据都采集出来了说明配置成功。 l采集步骤
模板配置完成采集预览没有问题后可以进行数据采集。
1.建立数据表单
选择【数据建表】点击【表单列表】中该模板的表单在【关联数据表】中选择【创建】表名称自定义这里命名为【dong】注意命名不能用数字和特殊符号点击【确定】。创建完成勾选数据表并点击右上角保存按钮。 2.开始采集
选择【数据采集】勾选任务名称点击【开始采集】则正式开始采集。 3.导出数据
采集结束后可以在【数据浏览】中选择数据表查看采集数据并可以导出数据。 4.导出的文件打开如下图所示 *本教程仅供教学使用严禁用于商业用途 l 前嗅简介
前嗅大数据国内领先的研发型大数据专家多年来致力于为大数据技术的研究与开发自主研发了一整套从数据采集、分析、处理、管理到应用、营销的大数据产品。前嗅致力于打造国内第一家深度大数据平台
