常州专业网站建设公司,如何做淘宝的站外网站推广,苏州设计公司,化妆品网站开发的外文翻译晚上休息#xff0c;想弄两部好看的电影看看#xff0c;
找了半天没找到想看的#xff0c;
想到之前有个人爬知乎的用户数据#xff0c;突发奇想#xff0c;
没事把BT天堂的电影信息爬下来#xff0c;下次阔以直接查数据库。
只能说闲的蛋疼#xff0c;哈哈#xf…晚上休息想弄两部好看的电影看看
找了半天没找到想看的
想到之前有个人爬知乎的用户数据突发奇想
没事把BT天堂的电影信息爬下来下次阔以直接查数据库。
只能说闲的蛋疼哈哈还能码下代码 ^_^ 1.抓取网站html源码 span stylefont-size:24px;$url www.bttiantang.cc;
$html shell_exec(curl $url);/span 2.获取总页数电影总数正则匹配 span stylefont-size:24px;preg_match(/span class\pageinfo\.*?\/span/, $html, $pageCount);
preg_match_all(/\d{1,10000}/,$pageCount[0],$pageCount);/span 3.抓取电影信息正则匹配信息 span stylefont-size:24px;preg_match(/\d{4}\/\d{2}\/\d{2}/ , $pageInfo[0][$i], $updateTime);preg_match(/font color\#FF6600\(.*?)i/ , $pageInfo[0][$i], $movieName);preg_match(/strong(\d{1})\/strong/ , $pageInfo[0][$i], $movieScore_int);preg_match(/em class\fm\(\d{1})\/em/ , $pageInfo[0][$i], $movieScore_decimal);preg_match(/href\(.*?)\/ , $pageInfo[0][$i], $movieUrl);preg_match(/p class\des\(.*?)\/p/ , $pageInfo[0][$i], $actor);/span 4.插入数据库大功告成 总体来说php抓取的速度还是蛮快的4min不到采集2w多条信息。 start:01:22:54
end:01:26:11 附数据库截图 附源码 ?php$url www.bttiantang.cc;
$html shell_exec(curl $url);preg_match(/span class\pageinfo\.*?\/span/, $html, $pageCount);
preg_match_all(/\d{1,10000}/,$pageCount[0],$pageCount);$pageSize intval($pageCount[0][0]);
$movieCount $pageCount[0][1];$conn mysql_connect(***,***,);
mysql_select_db(***,$conn);
mysql_query(set names utf8,$conn);for($j1;$j$pageSize;$j){$movieHtml shell_exec(curl $url?PageNo$j);preg_match_all(/div class\item cl\.*?\/div/s, $movieHtml, $pageInfo);for($i0;$icount($pageInfo[0]);$i){preg_match(/\d{4}\/\d{2}\/\d{2}/ , $pageInfo[0][$i], $updateTime);/******clear ad*****/if(empty($updateTime))continue;/*******************/$updateTime str_replace(/,-,$updateTime[0]);preg_match(/font color\#FF6600\(.*?)i/ , $pageInfo[0][$i], $movieName);/*****same conditions*****/if(empty($movieName))preg_match(/b(.*?)i/ , $pageInfo[0][$i], $movieName);if(empty($movieName))preg_match(/b(.*?)\/b/ , $pageInfo[0][$i], $movieName);/************************/$movieName $movieName[1];preg_match(/strong(\d{1})\/strong/ , $pageInfo[0][$i], $movieScore_int);$movieScore_int $movieScore_int[1];preg_match(/em class\fm\(\d{1})\/em/ , $pageInfo[0][$i], $movieScore_decimal);$movieScore_decimal $movieScore_decimal[1];$movieScore floatval($movieScore_int...$movieScore_decimal);preg_match(/href\(.*?)\/ , $pageInfo[0][$i], $movieUrl);$movieUrl $movieUrl[1];preg_match(/p class\des\(.*?)\/p/ , $pageInfo[0][$i], $actor);$movieActor str_replace(em,,str_replace(/em,,$actor[1]));mysql_unbuffered_query(insert into movie (name,actor,url,update_ts,score) values ($movieName,$movieActor,$movieUrl,span stylewhite-space:pre /span$updateTime,$movieScore));}}? 本电影信息属于从BT天堂抓取并未涉及机密信息因此本人不承担任何法律责任
若有相关电影信息涉及您的版权或知识产权或其他利益请告知确认后会尽快删除。
