天气预报网站开发,山东建设监理协会继续教育网站,烟台建设局网站,做国际物流需要哪些网站安装scrapy
pip install scrapy创建scrapy项目#xff0c;需要在终端里创建 注意#xff1a;项目的名字开头不能是数字#xff0c;也不能包含中文
scrapy startproject 项目名称
示例#xff1a;
scrapy startproject scra_baidu_36创建好后的文件 3. 创建爬虫文件…安装scrapy
pip install scrapy创建scrapy项目需要在终端里创建 注意项目的名字开头不能是数字也不能包含中文
scrapy startproject 项目名称
示例
scrapy startproject scra_baidu_36创建好后的文件 3. 创建爬虫文件 要在spider文件里面创建爬虫文件 先在终端中cd到spider文件里 创建爬虫文件
scrapy genspider 爬虫文件名 要爬取的网页
示例
scrapy genspider baidu http://www.baiud.com创建的爬虫文件内容 name 爬虫的名字用于运行爬虫的时候使用的值 allowed_domains 允许访问的域名 start_urls 起始url地址指的是第一次要访问的域名 parse 是执行了start_urls之后执行的方法方法中的response就是返回的那个对象
运行爬虫文件 写一个print()
在终端输入
scrapy crawl 爬虫的名字
示例
scrapy crawl baidu但是运行完并没有给我们返回任何数据 这是因为有robots协议 解决办法只需要在settings.py文件里把 ROBOTSTXT_OBEY True 给注释掉就可以了(或者把True改成False也可以) 然后再重新运行一遍就可以获取到数据了
