照片做视频的网站,凡科网账号怎么注销,温州网站开发平台,wordpress移动主题puck在scrapy中使用scrapy-rabbitmq-scheduler会出现报错
ModuleNotFoundError: No module named scrapy.utils.reqser原因是新的版本的scrapy已经摒弃了该方法,但是scrapy-rabbitmq-scheduler 没有及时的更新,所以此时有两种解决方法 方法一.将scrapy回退至旧版本,找到对应的旧版…在scrapy中使用scrapy-rabbitmq-scheduler会出现报错
ModuleNotFoundError: No module named scrapy.utils.reqser原因是新的版本的scrapy已经摒弃了该方法,但是scrapy-rabbitmq-scheduler 没有及时的更新,所以此时有两种解决方法 方法一.将scrapy回退至旧版本,找到对应的旧版本
方法二.更改scrapy-rabbitmq-scheduler的源码,我已经重新发了新版本的包
pip install scrapy-rabbitmq-task
然后再次尝试运行代码,发现代码已正常 其他配置都不改变
在spider爬虫文件文件添加 # 请求队列queue_name scrape# 结果队列items_key scrape.resultcustom_settings {COOKIES_ENABLED: False,# 指定重试的http状态码(重新加回队列重试)SCHEDULER_REQUEUE_ON_STATUS :[500],SCHEDULER: scrapy_rabbitmq_scheduler.scheduler.SaaS,RABBITMQ_CONNECTION_PARAMETERS: amqp://acount:1112024127.0.0.1:5672/?heartbeat0,MEDIA_ALLOW_REDIRECTS: True,RABBITMQ_CONFIRM_DELIVERY: False,ALLOW_REDIRECTS: True,RETRY_ENABLED: True,RETRY_TIMES: 5,DOWNLOAD_TIMEOUT: 50,RETRY_HTTP_CODES: [429, 304, 500, 503],# 指定下载器中间件, 确认任务是否成功DOWNLOADER_MIDDLEWARES: {scrapy_rabbitmq_scheduler.middleware.RabbitMQMiddleware: 999},# 指定item处理方式, item会加入到rabbitmq中ITEM_PIPELINES: {scrapy_rabbitmq_scheduler.pipelines.RabbitMQPipeline: 301,},FILTER_EMPTY_ITEM: True,}
问题解决
注:我这里采用版本是Scrapy2.11.2
