settings中的配置

DUPEFILTER_CLASS = “scrapy_redis.dupefilter.RFPDupeFilter” SCHEDULER = “scrapy_redis.scheduler.Scheduler” SCHEDULER_PERSIST = True

REDIS_HOST=‘192.168.72.137’ REDIS_PORT=6379 REDIS_PASSWORD=’’

spider中配置 。。。 。。。 。。。 from scrapy_redis.spiders import RedisCrawlSpider

class MypeopleSpider(RedisCrawlSpider): name = ‘mypeople’ allowed_domains = [‘people测试数据.cn’] # start_urls = [‘http://politics.people测试数据.cn/GB/1024/index1.html’] redis_key = “mypeople:start_url”

rules?=?(Rule(LinkExtractor(allow=("index(\d+).html")),?callback="get_parse",?follow=True),)

def?get_parse(self,?response):
	pass

scrapy-redis配置解释

SCHEDULER=“scrapy_redis.scheduler.Scheduler”

DUPEFILTER=“scrapy_redis.dupefilter.RFPDupeFilter”

# 链接redis

REDIS_HOST=‘192.168.72.137’

REDIS_PORT=6379

REDIS_PASSWORD=’’

#配置队列可以不写默认或是写三个中的一个

# SCHEDULER_QUEUE_CLASS=‘scrapy_redis.queue.PriorityQueue’

# SCHEDULER_QUEUE_CLASS=‘scrapy_redis.queue.FifoQueue’

SCHEDULER_QUEUE_CLASS=‘scrapy_redis.queue.LifoQueue’

#持久化配置 使用True的时候就是指纹队列爬取后不会清空否则自动清空默认是False

SCHEDULER_PERSIST=True

# 重爬配置 默认为False 如果持久配置为True那么中断再启动 爬虫队列和指纹队列 都不会清空 True时候会清空连续不上

# SCHEDULER_FLUSH_ON_START=True

# PIPELINE配置 默认不启动 启动的话 会把item存到redis中

# ITEM_PIPELINES={

# ‘scrapy_redis.pipelines.RedisPipeline’:300

# }

配置数据库存储

MONGO_URI=‘mongodb://admin:admin123@127.0.0.1:27017’

最好看源码 源码 https://github测试数据/rmax/scrapy-redis/tree/master/src/scrapy_redis

查看更多关于scrapy-redis的关键配置的详细内容...