分布式

当项目规模变大,单机的scrapy采集速度会成为瓶颈,这时候就需要分布式采集

scrapy-redis