Scrapy网页抓取实战：项目创建、爬虫编写与MongoDB存储

脚本专家

Scrapy 是 Python 生态中主流的高性能网页抓取框架，内置异步 I/O 和并发请求处理，适合大规模数据采集。本文从头搭建一个完整项目，覆盖安装配置、项目结构、爬虫编写、分页逻辑、数据导出、动态内容处理以及通过 Pipeline 将抓取结果存入 MongoDB。

2. pip install scrapy
3. scrapy version

复制代码

安装完成后执行 scrapy version 验证版本号。

创建项目并理解目录结构：

2. scrapy startproject myproject
3. cd myproject

复制代码

生成的结构中，scrapy.cfg 是项目配置文件，myproject/ 下包含 items.py（定义数据字段）、middlewares.py（中间件）、pipelines.py（数据存储逻辑）、settings.py（项目设置）、spiders/（存放爬虫脚本）。

编写第一个 Spider：在 myproject/spiders/ 下创建 quotes_spider.py。该爬虫抓取 quotes.toscrape.com 上的名言、作者和标签，并支持分页跟进。

2. import scrapy
4. class QuotesSpider(scrapy.Spider):
5.     name = "quotes"
6.     start_urls = ['http://quotes.toscrape.com']
8.     def parse(self, response):
9.         for quote in response.css('div.quote'):
10.             yield {
11.                 'text': quote.css('span.text::text').get(),
12.                 'author': quote.css('span small::text').get(),
13.                 'tags': quote.css('div.tags a.tag::text').getall(),
14.             }
15.         next_page = response.css('li.next a::attr(href)').get()
16.         if next_page:
17.             yield response.follow(next_page, self.parse)

复制代码

运行爬虫并导出数据：

2. scrapy crawl quotes -o quotes.json

复制代码

JSON、CSV、XML 均可通过 -o 参数指定。

优化设置：在 settings.py 中修改 USER_AGENT 避免被屏蔽，调整 CONCURRENT_REQUESTS 控制并发数，设置 DOWNLOAD_DELAY 降低服务器压力。

2. USER_AGENT = 'myproject (+http://www.yourdomain.com)'
3. CONCURRENT_REQUESTS = 16
4. DOWNLOAD_DELAY = 1

复制代码

处理动态内容：Scrapy 本身无法执行 JavaScript，需集成 Scrapy-Splash。安装 pip install scrapy-splash 后，在 settings.py 添加中间件和去重过滤器。

2. DOWNLOADER_MIDDLEWARES = {
3.     'scrapy_splash.SplashCookiesMiddleware': 723,
4.     'scrapy_splash.SplashMiddleware': 725,
5.     'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
6. }
7. SPIDER_MIDDLEWARES = {
8.     'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
9. }
10. DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
11. HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'

复制代码

数据持久化：通过 Pipeline 将抓取结果存入 MongoDB。安装 pymongo：

2. pip install pymongo

复制代码

编辑 pipelines.py：

2. import pymongo
4. class MongoPipeline:
5.     def open_spider(self, spider):
6.         self.client = pymongo.MongoClient("mongodb://localhost:27017/")
7.         self.db = self.client["scrapy_db"]
9.     def close_spider(self, spider):
10.         self.client.close()
12.     def process_item(self, item, spider):
13.         self.db["quotes"].insert_one(dict(item))
14.         return item

复制代码

在 settings.py 中激活 Pipeline：

2. ITEM_PIPELINES = {
3.     'myproject.pipelines.MongoPipeline': 300,
4. }

复制代码

至此，一个完整的 Scrapy 抓取项目已搭建完成，从静态页面到动态渲染，再到数据库存储，满足了常见的生产级数据采集需求。

热心网友1

感谢楼主分享这么详细的实战教程！从环境搭建到分页、动态内容处理，再到 MongoDB 存储，整个流程清晰连贯，对新手特别友好。尤其那个 Pipeline 的代码可以直接拿来用，省了不少配置时间。想问下，对于动态内容的处理，除了集成 Splash，楼主有没有试过用 Selenium 或者 Playwright 搭配 Scrapy？如果有的话，能否分享一下性能或稳定性方面的对比？再次感谢！

热心网友1

感谢楼主的详细分享！从项目搭建到数据存储，流程讲得很清楚，特别是分页处理、动态内容集成和MongoDB Pipeline的配置，对新手特别友好。我最近也在用Scrapy抓数据，关于Splash那部分，想问一下如果目标网站有反爬机制，除了调整User-Agent和延迟，楼主还有没有其他常用的反反爬技巧？比如代理IP或者Cookie的处理？期待更多实战经验！

热心网友1

楼主的教程写得很清晰，从安装配置到项目结构、爬虫编写、分页、动态内容处理再到 MongoDB 存储，一气呵成，很适合新手照着一步步操作。特别是 Pipeline 的写法简洁明了，对生产环境很有参考价值。 有个小疑问想请教：如果目标网站需要登录或验证码，通常的集成方式是什么？是在 middleware 里处理 Cookie 吗，还是用其他方式？希望楼主有空能再分享下这方面的实战经验。