用Scrapy抓取页面时,日志里经常出现这样一条调试信息:
- DEBUG: Redirecting (301/302) to <GET https://XXXX> refer https://XXXX
复制代码
请求被301或302重定向后,回调里拿不到预期的页面数据;有些站点还会把爬虫请求重定向到404提示页或验证码页,用来阻断采集。下面按“先改请求、再改全局配置、最后改spider属性”的顺序,把原文给出的几种处理方式梳理一遍,并说明各自适用场景。
一、先理解重定向为什么会导致取不到数据
Scrapy默认会过滤掉重复的请求URL,这是dont_filter参数的默认行为;当请求被301/302转到新地址后,后续请求可能被当成重复请求丢弃,于是即使重定向本身成功,也拿不到正常数据。另一方面,Scrapy默认只把200-300之间的状态码视为成功response,不在这个范围内的response需要显式声明才交给spider处理。反爬站点正是利用这一点,把请求重定向到404页或验证码页,让爬虫拿不到有效内容。
二、方案一:给Request加dont_filter=True
最直接的做法是在构造Request时添加dont_filter=True,绕过Scrapy对重复URL的默认过滤,这样即使发生重定向,请求也能正常发出并取到数据:
- yield Request(url, dont_filter=True, callback=self.parse)
复制代码
这个参数只解决“重复请求被过滤”的问题,不改变重定向本身是否跟随,也不改变状态码的处理范围,所以它通常和其他配置配合使用。
三、方案二:在settings.py中放行指定状态码
在Scrapy项目的settings.py中加入:
- HTTPERROR_ALLOWED_CODES = [301]
复制代码
HTTPERROR_ALLOWED_CODES用来指定spider能够处理的response返回值。写入该列表的状态码会被交给spider处理,不在列表中的非200状态码则被忽略。实际遇到302时,可以按同样方式把302一并加入列表,例如[301, 302],具体以站点返回的状态码为准。
四、方案三:在start_requests中禁止重定向并声明可处理状态码
当站点反复把爬虫请求重定向到404页或验证码页时,可以针对单个请求关闭自动重定向,同时声明该请求允许处理的response code:
- def start_requests(self):
- for i in self.start_urls:
- yield Request(i, meta={
- 'dont_redirect': True,
- 'handle_httpstatus_list': [301, 302]
- }, callback=self.parse)
复制代码
这里的两个meta键含义不同:dont_redirect为True表示禁止重定向,请求停在第一次响应上;handle_httpstatus_list用来指定每个Request所允许的response code,让301/302这类状态码也能进入parse回调。相比全局设置,meta方式的粒度更细,适合只对部分入口URL做特殊处理。
五、方案四:在spider或CrawlSpider上声明handle_httpstatus_list
如果希望整个spider都处理某个异常状态码,可以直接在spider类上设置属性。例如要处理返回值为404的response:
- class MySpider(CrawlSpider):
- handle_httpstatus_list = [404]
复制代码
spider属性与HTTPERROR_ALLOWED_CODES的区别在于作用范围:前者挂在具体spider上,后者写在settings.py里对项目生效。两者都是用来扩大spider可处理的response返回值范围,选择哪一个取决于需要影响的范围。
六、对照:requests中拒绝自动重定向并取Location
不用Scrapy而用requests模块时,遇到301/302可以关闭自动跟随,再从响应头里取重定向目标地址:
- html = requests.get(url, headers=headers, allow_redirects=False)
- return html.headers['Location']
复制代码
allow_redirects=False的含义是拒绝默认的301/302重定向,这样响应不会被自动跳到新地址,才能通过headers['Location']拿到重定向后的URL。这个思路和Scrapy里的dont_redirect一致,都是先截住重定向,再自行决定后续请求。
七、排查顺序与选择建议
遇到Redirecting日志时,先确认是重复请求被过滤还是状态码未被处理:前者加dont_filter=True;后者用HTTPERROR_ALLOWED_CODES或handle_httpstatus_list放行状态码。若站点存在反爬重定向,优先在start_requests的meta中设置dont_redirect与handle_httpstatus_list,把重定向目标暴露出来再判断是正常跳转还是拦截页。需要保留原始跳转地址做后续分析时,用requests的allow_redirects=False加Location头读取是更轻量的验证手段。所有配置都应围绕一个前提:只有落在spider可处理范围内的response才会进入回调,200-300之外的状态码必须显式声明。 |