查看: 187|回复: 3

Scrapy爬虫301/302重定向处理与反爬绕过配置

[复制链接]
发表于 1 小时前 | 显示全部楼层 |阅读模式
用Scrapy抓取页面时,日志里经常出现这样一条调试信息:
  1. DEBUG: Redirecting (301/302) to <GET https://XXXX> refer https://XXXX
复制代码

请求被301或302重定向后,回调里拿不到预期的页面数据;有些站点还会把爬虫请求重定向到404提示页或验证码页,用来阻断采集。下面按“先改请求、再改全局配置、最后改spider属性”的顺序,把原文给出的几种处理方式梳理一遍,并说明各自适用场景。

一、先理解重定向为什么会导致取不到数据

Scrapy默认会过滤掉重复的请求URL,这是dont_filter参数的默认行为;当请求被301/302转到新地址后,后续请求可能被当成重复请求丢弃,于是即使重定向本身成功,也拿不到正常数据。另一方面,Scrapy默认只把200-300之间的状态码视为成功response,不在这个范围内的response需要显式声明才交给spider处理。反爬站点正是利用这一点,把请求重定向到404页或验证码页,让爬虫拿不到有效内容。

二、方案一:给Request加dont_filter=True

最直接的做法是在构造Request时添加dont_filter=True,绕过Scrapy对重复URL的默认过滤,这样即使发生重定向,请求也能正常发出并取到数据:
  1. yield Request(url, dont_filter=True, callback=self.parse)
复制代码

这个参数只解决“重复请求被过滤”的问题,不改变重定向本身是否跟随,也不改变状态码的处理范围,所以它通常和其他配置配合使用。

三、方案二:在settings.py中放行指定状态码

在Scrapy项目的settings.py中加入:
  1. HTTPERROR_ALLOWED_CODES = [301]
复制代码

HTTPERROR_ALLOWED_CODES用来指定spider能够处理的response返回值。写入该列表的状态码会被交给spider处理,不在列表中的非200状态码则被忽略。实际遇到302时,可以按同样方式把302一并加入列表,例如[301, 302],具体以站点返回的状态码为准。

四、方案三:在start_requests中禁止重定向并声明可处理状态码

当站点反复把爬虫请求重定向到404页或验证码页时,可以针对单个请求关闭自动重定向,同时声明该请求允许处理的response code:
  1. def start_requests(self):
  2.     for i in self.start_urls:
  3.         yield Request(i, meta={
  4.             'dont_redirect': True,
  5.             'handle_httpstatus_list': [301, 302]
  6.         }, callback=self.parse)
复制代码

这里的两个meta键含义不同:dont_redirect为True表示禁止重定向,请求停在第一次响应上;handle_httpstatus_list用来指定每个Request所允许的response code,让301/302这类状态码也能进入parse回调。相比全局设置,meta方式的粒度更细,适合只对部分入口URL做特殊处理。

五、方案四:在spider或CrawlSpider上声明handle_httpstatus_list

如果希望整个spider都处理某个异常状态码,可以直接在spider类上设置属性。例如要处理返回值为404的response:
  1. class MySpider(CrawlSpider):
  2.     handle_httpstatus_list = [404]
复制代码

spider属性与HTTPERROR_ALLOWED_CODES的区别在于作用范围:前者挂在具体spider上,后者写在settings.py里对项目生效。两者都是用来扩大spider可处理的response返回值范围,选择哪一个取决于需要影响的范围。

六、对照:requests中拒绝自动重定向并取Location

不用Scrapy而用requests模块时,遇到301/302可以关闭自动跟随,再从响应头里取重定向目标地址:
  1. html = requests.get(url, headers=headers, allow_redirects=False)
  2. return html.headers['Location']
复制代码

allow_redirects=False的含义是拒绝默认的301/302重定向,这样响应不会被自动跳到新地址,才能通过headers['Location']拿到重定向后的URL。这个思路和Scrapy里的dont_redirect一致,都是先截住重定向,再自行决定后续请求。

七、排查顺序与选择建议

遇到Redirecting日志时,先确认是重复请求被过滤还是状态码未被处理:前者加dont_filter=True;后者用HTTPERROR_ALLOWED_CODES或handle_httpstatus_list放行状态码。若站点存在反爬重定向,优先在start_requests的meta中设置dont_redirect与handle_httpstatus_list,把重定向目标暴露出来再判断是正常跳转还是拦截页。需要保留原始跳转地址做后续分析时,用requests的allow_redirects=False加Location头读取是更轻量的验证手段。所有配置都应围绕一个前提:只有落在spider可处理范围内的response才会进入回调,200-300之外的状态码必须显式声明。
回复

使用道具 举报

发表于 1 小时前 | 显示全部楼层

Re: Scrapy爬虫301/302重定向处理与反爬绕过配置

感谢楼主把重定向这个问题拆得这么细,之前看到日志里那行 Redirecting 确实容易慌,不知道是请求被吞了还是状态码没放行。按你说的排查顺序先区分“重复请求被过滤”还是“状态码未处理”,思路就清楚多了。我自己的体会是 dont_filter 和状态码放行确实经常被混为一谈,前者只影响请求是否重复发送,后者才决定 response 能不能进回调,两个一起用才比较稳。 另外想请教一下,如果同时在 settings.py 里写了 HTTPERROR_ALLOWED_CODES,又在单个 spider 上声明了 handle_httpstatus_list,这两者的作用范围是叠加还是覆盖?遇到反爬站点把请求重定向到验证码页时,按你方案三在 start_requests 里设置 dont_redirect 并放行 301/302,是不是就能在 parse 里直接看到跳转前的响应,再判断要不要继续跟?感觉这个粒度比全局配置更灵活,适合只处理入口 URL 的场景。 最后 requests 那段用 allow_redirects=False 配合 Location 头做验证也很实用,轻量、不依赖 Scrapy 项目,排查跳转目标时很方便。整体梳理收获很大,收藏了。
回复 支持 反对

使用道具 举报

发表于 1 小时前 | 显示全部楼层

Re: Scrapy爬虫301/302重定向处理与反爬绕过配置

这篇梳理挺实用,顺序也清楚。遇到 Redirecting 日志时,先分清是重复请求被过滤,还是 301/302 状态码没进入回调,这点很关键。dont_filter=True 只解决重复过滤,不改变是否跟随重定向;HTTPERROR_ALLOWED_CODES 和 handle_httpstatus_list 则是扩大可处理状态码范围,前者全局、后者更细粒度。反爬场景下,在 start_requests 的 meta 里同时设置 dont_redirect 和 handle_httpstatus_list 比较适合先截住跳转、看目标地址到底是正常页面还是验证码或 404 页。实际排查时我也倾向于先对单个入口 URL 做小范围测试,确认 Location 的性质后再决定是否全局放行,避免把拦截页当正常数据解析。requests 的 allow_redirects=False 加 Location 头也适合做轻量验证。整体思路可以照着排查。
回复 支持 反对

使用道具 举报

发表于 1 小时前 | 显示全部楼层

Re: Scrapy爬虫301/302重定向处理与反爬绕过配置

感谢整理,排查顺序“先请求、再全局配置、最后spider属性”这个思路很实用,尤其是把重定向取不到数据拆成“重复请求被过滤”和“状态码没被放行”两类原因,比一上来就乱加配置清晰多了。 补充两个自己踩过的坑:一是dont_filter=True要谨慎用,列表页翻页或者表单提交场景下容易把同一URL反复抓,最好只对特定入口加,或者配合去重逻辑一起看;二是meta里的handle_httpstatus_list优先级比settings里的HTTPERROR_ALLOWED_CODES高,调试时可以先在单个Request上用meta局部验证,确认没问题再决定要不要全局放开,不然容易影响其他spider。 另外requests那段取Location时,如果响应头返回的是相对路径,直接拿去请求会报错,记得用urljoin拼一下完整地址。反爬重定向到验证码页那种情况,光放行301/302可能还不够,通常还得看cookie和UA是不是已经被标记了,必要时配合代理或请求间隔调整。 整体梳理得很系统,收藏了,后面遇到Redirecting日志就按这个顺序排查。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

指导单位

江苏省公安厅

江苏省通信管理局

浙江省台州刑侦支队

DEFCON GROUP 86025

Hacking Group 021A

旗下站点

态势感知中心

应急响应中心

红盟安全

联系我们

官方QQ群:112851260

官方邮箱:security#ihonker.org(#改成@)

官方核心成员

关注微信公众号

Archiver|手机版|小黑屋| ( 沪ICP备2021026908号 )

GMT+8, 2026-11-18 08:44 , Processed in 0.024690 second(s), 18 queries , Gzip On, Redis On.

Powered by ihonker.com

Copyright © 2015-现在.

  • 返回顶部