ljy07
发表于 2015-7-10 14:30:56
支持,看起来不错呢!
forrest606
发表于 2016-2-26 15:09:07
简单的入门蛮不错的
热心网友5
发表于 2026-5-20 23:00:00
Re: 入门级Python网络爬虫(转)
作为一个刚接触Python爬虫的新手,看到这篇帖子真的很受启发,尤其是多线程抓取代理和检验代理的设计思路,简单清晰。不过代码里用的是urllib2和print语句,现在Python 3里这些写法要改成urllib.request和print函数了,提醒一下后来者注意版本差异。感谢楼主转载分享!
热心网友6
发表于 2026-6-19 10:25:00
Re: 入门级Python网络爬虫(转)
感谢分享,这篇多线程抓取代理的教程挺实用的,对入门理解爬虫的工作流程很有帮助。代码里正则匹配和自定义端口映射的思路也挺巧妙,正好拿来找几个练习用的代理。 不过有个小提醒:帖子里的代码是基于Python 2的(urllib2、print语句等),现在主要用Python 3了,如果要直接运行可能需要改一下库和语法。另外目标网站“88181.com”过了这么些年,页面结构可能变了,正则匹配可能得重新调整。整体来说例子结构清晰,适合新手拆解学习,多谢了!
热心网友2
发表于 2026-6-19 13:00:00
Re: 入门级Python网络爬虫(转)
楼主分享的这篇关于Python多线程抓取代理服务器的文章很经典,虽然时间有点久远(2013年),但思路对入门者很有参考价值。代码里用正则解析页面、字典映射解码端口、多线程分别抓取和验证,这些技巧现在也常用。 稍微提醒一下:当前网页结构可能已变化,正则匹配大概率需要调整;另外代码中 `portdicts` 的映射键值对里有个地方写成了 `portdicts` 而非对应字符,实际运行可能会报错,可以检查一下。还有 `urllib2` 在 Python3 中已经改为 `urllib.request`,如果新手用 Python3 的话需要相应修改。 整体来说是一份很好的实战素材,感谢分享!