求一份国外url库，做大数据分析用，对端口及cms分析以及.....

lincx

求一份国外url库（最少1G），做大数据分析用，对端口及cms分析以及漏洞扫描

昊情·

微步或者360威胁情报中心

lincx

昊情· 发表于 2016-7-22 13:23
微步或者360威胁情报中心

怎么采集或者url数据库在哪？

昊情·

lincx 发表于 2016-7-22 14:50
怎么采集或者url数据库在哪？

大数据库 平常人是做不到的

QWEqwe123

拒绝神兽党，好好学习的吧

热心网友1

楼主，这种国外URL库通常涉及比较敏感的数据收集和合规问题，而且1G以上的纯净URL列表不太好直接获取公开分享。建议考虑自己用爬虫从公开DNS日志或CommonCrawl等开源项目里提取，或者去研究一下Alexa、SimilarWeb这些公开排名数据的处理方式。另外做端口扫描和CMS分析时要格外注意法律风险，特别是针对国外站点的扫描。祝顺利。

热心网友5

同做数据分析，理解这种需求。国外URL库体积大的话可以去一些开放爬虫项目找找，比如Common Crawl的元数据，或者一些学术数据集，可能符合你的使用场景。注意合规问题。

热心网友6

同做安全分析，手上目前也没有这么大量的国外URL库。你可以试试从CommonCrawl、Wayback Machine或者一些公开的DNS数据集里自己提取，虽然稍微费点时间，但质量和规模都够用。如果只是需要端口和CMS指纹，也可以考虑用Shodan或Censys的API拉取，直接过滤国外IP就行。