小米范网站批量爬虫工具 1.4 中文免费版

小米范网站批量爬虫工具1.4中文免费版是一款不用写代码的网页批量数据采集工具，只支持Windows系统使用，采集到的内容能导出成TXT、CSV、Excel这几种常用格式。平时大家要批量收集网页上的文章内容、商品参数、图片链接这类公开数据，要么不会写爬虫代码搞不定，要么手动一条条复制费时间还容易出错，这个工具就能帮着不用写代码完成批量采集。我最喜欢它的可视化点选采集功能，对着要采集的网页点几下需要的内容区域，它就能自动识别同类元素批量爬取，不用自己琢磨复杂的采集规则，上手特别快。

这个版本是完全免费的，没

随便点击下面的任一个文件

出现如下界面时，点任意键运行。

打开软件界面后，点击新建任务，输入要检测的URL。

设置子域名白名单，属于白名单域名的URL则自动保留并进行抓取。
设置并发站点、并发线程等参数，点击开始即可。

工作流程
假设我们新建任务，放入100个URL作为爬虫的起始URL，那么具体的爬取过程如下：
1、针对这100个URL，按照是否同源进行合并，同源的URL则放入一个目标，并将这些URL作为这个源的起始URL。
2、针对每个目标进行爬取（默认并发5个目标），针对每个目标的起始URL采用浏览器点击抓包（默认每个目标最多开5个浏览器）+HTML解析的方式获取URL，浏览器点击在后台运行，没有界面，这里的浏览器点只是在点击后将发出去的请求URL记录，但并不真正发出去请求。
3、将前两步收集到的URL作为种子，进行传统的爬取，这里的爬取主要采用了webmagic框架，并对框架本身做了一点修改。另外每一个页面下载之前会进行爬取URL黑名单匹配，匹配到黑名单则跳过，下载到的每个页面提取出来的URL会进行子域名白名单匹配，匹配到白名单则会放入爬取队列。
针对爬到的URL可直接右键使用sqlmap、brutexss、panoptic、wvs进行安全检测，目前还在考虑再加入一些其他的检测工具。
此外也提供了目录扫描功能，在左侧树形结构的任意节点右键目录扫描会对当前选中节点所在的路径进行目录扫描。