D1296 功能强大的开源源码蓝天采集器-网站采集小能手

 

源码介绍:

功能强大的开源源码蓝天采集器-网站采集小能手。

一款运行在web服务器上的采集器:蓝天采集器部署在web服务器上的采集器

相比市面上的火车头等桌面端采集器,可以大大降低上手成本,

而且更加简便,最重要的是完全开源。

D1296 功能强大的开源源码蓝天采集器-网站采集小能手插图

将下载的软件上传至您的服务器,如果根目录有站点建议放在子目录里,解压后打开浏览器输入您的服务器域名或ip地址(存放在子目录则加上子目录的名称),进入安装界面

点击任务底部进度条的“采集器设置”进入规则编辑界面

  • 输入采集规则名称和目标网站编码(可自动检测)
  • 页面渲染:自动加载出ajax内容,适用于js脚本较多的页面
  • 自动补全网址:将网页中的相对地址(不包含域名的网址)转为绝对网址(包含域名)
  • 网址不排重:默认会将采集过的内容页排重处理,不排重适用于更新频繁的动态页面
  • 请求头信息:以适应需要登录的、手机浏览的等界面,可分别设置抓取页面和下载图片的请求头信息

[ad_2]

免责声明:
1. 本站所有资源均来于网络收集,分享目的仅供参考与学习和研究传播,大家请在下载后24小时内删除,一切关于该资源商业行为和违法行为与本站无关!
2. 分享目的仅供大家学习和交流,不得使用于非法商业用途,不得违反国家法律,否则后果自负!
3. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
4. 如有链接无法下载、失效或广告,请联系站长处理!
5. 本站不售卖代码,资源标价只是站长收集整理的辛苦费!如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务!
6. 请勿将该软件程序进行商业交易、转载、违法运营 等行为,该软件只为研究、学习所提供,该软件程序使用后发生的一切问题与本站无关!
7. 若本程序源码侵犯了您的权益,请及时联系我们予以删除!
附:根据2013年1月30日《计算机软件保护条例》新规定:第十七条 为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。 鉴于此,希望大家按此说明学习以及研究程序软件! 切勿商用,切勿违法使用!!!否则后果自行承担!
http://www.gov.cn/zhengce/2020-12/26/content_5574414.htm

95源码模板下载 » D1296 功能强大的开源源码蓝天采集器-网站采集小能手

本站资源网,由老程序员细心甄别、精心筛选,只为提供优质的资源

网站介绍 联系我们