数据采集器 (二)
用来批量采集网页,论坛等的内容,直接保存到数据库或发布到网络的一种信息化工具。可以根据用户设定的规则自动采集原网页,获取格式网页中需要的内容,现在发展成也可以对数据进行处理的工具(系统)。下面以最通用乐思(Knowlesys)数据采集器为例来做性能和应用介绍。
数据采集器 系统特点
本系统最大的特点是:采集方法的灵活性与采集数据的准确性
灵活性:任何复杂的查询与页面布局都可以灵活处理
准确性:结果数据高度准确(99%-100%)
对目标网站进行信息自动抓取,支持HTML页面内各种数据的采集,如文本信息,URL,数字,日期,图片等
数据采集器 用户对每类信息自定义来源与分类
可以下载图片与各类文件
支持用户名与密码自动登录
支持命令行格式,可以Windows任务计划器配合,定期抽取目标网站
数据采集器 支持记录唯一索引,避免相同信息重复入库
支持智能替换功能,可以将内容中嵌入的所有的无关部分如广告去除
支持多页面文章内容自动抽取与合并
支持下一页自动浏览功能
支持直接提交表单
支持模拟提交表单
支持动作脚本
支持从一个页面中抽取多个数据表
支持数据的多种后期处理方式
数据采集器 数据直接进入数据库而不是文件中,因此与利用这些数据的网站程序或者桌面程序之间 没有任何耦合
支持数据库表结构完全自定义,充分利用现有系统
支持多个栏目的信息采集可用同一配置一对多处理
保证信息的完整性与准确性,绝不会出现乱码
支持所有主流数据库:MS SQL Server, Oracle, DB2, MySQL, Sybase, Interbase, MS Access等
相关信息: