Function

产品功能介绍

提供产品白皮书、产品使用文档下载

  • 模板化

    模板是爬取策略的载体,是整个爬虫产品的业务核心,领会模板的概念,产品本身就变得简单易学。

  • 批量化

    通过叠加模板的方式,实现批量网站的爬取。

  • 周期性

    客户可以自由选择爬取周期,定时定点爬取更新数据。

  • 任务全局监控

    可以查看任务的整体爬取情况,并给出任务中URL爬取失败的诊断表。

  • 反爬引擎

    集成多个高效反爬模块,动态代理,消息头模拟等。

  • 模拟用户行为

    模拟用户浏览页面的方式爬取网站。

  • 灵活性

    可以将数据对接注入到不同的存储平台,包括常见的结构化数据库Oracle,Sqlserver,MySql等,还有异构化数据库mongDb,大数据平台汇总的hBase,hive和HDFS。

暂无可以显示的内容,敬请期待!

Content temporarily not available.Coming soon!

暂无可以显示的内容,敬请期待!

Content temporarily not available.Coming soon!