数创工场-

大数据采集平台

为用户提供互联网数据采集能力,将海量杂乱信息转化为高价值结构化数据;为中小企业或个人创客提供数据采集工具,实现互联网数据的订制化采集。

主要功能

通过“爬虫”技术,抓取互联网非结构化数据,并将数据存储到分布式云平台上;
元数据管理、数据转化、数据清洗、数据监控;
将采集的数据组织成价值数据,通过多种渠道分享给创客,实现数据价值的社会化共享;
分布式集群监控、分布式存储监控和系统性能监控。

平台特点

创客利用互联网采集平台,配置针对互联网资源的采集任务,将采集的原始数据经过结构化后,导入创客数据管理平台,通过创客数据管理平台的数据工厂进行加工后实现数据增值

应用场景

top