助力大数据生态一站式构建

SDC Hadoop 数据存储计算软件

SDC Hadoop数据存储计算软件是一款基于分布式技术、为用户提供海量数据存储、计算和分析的大数据基础工具。

产品功能

动态分类统一存储

1、支持结构化、半/非结构化的统一存储。 2、支持策略化存储配置,实现对小文件、中文件、大文件的动态分类存储。 3、支持自定义配置存储归档策略,实现对数据资产的快速归档管理和智能检索。

多源异构融合计算

1、支持关系型数据库、分布式数据库、Nosql数据库、文件系统、消息队列等多种数据源。 2、支持面向数据集市主题模型和数据融合的图形化任务设计与编排。 3、基于多源异构融合计算引擎,支持物化视图的智能感知。 4、支持多种类型数据操作及处理函数,比如关系运算符、算术运算符、字符串处理等。 5、支持单机、分布式部署模式。

企业级智慧数仓

1、提供统一访问与操作的SQL解析层,支持P/LSQL、TSQL语法,兼容SQL 2003、SQL 99,SQL 92标准,支持Oracle、SqlServer方言及存储过程。 2、支持向导式构建企业级数据仓库,提供数据仓库分层的图形化设计。 3、为便于用户快速进行数仓构建,支持在线SQL IDE进行SQL脚本调试及数据预览。 4、支持分布式事务机制及批量增删改查,保证数据操作ACID。

可视化编排实时计算

1、支持可视化编排实时计算任务,提供了多种数据流处理算子支持。 2、支持流计算微批事件和事件驱动处理模式。同时,可以支持CEP复杂事件处理。 3、支持流上机器学习、自定义函数及实时计算任务的配置、监控和管理。

自助式智能检索

1、支持结构化及非结构化数据在线预览及数据下载,上亿条数据的检索性能可达ms级响应。 2、支持热数据、暖数据、冷数据在内存、SSD、SATA/SAS盘的多级存储及SSD硬件加速。 3、支持标准SQL进行多维组合精确查询及模糊查询、关键字、短语、通配符快速匹配。 4、面向企业级智库的构建,支持基于数据统一存储服务,快速进行数据归档及全文检索。

核心优势

高性能智适应计算引擎

结合数据分布的特性,通过统计数据计算过程中的执行信息和数据分片的动态调整,实现各个计算节点的数据量均衡,在分布式计算场景下较开源版本计算能力提高数倍,有效提升了数据计算能力。在多任务并行环境下,提供了更加快速地分布式计算速度,超大集群规模下,更加稳定地集群运行。

统一访问与操作的SQL引擎

基于场景的SDC SQL引擎,避免了SQL引擎、计算引擎、存储引擎强耦合所导致的数据场景局限性。通过解耦SQL引擎与计算引擎,以广泛支持交互式查询分析、OLAP、OLTP、数据检索、实时计算、图分析等众多数据计算场景。同时,SDC SQL引擎支持标准SQL 99、Oracle、SqlServer方言及存储过程,为用户提供了数据统一访问与操作的SQL解析层。为了适应不同数据任务的计算调优,SDC SQL引擎可以支持基于session、基于SQL语句的调优配置,为用户任务运行提供了更加灵活的配置模式。

多源异构数据的融合计算

多源异构数据融合计算作为新一代融合计算引擎,重新定义了传统数据融合离线计算的数据处理模型。基于SQL智能引擎,多源异构数据融合计算扩展了SQL语法,基于分布式融合计算引擎,支持在线进行不同数据源类型、不同数据类型的融合计算。同时,为了满足数据仓库、数据集市数据建模的需求,基于分布式融合计算引擎,支持了物化视图的智能感知调度,提供了图形化拖拉拽的工具进行数据模型的快速、批量构建。

面向大规模集群的智能规划

为了降低面向大规模集群分层、多域的集群规划所带来的复杂度和部署成本,基于服务组、角色、服务及节点负载提供了智能规划、一键式集群的安装部署。同时,为了满足统一运维与安全管控的需求,提供了可视化运维管理、统一日志管理、Web版命令行Shell工具、Kerberos认证、KMS数据加密、RBAC用户权限管理模式,支持数据细粒度访问权限控制,确保系统、数据免受恶意攻击和安全威胁。

应用场景

政务领域应用场景
为支撑基础性公共数据资源库和政务大数据示范应用的建设,帮助政府对已有数据进行高效的计算和检索,SDC Hadoop提供分布式文件存储技术、计算框架和搜索引擎,实现计算任务分布式执行,实时数据深度搜索,数据多维度呈现。
煤炭行业应用场景
为贯彻落实国家决策和部署,推进煤炭大数据的健康发展,四方伟业提出煤炭监管信息大数据方案:依托大数据技术,挖掘海量数据,探索发现规律,准确预测产业走势,保障生产安全,促进行业转型升级和健康可持续发展。

用户收益

海量数据分布式计算

针对各种数据分析计算场景,提供一站式的大数据产品、技术服务和解决方案的支撑能力。

全类型数据统一存储

帮助政府及各行业用户针对各种类型的数据进行高效地存储归档和数据管理,提供统一的数据存储服务。

应用案例

四川省交通运行监测与应急指挥系统


四川省交通厅对接了非常多的业务系统,各个业务系统都使用自己的存储系统,各业务系统之间数据不互通,省厅在管理这些数据上很不方便,因此需要有一个统一的数据平台将各个系统数据汇聚起来,同时能保证各个系统之间各种独立运行且互不影响。


查看详情
交规院全国治超联网管理大数据系统


随着我国国民经济的持续快速发展以及城镇化越来越高,载货机动车近年来每年都以大幅增长,车辆超限超载违法运输现象比较突出,不仅损坏公路基础设施,引发大量的道路交通事故,而且直接导致道路运输市场的恶性竞争和车辆生产使用秩序的混乱;为了解决这些问题,目前各高速路卡口应用了各种监测仪器对货车载重数据进行收集上报,由于经过高速卡口的载重车辆数量庞大,上报的数据也已经超过传统数据库分析处理的能力,如何对海量数据进行及时的存储和分析,如何快速将分析结果提供给治超相关管理部门进行下一步工作,是目前客户急需解决的问题。

查看详情
某设备研究所分布式数据存储系统


该研究所生产实验过程中会产生海量机器数据的文件,由于没有一个统一的管理入口,导致数据文件管理混乱。经常出现数据文件丢失,数据文件联系人错误等问题。同时在业务上,针对不同专业其关注的数据文件、数据指标都不相同。基于这些现状,迫切需要一个系统来管理数据文件,包括从导入、解析、标注、分析、归档全流程管理。并针对不同专业有相应权限观看。实现数据文件全流程管理,做到有迹可循,责任清晰。


查看详情

现在开始,开启您的数据智能之旅

立即咨询 免费试用