某设备研究所分布式数据存储系统

客户简介

某设备研究所分布式数据存储系统

该研究所生产实验过程中会产生海量机器数据的文件,由于没有一个统一的管理入口,导致数据文件管理混乱。经常出现数据文件丢失,数据文件联系人错误等问题。同时在业务上,针对不同专业其关注的数据文件、数据指标都不相同。基于这些现状,迫切需要一个系统来管理数据文件,包括从导入、解析、标注、分析、归档全流程管理。并针对不同专业有相应权限观看。实现数据文件全流程管理,做到有迹可循,责任清晰。

业务挑战

海量机器数据文件导入、存储,导入时涉及大文件导入,存储时涉及到小文件存储。
海量机器数据文件解析,要实现高速解析,8%的高压缩比,50毫秒内检索、解压数百万点
海量机器数据分析时,数百万个点的数据在页面毫秒级呈现。

解决之道

使用分片导入、并行导入技术导入文件,使用平台对象存储系统职能策略化处理各类文件,后端对接HDFS、FastDFS、Hbase等。

自研的高速数据库,实现50毫秒内数据检索,页面通过缓存和实时渲染技术实现数百万数据点毫秒展示。

自研的高速数据库,采用机器数据专用压缩算法进行数据压缩。

客户收益

实现了大文件导入,能支持几十G文件导入,解决海量数据文件存储难题,并科学、安全、可靠的进行了管理。

大大提高了数据文件解析、分析效率,从而高效的提供了业务运行水平,促进科研工作高效进行。

大大提供数据文件处理速度和服务器资源利用空间,为客户建设数据中心降低了成本。

科学规范的管理了所有数据文件,实现数据文件全流程管理,做到有迹可循,责任清晰。

相关案例

赞比亚指挥调度平台

作为合作伙伴在非洲拓展的标杆型国家,赞比亚迫切地需要一款满足当地语言和风格特色,公安报警指挥调度为核心的可视化调度管控平台,构建以指挥中心管理、值班、接处警信息为核心的可视化管控平台。

了解更多
建设职业技术学院服务平台

我国高校信息化发轫于上个世纪八十年代,进入二十一世纪,高校数字校园建设得到快速发展,几乎所有的高校都经历了一至两轮的数字校园建设。自浙江建设职业技术学院启动一期信息化建设以来,已经实现全校网络覆盖,数字校园建设初具规模,但与此同时以管理信息化为核心的高校数字校园建设遇到了多方面的挑战,随着大数据技术的广泛应用,高校信息化即将迎接新的挑战

了解更多

现在开始,开启您的数据智能之旅

立即咨询 免费试用