数说海纳:助力企业突破技术瓶颈,实现高效大数据管理与处理

原创 收藏 评论
举报 2018-05-25

传统企业在走向数字化平台建设后为什么有如此痛不欲生的境遇?

1、引进数据大牛人才进企业,因某些行业知识缺失,与企业发展的适配性差难以适应传统行业。最终水土不服,导致大数据平台建设后“形同虚设”;

2、企业缺乏大数据团队,外聘专业大数据公司搞定基础建设后,自有团队无法接续,前期的大数据成果在闲置中荒废,企业在付出巨额酬劳后还是无法做好数据转型;

3、传统企业没有大数据团队建设经验,直接照搬复制,却没有考虑行业属性特点,组织架构、管理方式、营销模式也有很大的区别,导致大数据团队建设走上失败。


什么是数说海纳?

数说海纳的名字来源 (海纳百川,如果我们将每个数据源形成的数据流比作一条河流,则最终这些数据流都将汇聚于海纳,形成一片数据的大海)

DataStory旗下产品---数说海纳,就是一款帮助企业进行数据管理分析、作业任务调度的应用平台。旨在为企业提供一个零门槛介入的数据管理分析及作业调度工具,设定大量数据处理分析通用流程,提供简单易用的可视化操作界面,使企业绕过大数据处理的技术瓶颈,更专注于业务数据的管理和分析工作。

1.webp.jpg

数据仓库管理及任务调度的功能描述:

1.   融合多种数据源。数说海纳通过将企业内部各类数据库打通,以全局统一的方式对数据进行展示及管理。

2.   支持HiveSQL交互查询。分析人员只需要会写SQL语句,就可通过数说海纳执行上亿数据量的大数据查询分析操作。

3.   完善的权限管理。可以为用户指定各个数据库的读、写、管理权限。


如下图所示,数说海纳通过汇聚企业在数据采集、数据加工、数据分析、数据应用等阶段产生的数据,将数据统一以HIVE库表的形式整理在一起,用户通过统一的数据接口方式进行数据操作。

2.webp.jpg

4.   多种通用数据作业流程。系统预设多种类型的数据处理流程,通过界面简单操作即可应用在自己的作业中。

5.   状态监听跟踪。数说海纳提供作业监控,可设置消息订阅邮箱,及时通知作业运行的状况。

数说海纳产品功能展示:

在数说海纳中,可根据企业管理层级设定用户数据操作权限,在使用一个指定的数据库之前,首先要获得对该数据库的使用权限。数说海纳通过定制方式,将系统的用户权限与数据库用户权限打通。用户通过数说海纳权限管理界面进行库表管理,不仅仅是在海纳自身的界面管理中生效,权限也同步到了HIVE,即使通过接口方式访问HIVE, 也需要通过权限认证。

3.webp.jpg

用户可以通过数说海纳的交互查询功能,对数据库表进行HiveSql查询,查询会在返回结果后以表的形式呈现在系统页面中。

4.webp.jpg

在维护数据的过程中,数说海纳提供了通用的数据作业流程任务,用户只需要通过简单的配置,就可以将数据同步、数据检查、数据分析等作业以定时设定的方式自动运行起来。数说海纳自带提供了以下集中任务类型,帮助用户建立数据处理流程:

1. JAVA 调度JAVA型任务;

2. SHELL 调度SHELL脚本任务;

3. KETTLE  调度KETTLE ETL任务;

4.  SQL  调度一个HiveSQL执行任务;

5.  表质检  调度一个表数据质量检查任务;

6.  标签工厂  调度一个数据标签任务;

7.  数据同步  调度一个RMDB,FTP,HIVE数据传输同步的任务;

作业可通过在页面拓展各种任务功能,以DAG(有向无环图)进行依赖构建,数说海纳会自动检测任务依赖,按照依赖的先后顺序执行任务。

5.webp.jpg

随着信息系统建设的增加和管理的精细化,越来越多的数据需要进行管理。一方面是由于数据增长的速度;另一方面是数据交互和共享的需求,尤其是大数据时代,数据可能存在结构化和非结构化,这些数据需要为企业在不同的业务领域提供管理支撑。对于解决所有数据问题的途径,最根本的方法是建立整个数据规划和管控体系。而数说海纳帮助企业在大数据平台建立后,经历从信息化到数字化的转变,通过数据分析,反向优化并颠覆传统业务模式,实现管理智能化。


    参与评论

    文明发言,无意义评论将很快被删除,异常行为可能被禁言
    DIGITALING
    登录后参与评论

    参与评论

    文明发言,无意义评论将很快被删除,异常行为可能被禁言
    800

    推荐评论

    暂无评论哦,快来评论一下吧!

    全部评论(0条)