For investors
股价:
5.36 美元 %For investors
股价:
5.36 美元 %认真做教育 专心促就业
数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合.它是单个数据存储,出于分析性报告和决策支持目的而创建.为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制.我自己是名大数据程序员,建了一个大数据资源共享群593188212 每天分享大数据学习资料和学习方法,下面我们来讲大数据开发核心流程
当我们接到一个需求,首先会进行需求分析,然后做工作流设计,比如这个任务是什么时候跑的、依赖于哪些业务.工作流设计完成后进行数据采集和数据同步.接下去就是数据开发,我们提供了WEB-IDE,支持SQL、MR、SHELL和 PYTHON等.然后我们提供了冒烟测试的场景,测试完成后发布到线上,让它每天定时进行自动调度,并进行数据质量监控.以上步骤都完成后,就能把我们的数据环流到业务系统库,或者用QuickBI、DataV这些工具进行页面展现.
MaxCompute是图上小人的"心脏",所有运行的任务都在MaxCompute里面.调度是数据架构的"大脑"."眼睛"是数据监控,目前在数据架构平台上它还是一个"近视眼",还没有正式推出.数据集成就像两只"手",不停地从其它地方搬运数据.底层的开发环境和运维中心就像两条"腿",保证整个数据架构平台走得更远.而数据质量就像是一个"人体健康中心",也就是数据质量的监控.
本篇文章是有青岛达内培训为您呈现,希望给您带来更多更好的文章