数据仓库的目的是为了分析最终支持决策,其本身仅仅是存储数据,尽可能的保证数据的细粒度,数据从源头经过ETL然后达到DW,然后再次经过ETL达到ODS或者直接达到应用分析层,然后支持分析。
其描述图如下所示:
源头:
包括各种结构化、半结构化和非结构化数据。
结构化也就是我们传统机遇ER模型的数据;
半结构化类似xml、json型数据,通过属性描述含义;
非结构化也就是图片,无规律文本(网页,评论等),流(视频,音频等)
数据仓库存储部分:
1.粒度控制
2.是否需要ods层
3.面向分析主题,各维度控制,汇总聚合等
4.非结构化数据抽象(视频可以抽象出:视频名称,播放时间,作者,创建日期,关键词等)
5.元数据管理
应用层:
主要对数据进行分析然后结果展示,是最终的目的
各层直接数据流转都经过了ETL。
相关推荐
论数据仓库的数据架构设计 企业信息化工作是“三分技术、七分管理和十二分 ...系结构和建模方式的描述,直接决定了数据仓库系统的 可管理性和可扩展性,在数据仓库系统的建设过程中具 有极其重要的作用。
淘宝数据仓库架构 该ppt描述了淘宝的技术机构 很好的一份资料
基于⼤数据的数据仓库-数据仓库建模基本理论 (内容整理⾃⽹络学习视频) ⼀、数仓建模的⽬标 访问性能:能够快速查询所需的数据,减少数据I/O。 数据成本:减少不必要的数据冗余,实现计算结果数据复⽤,降低⼤数据...
数据仓库的概念与体系结构 主要介绍数据仓库的概念和体系,是最基本的数据仓库基础
第一天上午 数据仓库和商业决策的关系 描述当今商业领域BI和数据仓库的角色 描述为什么在线联机系统(OLTP)不能满足决策支持 决策支持系统的数据抽取流程所带来的数据仓库技术 使用数据仓库技术的原因 如何使用...
维度是多维数据集的结构性特性。它们是事实数据表中用来描述数据的分类的有组织层次结构(级别)。这些分类和级别描述了一些相似的成员集合,用户将基于这些成员集合进行分析。...因此数据仓库对于维度数据的处理通常的
描述ibm 的数据仓库架构与设计,数据模型设计
数据仓库概述 四个基本功能 数据 定义 数据 管理 数据 提取 数据 应用 1. 数据定义 这部分主要完成数据仓库的结构和环境的定义。 2. 数据提取 这部分负责从数据源提取数据,并对获得的源数据进行必要的加工处理,使...
如果需要给数据仓库一个定义的话,那么可以把它看作一个作为决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库所要研究和解决的问题就是从数据库中获取信息。 <br> 那么数据仓库与数据库(主要指关系...
以ppt的形式描述Teradata 数据仓库的架构、所用技术等方面
其次设计出了空间数据仓库的概念框架,着重描述了空间数据仓库的外部结构、内部结构以及各组成模块的工作流程,设计出了空间数据仓库认知过程的概念框图,并对认知的基本概念进行了描述,表述了认知过程14个世界模型...
介绍数据仓库ETL,描述ETL过程,适合入门学习,适合初学者
本文档描述以一个具体的基于DSS决策系统之需要,具体实践数据仓库的理论,通过实施过程遇到的问题之解决和深层次思考,总结了实践中反映的典型问题,对从事数据仓库建设工作具有十分有价值的参考意义。
包含:微软Big-Data-and-PDW-Solution并行数据仓库解决方案.pdf 和微软大数据库解决方案手册.pdf 面对快速增长的数据量,企业需要具备切合实际、及时的业务洞察力。 通过使用 SQL Server 中的并行数据仓库及其大规模...
本书更新了上一版的大量内容,介绍了SQL Server 2008 ...还可以学习在使用Kimball生命周期建立自己的DW/BI系统时,应如何遵循4个基本原则:关注业务,构建信息基础架构,提供有意义的增量价值以及交付完整的解决方案。
1.前言在事务处理系统中的数据,主要用于记录和查询业务情况。随着数据仓库(DW)技术的不断成熟,企业的数据...元数据是描述数据仓库内数据的结构和建立方法的数据,可将其按用途的不同分为两类:技术元数据(Technica
本章首先介绍了数据仓库的概念、Hive的基本特征、与其他组件之间的关系、与传统数据库的区别以及它在企业中的具体应用;接着详细介绍了Hive的系统架构,包括基本组成模块、工作原理和几种外部访问方式,描述了Hive的...
DW2.0描述的架构有不同于第一代数据仓库的的一些特点,这些特点包括但不限于: 1,DW2.0提出了数据仓库生命周期概念,把整个系统分为四个区:交互区、整合区、近线区、归档区;四个区中数据年龄逐渐增大。 2,DW2.0...
绪论 2 1.1项目背景 2 1.2 提出问题 2 2 数据库仓库与数据集的概念介绍 2 2.1数据仓库 2 2.2数据集 2 3 数据仓库 3 3.1 数据仓库的设计 3 3.1.1数据仓库的概念模型设计 3 3.1.2数据仓库的逻辑模型设计 3 3.2 数据...
数据仓库和商业决策的关系 描述当今商业领域BI和数据仓库的角色 描述为什么在线联机系统(OLTP)不能满足决策支持 决策支持系统的数据抽取流程所带来的数据仓库技术 使用数据仓库技术的原因 如何使用数据仓库来...