百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

数仓扫盲篇:什么是数据仓库?

moboyou 2025-03-25 12:38 5 浏览

不少人可能接触过数据仓库这一概念,那么,你是否了解数据仓库的定义和内涵呢?这篇文章里,作者结合自己的语言,针对数据仓库的定义、作用和特征等维度进行了总结分析,一起来看看吧,或许会对你有所启发。

一、什么是数据仓库?

百度是这样介绍的:

看起来有点抽象。

不管他,我们将数据仓库拆成“数据”+“仓库”,来理解。

继续百度。

数据:

仓库:

再简单上个仓库图,有画面感了!

数据+仓库,我们现在也可以粗暴的理解为“数据中转站”

我们把仓库的描述进行拆分,通过对比数据仓库,来体会一下数据仓库是什么?

1)仓库的构成:库房、传送设施、出入库房的管道和设备、消防设施、管理用房

这里描述了货物的存储,出入,管理环节的基础设施。

那数据的存储,出入,管理环节同样也需要基础设施去支撑,数据存储在数据库或者文件系统里,数据通过ETL工具在数据仓库里流转,通过API对外提供数据,以及任务调度工具、节点管理工具去管理等。

2)按仓库存储的物品形态分为:固体、液体、气体、粉状物品

固体有固体的存储空间和方式,液体有液体的存储空间和方式,同样的气体、粉状物品都会有相应的存储方式。

数据也是一样,结构化数据可以存储在结构化的数据库,比如mysql,oracle等;文件等非结构化数据,也有相应的数据库去存储,比如HDFS,Hbase等。

3)按存储物品性质分为:原材料、半成本、成品

从加工的流程来看,物品在不同加工阶段,有不同的展现形式,数据也是一样,在原材料阶段,称为原始数据;对原始数据进行清洗,加工后,成为明细数据;对明细数据进行聚合,加工后,成为汇总数据;最后产出可直接应用的数据,成为应用数据。

4)按建筑形态分为:单层仓库、多层仓库、圆筒形仓库

对于存储不同形态的的物品,存储量不同,仓库也会有不同的建筑形态。数据仓库也是一样,根据应用场景,可以分为离线数仓,实时数仓,按照数据分层,可以分为贴源层,明细层,汇总层,应用层。

仓库有了,货物有了,还要考虑什么?

在现实生活中,每天都要存货,找货,出货。如何合理的存储货物,快速的查找货物,及时的把货物运出去才是仓库管理员最关心的。

数据也是如此,为了合理的存储数据,快速的使用数据,横向可对数据进行主题的划分,纵向可对数据进行层级划分(这里就不展开介绍了)。

经过以上对比介绍,大致就能理解数据仓库具体是干什么的了。

二、为什么需要数据仓库?

首先,数据仓库的典型用户是数据分析人员,使用场景是决策场景,那么企业为什么需要数据仓库,我们需要知道没有数据仓库前,数据分析是什么样的,就能知道为什么需要数据仓库?

这里需要先补充一下业务系统的范式模型是什么?

即指遵循3范式规则设计的表模型。

第①范式:列都是原子性的,即数据库表的每一列都是不可分割的原子数据项(为了消除冗余和方便查询,对数据拆分处理,主要是针对时间、地区等属性)。

第②范式:在1范式基础上,实体的属性需要完全依赖于主键全部,不能存在仅依赖主键一部分的属性(指不能只依赖联合主键的其中一个属性,只有一个主键可不考虑第2范式)。

第③范式:需要确保数据表中的每一列数据都和主键直接相关,而不能间接相关(消除冗余,降低实体属性和业务数据之间的影响)。

范式模型就像是异地恋,双方不在一起,只能通过电话联系,沟通效率不高,但是你也可以知道对方每天做了什么,吃了什么。但是范式模型是会关联多个哈,是个海王。

在业务系统中,范式模型强调减少数据冗余、单纯依赖关联关系,主要应用于在线事务系统。由于业务数据库是实时记录业务操作的,仅通过ID关联,在业务系统的各种实体属性修改时,不会牵扯到历史数据的回溯;以及业务数据修改时候,不会影响各种实体属性。

假设此时企业没有建设数据仓库。这时候来了一个分析需求,要求统计企业每个工程项目的物料使用情况和人力成本情况。

那么可能会遇到以下几个情况:

  • 取数难:由于人资、物资、项目是三个子系统,你就得想办法去多个业务系统去搞生产数据,能不能拿到,需不需要审批,数据安全都是要考虑的问题。
  • 分析难:每个系统的开发规则,规范程度、统计口径都不一致。你还要去做数据关系映射,了解原业务系统的数据逻辑,废了老大劲。
  • 分析慢:由于业务系统是遵循范式建模的,发现关联了一堆表才能完成分析需求,分析时间长不说,还可能会影响业务数据库的稳定。
  • 成本高:显而易见,在没有数据统一处理的情况下,这种分析需求费时费力,如果有更多更复杂的分析需求,该怎么办呢。

此时我们需要一个可以将各个业务系统数据集成起来,面向业务数据分析的,统一规划数据加工的规范,甚至是独立的,不会影响业务系统的数据模型组织方式。

数据仓库就是这样一种数据的组织方式,此处引出维度建模理论,那么维度模型是什么?

维度建模从分析决策的需求出发构建模型,为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。其典型的代表是星形模型。(来源大数据之路)

维度模型强调面向业务分析决策需求,提高数据查询的效率,可以减少关联,进行维度冗余。由于维度模型的数据具有稳定性,进入数仓的数据,不会发生修改,且数据都有历史记录,所以不需要考虑事实和维度之间的变化会互相影响。

但是数据冗余在提高查询效率的同时,也会增加存储成本。

维度模型就像是本地恋,恨不得天天腻在一起,去玩,去吃饭,相互之间了解的更多了,感情变好了,但是日常花销也变高了。

由以上问题我们可以推导出数据仓库的作用,以及为什么需要数据仓库?

  • 隔离业务数据。
  • 把散落在各个业务系统的数据集中起来,集中处理。
  • 统一建模,沉淀数据处理的结果,降低重复加工。
  • 提高数据的使用/共享效率,为企业决策提 供数据依据。

三、数据仓库有什么特征?

结合前两部分的介绍,我们总结一下数据仓库的特征:

  • 面向业务的:根据业务过程对数据进行划分,让数据合理的组织和存储,方便快速查找和使用数据。
  • 集成的:原始数据是从多个业务系统获得,要将这些来源不同的原始数据整合到一个数据库中统一处理。
  • 稳定的:一旦进入数据仓库,就不允许被修改,一般的操作就是查询、定期的加载。
  • 统一的:数据仓库可以对数据规范化、统一化处理,沉淀公共处理逻辑。

本文由 @成长中的数据产品 原创发布于人人都是产品经理,未经许可,禁止转载

题图来自 Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

相关推荐

一种直扩MSK信号的二维联合捕获方法

袁美娟,蒋芸茹,施镇峰,孙红磊,鲍昱蒙,蔡雨琦(南京理工大学电子工程与光电技术学院,江苏南京210094)摘要:针对直扩MSK信号的特殊性以及高动态环境下载波多普勒频偏对伪码捕获的影响,提出了一...

基于动态分块阈值与双重VAD检测的时频域自适应去噪算法

基于动态分块阈值与双重VAD检测的时频域自适应去噪算法(MATLAB)动态分块阈值:采用SURE准则优化块尺寸与阈值双重VAD检测:粗精两级语音活动检测提升噪声估计精度时频域自适应:结合IMCRA噪声...

JECE审稿意见太狠如何回复?

期刊关键参数ISSN2213-1388|IF=5.2|Q1区版面费2200美元|年发文1200+结构化应对框架回复信三要素:1.致谢+总结改进(例:"感谢指出模型验证不足,已补充三组对比实...

三维基因组: SELFISH 差异分析

引言本系列主要讲解3D-Genome(Hi-C)系列的分析,主要涉及三维基因组分析中的数据处理,重复性评估,Compartment/TAD/Loop检测,差异分析等,欢迎关注!SELFISHS...

电力EI会议,高录用技巧公开!

【推荐会议】IEEE电力与能源协会年会(PESGM)会议号:IEEEConference#PE-2026截稿时间:2026年1月15日举办时间与地点:2026年7月26日-30日·美国丹...

浅谈船舶交流电网在线绝缘监测装置研究

摘要:针对船舶供电系统电缆的绝缘状态问题,设计了一款电缆绝缘在线监测装置。装置采用低频交流注入法,在IT系统的中心点注入低频的交流信号,通过取样电路和A/D量化检测注入信号在电路中的响应,采用FIR滤...

使用Simulink学习STM32-(1)点亮一颗LED实验

本次实验系统环境Matlab版本:2021b系统环境:Win10专业版硬件平台:YF-STM32-ALPHA1R4模型与原理图simulink模型如图5.1所示,实验现象为PB8以0.5S周期反...

利用Proteus仿真STM32实现DHT11温湿度检测

1.前言Proteus是英国著名的EDA工具(仿真软件),从原理图布图、代码调试到单片机与外围电路协同仿真,一键切换到PCB设计,真正实现了从概念到产品的完整设计。是世界上唯一将电路仿真软件、PC...

使用ADSP-CM408F ADC控制器的电机控制反馈采样时序

简介本应用笔记介绍ADSP-CM408F模数转换器控制器(ADCC)模块的主要特性,重点讨论该产品在高性能电机控制应用的电流反馈系统中的相关性与可用性。本应用笔记的目的是为了强调模数转换器(DAC)模...

基于DSP的主动降噪系统设计与实现

摘要:针对发动机等工作时产生的周期噪声,进行主动降噪系统设计与实现。主要工作为降噪程序的设计和基于DSP的硬件实现。其中降噪程序采用自适应算法中的反馈滤波-X-最小均方算法,对此算法进行了简要讲解...

怎样消除薄膜收放卷上的静电

》收放卷常见静电危害!收放卷应用贯穿所有行业,无论是塑料薄膜、纸张、还是纺织品。而在快速收放卷的过程中,物料与辊之间会产生大量的摩擦、剥离、挤压,使物体表面积聚不同电性的静电荷,且随速度增加和时长增加...

电力EI会议,这些刊慎投!

推荐优质会议:ICPEET2025(电力工程与智能技术国际会议)会议号:IEEE-CPS#0123截稿时间:2025年4月30日召开时间/地点:2025年8月15-17日·成都论文集上...

电工布线现场工程图,简直就是手工艺术品展览

今天我们就来分享一波电工布线图,简直是一道道手工艺术品展览!电工布线是被很多人忽略的一个项目,其实这也是个技术活,因地制宜地设计布线方案、而且要同时注重美观和实用,同时要求具有一定的可扩展性。更多电工...

基于FPGA的伪随机序列发生器设计

基于FPGA的伪随机序列发生器设计1基本概念与应用1)LFSR:线性反馈移位寄存器(linearfeedbackshiftregister,LFSR)是指给定前一状态的输出,将该输出的线性...

五种算法(DBO、LO、SWO、COA、LSO、KOA、GRO)路径规划MATLAB

五种算法(DBO、LO、SWO、COA、LSO、KOA、GRO)求解无人机路径规划MATLAB