ODS 层，是最接近数据源中数据的一层，为了考虑后续可能需要追溯数据问题，因此对于这一层就不建议做过多的数据清洗工作，原封不动地接入原始数据即可，至于数据的去噪、去重、异常值处理等过程可以放在后面的 DWD 层来做。
数据仓库层是我们在做数据仓库时要核心设计的一层，在这里，从 ODS 层中获得的数据按照主题建立各种数据模型。
DW 层又细分为 DWD（Data Warehouse Detail）层、DWM（Data WareHouse Middle）层和 DWS（Data WareHouse Servce） 层。
该层一般保持和 ODS 层一样的数据粒度，并且提供一定的数据质量保证。DWD 层要做的就是将数据清理、整合、规范化、脏数据、垃圾数据、规范不一致的、状态定义不一致的、命名不规范的数据都会被处理。
同时，为了提高数据明细层的易用性，该层会采用一些维度退化手法，将维度退化至事实表中，减少事实表和维表的关联。
另外，在该层也会做一部分的数据聚合，将相同主题的数据汇集到一张表中，提高数据的可用性 。
该层会在 DWD 层的数据基础上，数据做轻度的聚合操作，生成一系列的中间表，提升公共指标的复用性，减少重复加工。
直观来讲，就是对通用的核心维度进行聚合操作，算出相应的统计指标。
在实际计算中，如果直接从 DWD 或者 ODS 计算出宽表的统计指标，会存在计算量太大并且维度太少的问题，因此一般的做法是，在 DWM 层先计算出多个小的中间表，然后再拼接成一张 DWS 的宽表。由于宽和窄的界限不易界定，也可以去掉 DWM 这一层，只留 DWS 层，将所有的数据再放在 DWS 亦可。
DWS 层为公共汇总层，会进行轻度汇总，粒度比明细数据稍粗，基于 DWD 层上的基础数据，整合汇总成分析某一个主题域的服务数据，一般是宽表。DWS 层应覆盖 80% 的应用场景。又称数据集市或宽表。
按照业务划分，如主题域流量、订单、用户等，生成字段比较多的宽表，用于提供后续的业务查询，OLAP 分析，数据分发等。
一般来讲，该层的数据表会相对比较少，一张表会涵盖比较多的业务内容，由于其字段较多，因此一般也会称该层的表为宽表。
在这里，主要是提供给数据产品和数据分析使用的数据，一般会存放在 ES、MySQL、 PostgreSql、Redis 等系统中供线上系统使用，也可能会存在 Hive 或者 Druid 中供数据分析和数据挖掘使用。比如我们经常说的报表数据，一般就放在这里。
如果维表过多，也可针对维表设计单独一层，维表层主要包含两部分数据： 1. 高基数维度数据：一般是用户资料表、商品资料表类似的资料表。数据量可能是千万级或者上亿级别。 2. 低基数维度数据：一般是配置表，比如枚举值对应的中文含义，或者日期维表。 数据量可能是个位数或者几千几万。
主题域是指为了实现企业预定目标，根据数据的固有属性对企业数据进行分类而获得的数据集合，主题域是企业数据架构最上层的数据集合，需要注意的是进行分类时并非是基于业务流程进行的。一般对表示业务的主体、对象、行为的数据进行分组。
业务容易理解，就是指的功能模块/业务线。
业务过程：指企业的业务活动事件，如下单、支付、退款都是业务过程。不过需要注意的是，一个业务过程是一个不可拆分的行为事件，通俗的讲，业务过程就是企业活动中的事件。
数据域是指面向业务分析，将业务过程或者维度进行抽象的集合。其中，业务过程可以概括为一个个不可拆分的行为事件，在业务过程下，可以定义指标，维度是指度量的环境，如买家下单事件，买家是维度。为保障整个体系的生命力，数据域是需要抽象提炼，并且长期维护和更新的，但不轻易变动。在划分数据域时，既能涵盖当前所有的业务需求，又能在新业务进入时无影响地被包含进已有的数据域中和扩展新的数据域。
当事人模型:
无论是何种业务场景，都可以套用该模型
数据框架
稳定业务按照标准的数据流向进行开发，即 ODS –> DWD –> DWS –> ADS。非稳定业务或探索性需求，可以遵循 ODS -> DWD -> ADS 或者 ODS -> DWD -> DWM ->ADS 两个模型数据流。
禁止出现反向依赖
需统一规定不同的数据的数据类型，严格按照规定的数据类型执行：
宽表的冗余字段要确保：
对于维度字段，需设置为-1 对于指标字段，需设置为 0
保证主题域内，指标口径一致，无歧义。 通过数据分层，提供统一的数据出口，统一对外输出的数据口径，避免同一指标不同口径的情况发生。
新增数据，增量数据是上次导出之后的新数据。
每天的所有的最新状态的数据。
按日分区，记录截止数据日期的全量数据。
记录截止数据日期的全量数据。
这部分主要是要通过对历史数据的等级划分与对表类型的划分生成相应的生命周期管理矩阵。
主要将历史数据划分P0、Pl、P2、P3 四个等级，其具体定义如下：
建议按天分区： 3个月内最大访问跨度<=4天时，建议保留最近7天分区； 3个月内最大访问跨度<=12天时，建议保留最近15天分区； 3个月内最大访问跨度<=30天时，建议保留最近33天分区； 3个月内最大访问跨度<=90天时，建议保留最近120天分区； 3个月内最大访问跨度<=180天时，建议保留最近240天分区； 3个月内最大访问跨度<=300天时，建议保留最近400天分区；
建议按天分区： 3个月内最大访问跨度<=4天时，建议保留最近7天分区； 3个月内最大访问跨度<=12天时，建议保留最近15天分区； 3个月内最大访问跨度<=30天时，建议保留最近33天分区； 3个月内最大访问跨度<=90天时，建议保留最近120天分区； 3个月内最大访问跨度<=180天时，建议保留最近240天分区； 3个月内最大访问跨度<=300天时，建议保留最近400天分区；
基于数据应用需求的分析设计事务型事实表，结合下游较大的针对某个业务过程和分析指标需求，可考虑基于某个事件过程构建事务型实时表；
明细层事实表维度退化，减少后续使用join成本。
周期快照事实表中的每行汇总了发生在某一标准周期，如某一天、某周、某月的多个度量事件。
粒度是周期性的，不是个体的事务。
通常包含许多事实，因为任何与事实表粒度一致的度量事件都是被允许的。
多个业务过程联合分析而构建的事实表，如采购单的流转环节。
数据仓库的性能是数据仓库建设是否成功的重要标准之一。聚集主要是通过汇总明细粒度数据来获得改进查询性能的效果。通过访问聚集数据，可以减少数据库在响应查询时必须执行的工作量，能够快速响应用户的查询，同时有利于减少不同用访问明细数据带来的结果不一致问题。
第一步：确定聚集维度 在原始明细模型中会存在多个描述事实的维度，如日期、商品类别、卖家等，这时候需要确定根据什么维度聚集，如果只关心商品的交易额情况，那么就可以根据商品维度聚集数据。
第二步：确定一致性上钻 这时候要关心是按月汇总还是按天汇总，是按照商品汇总还是按照类目汇总，如果按照类目汇总，还需要关心是按照大类汇总还是小类汇总。当然，我们要做的只是了解用户需要什么，然后按照他们想要的进行聚集。
第三步：确定聚集事实 在原始明细模型中可能会有多个事实的度量，比如在交易中有交易额、交易数量等，这时候要明确是按照交易额汇总还是按照成交数量汇总。
除了聚集基本的原则外，公共汇总层还必须遵循以下原则：
一个中小型数据仓库命名规范
词根属于数仓建设中的规范，属于元数据管理的范畴，现在把这个划到数据治理的一部分。完整的数仓建设是包含数据治理的，只是现在谈到数仓偏向于数据建模， 而谈到数据治理，更多的是关于数据规范、数据管理。
表命名，其实在很大程度上是对元数据描述的一种体现，表命名规范越完善，我 们能从表名获取到的信息就越多。比如：一部分业务是关于货架的，英文名是：rack， rack 就是一个词根，那我们就在所有的表、字段等用到的地方都叫 rack，不要叫成 别的什么。这就是词根的作用，用来统一命名，表达同一个含义。
指标体系中有很多“率”的指标，都可以拆解成 XXX+率，率可以叫 rate，那我 们所有的指标都叫做 XXX+rate。
词根：可以用来统一表名、字段名、主题域名等等。
举例： 以流程图的方式来展示，更加直观和易懂，本图侧重 dwm 层表的命名 规范，其余命名是类似的道理：
结合指标的特性以及词根管理规范，将指标进行结构化处理。
5.基础指标，单一的业务修饰词+基础指标词根构建基础指标 ，例如：交易金额-transaction_amt。
6.派生指标，多修饰词+基础指标词根构建派生指标。派生指标继承基础指标的特性，例如：安装门店数量-install_poi_cnt。
7.普通指标命名规范，与字段命名规范一致，由词汇转换即可以。
一、数据仓库诞生的原因历史数据积存：历史数据使用频率过低，堆积在业务数据库中，会导致查询性能下降企业数据分析需要：各个部门自己建立独立的数据抽取系统，导致数据不一致，资源 浪费严重，数据库权限也会存在风险二、数据仓库的基本概念数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库顾名思义，是一个很大的数据存储集合，出于企业的分析性报告和决策支持目的而创建，对多样的业务数据
在如今这个数据驱动的时代，对于企业而言，从数据仓库，到数据中台，再到数据飞轮，这一系列的演变不仅仅是技术的升级，更是企业运营模式和业务流程优化的革命。本文通过探讨这一演变历程，旨在展示如何在现代业务环境中，有效利用技术提升企业数据战略的竞争力。
引言随着企业对数据的需求逐渐升级，数据技术也经历了从数据仓库到数据中台，再到如今数据飞轮的不断演变。从最早期的数据仓库，企业着重解决数据存储和查询问题，满足基本的业务需求；随着业务场景变得复杂，数据中台应运而生，通过统一的数据管理平台提升数据治理和共享能力。如今，数据飞轮推动了数据的消费与业务增长的相互促进，形成了企业智能化发展的核心驱动。接下来让我们一起探讨数据技术的这三大阶段及其发展历程。数据
数据仓库是一个用于集成和存储企业数据的系统，它是将来自不同来源的数据整合到一个统一的位置，以支持分析和决策制定的过程。数据仓库可分为不同的层次，包括数据提取层、数据存储层、数据处理层和数据展示层。**数据提取层**是数据仓库的第一步，它负责从不同的数据源中提取数据。这些数据源可以是企业的数据库、文件、API等。数据提取层通常会使用ETL工具（Extract, Transform, Load）来
数据仓库的四个层次1.复制层（SSA,system-of-records-staging-area）：SSA直接复制源系统(比如从mysql中读取所有数据导入到hive中的同结构表中，不做处理)的数据，尽量保持业务数据的原貌；与源系统数据唯一不同的是，SSA中的数据在源系统数据的基础上加入了时间戳的信息，形成了多个版本的历史数据信息。2.原子层（SOR,system-of-record）：SOR是
讲数据仓库涉及到的基本概念。
目录1、数据仓库所处环节操作层 数据仓库数据集市个体层2、数据仓库概念面向主题的 集成的随时间变化的非易失的3、一般架构STAGE层 ODS层MDS层ADS层 DIM层ETL调度系统元数据管理系统4、设计的两个重要问题1、 粒度2、 分区1、数据仓库所处环节 &n
参考： 数据仓库--通用的数据仓库分层方法数据仓库各层说明：一、数据加载层：ETL（Extract-Transform-Load）二、数据运营层：ODS（Operational Data Store）三、数据仓库层：DW（Data Warehouse）1. 数据明细层：DWD（Data Warehouse Detail）2. 数据中间层：DWM（Data WareHouse Middle
一、分层Q1:什么是分层？本质：规范化数据的处理流程。实现：每一层在Hive中就是一个数据库。Q2:为什么要分层？清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。数据血缘追踪：简单来讲可以这样理解，我们最终给业务诚信的是一能直接使用的张业务表，但是它的来源有很多，如果有一张来源表出问题了，我们希望能够快速准确地定位到问题，并清楚它的危害范围。减少重复开发：规
理解数仓分层中的分层设计实施什么是分层？决定数据在数据仓库中处理的流程数据从进入到被应用，总共经过哪些步骤在Hive中每一层就是一个数据库，每一层的表放在对应的数据库中为什么要做分层？数仓不做分层数仓做了分层 分层的优点清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解数据血缘追踪：我们最终给业务呈现的是一张能够直接使用放入业务表，但是它的来源有很多，
（五）进阶技术 6. 维度层次 大多数维度都具有一个或多个层次。例如，日期维度就有一个四级层次：年、季度、月和日。这些级别用date_dim表里的列来表示。日期维度是一个单路径层次，因为除了年-季度-月-日这条路径外，它没有任何其它层次。本篇将
本期将从结构层面了解数据仓库分层的几个名词和简单理解。 文章目录1 理想的数据分层总体结构2 DB层：关系型数据库和非关系型数据库2.1 关系型数据库RDB2.2 非关系型数据库NoSQL3 ODS层：操作数据存储层3.1 ODS产生背景3.2 ODS在企业数据架构中担任的角色3.3 ODS层的特征3.4 ODS层的功能4 DW层：数据仓库 1 理想的数据分层总体结构如图可看出理想的数据分层分为四
数仓的分层架构按照数据流入流出的过程，数据仓库架构可分为三层——源数据、数据仓库、数据应用。数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自下而上流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。源数据层（ODS） ：此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。 数据仓库层（
为什么要对数据仓库分层： a)用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据；b)如果不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大c）通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理逻辑都相对
数据仓库数据分层刚开始学习，希望多多指教！先谈谈为什么要进行数据分层？用空间换时间。通过大量的预处理来提升应用系统的效率。如果不分层的话，源业务系统的业务需求发生变化时，会影响整个数据的清洗过程，到时候工作量特别大。可以简化数据清洗的过程。就好比把原先的一整块分成了好多小片，逐一进行清理，很明显能够使清理过程条理更加清晰。数据仓库数据分层总共有四层：ODS（临时存储层），PDW(数据仓库层)，DM
1、CIF 层次架构CIF 层次架构（信息工厂）通过分层将不同的建模方案引入到不同的层次中，CIF 将数据仓库分为四层，如下图所示：① ODS（Operational Data Store）：操作数据存储层，往往是业务数据库表格的一对一映射，将业务数据库中的表格在 ODS重新建立，数据完全一致。② DWD（Data Warehouse Detail）：数据明细层，在 DWD 进行数据的清洗、脱敏、
数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层——源数据、数据仓库、数据应用： 从图中可以看出数据仓库的数据来源
简介数据湖这个概念和数据仓库这两个概念一直搞不清楚，之前感觉区别就是数据湖是数据仓库的父集。数据湖是个伪命题，平时生活中也用不到，然后今天听了我的一个师哥的讲解，然后简单总结下。常见的问题1 数据湖和数据仓库的区别？相似点：都可以处理海量数据，都是为了得到有价值的数据。 不同点：架构上，数仓基本要求符合DDL定义的结构，数据湖则 湖纳百川。 数据上，数仓为结构化数据设计，数据湖，湖纳百川。 模块上
文章目录数据仓库的概念数据库和数据仓库的区别数据仓库分层 数据仓库的概念数据仓库 （data warehouse ）简称DW、DWH，是一个很大的数据存储集合，出于企业的分析性报告和决策支持的目的而创建。它为企业提供一定的BI（商业智能）能力，指导业务流程改进、监视时间、成本、质量和控制。 数据仓库的输入方是各种各样的数据源，最终的输出用于企业的数据分析、数据挖掘、数据报表等方向。数据库和数据仓
基本概念与作用 Shadows, Midtones, Highlights 是 Unity URP 后处理系统中用于颜色分级的重要效果，它允许开发者分别控制画面中的阴影、中间色调和高光部分的颜色调整。 ...
在热门游戏机械键盘里100%布局的104/108键、80%布局的87键这些都是比较常见的，而75%、60%、40%键盘因为键盘比较少、比较特殊也收获了一些忠实粉丝。相较于75%的大体型和40%的键位少，60%键列就成为比较适合日常和外出使用的香饽饽。极度未知HyperX起源60水轴乃至现在也仍是小布局里的热门标杆，随游戏渐入佳境，按键轻柔细无声。HyperX这次在主打型号阿洛伊起源Origins机
ELK 是 Elasticsearch（ES）、Logstash、Kibana 三者的组合，是日志收集、存储、分析、可视化的经典解决方案。日志产生：SpringBoot 项目通过 AOP 拦截系统操作（如接口调用、按钮点击），生成标准化操作日志；日志传输：利用 Logback/Log4j2 将日志输出到文件，或直接通过 TCP/UDP 发送给 Logstash；日志处理：Logstash 接收日志后，进行过滤、格式化（如解析 JSON、提取关键字段）；日志存储。
在WPF中，我们知道界面层可以通过Trigger触发器实现“条件”——“赋值”的功能属性触发器Property Trigger：当Dependency Property的值发生改变时触发。数据触发器Data Trigger： 当普通.NET属性的值发生改变时触发。事件触发器Event Trigger： 当路由时间被触发时调用。属性触发器与数据触发器中又可有多条件触发器，即类似条件语句中“并”的效果