明细表与聚合表:聚合的逻辑过程
业务明细表和问题聚合表:聚合的起点和终点
业务明细表
业务明细表由字段和记录组成
- 记录(Record):业务的每一次交易或事务,对应明细表中的一行数据,称为记录
字段(Field):关键字段为5W2H,即谁(Who)、在何时(When)、于何地(Where)、给谁(Whom)、以何种方式(How)、提供了什么(What)、交易的相关数值分别多少(How much)。其他的字段是这些关键字段的延伸。这些字段对应明细表中的一列数据
明细表的详细级别(Table LOD),使用使用字段的组合标记来进行描述,如“销售明细表”中,可以用“订单ID*产品ID”的组合标记数据表行明细记录的唯一性
问题聚合表
问题聚合表可以是关系型数据,也可以是交叉表样式,甚至可以转化为可视化图形、动画等高级形态
问题的详细级别代表了问题聚合的抽象化程度
交叉表和可视化图形是问题聚合表的两种展现方式问题“各类别的销售额”对应的问题聚合表,其详细级别是“类别”;而问题“各订单年度、各获客年度的销售额”对应的问题聚合表,其详细级别是“订单年度*获客年度
为了提高分析的效率,避免频繁查询对业务系统稳定性的影响,数据仓库随之发展起来。各种聚合中间表是数据仓库的重要组成部分,它们在复杂的问题分析中充当了临时明细表的作用,是业务数据表和最终问题分析的桥梁。物理表与逻辑表:数据表的抽象类型
问题聚合表也是主观的、动态的、转瞬即逝的,这种依赖于主观问题而存在的存在,可以称为“逻辑上的存在”,对应的数据表称为“逻辑表”(Logical Table)。
这一点和数仓的理念不太相同,数仓更多时候是将聚合表落地存储,而非动态聚合
业务明细表是客观的、结构稳定的,可以称为“物理上的存在”,对应的数据表称为“物理表”(Physical Table)
数据类型与字段角色:数据表字段的抽象类型
- 数据类型是客观的,是相对于数据表字段列的数据值而言的
- 字段角色是主观的,是相对于构成问题的要素而言的,维度、度量的分类依据是字段是否被聚合。
没有评论