資料倉儲與OLAP概念

bdarmanali2022@

資料倉儲與線上分析處理 (OLAP) 是商業智慧 (BI) 和決策系統中的基礎概念。它們幫助組織儲存、管理和分析大量的歷史數據和營運數據，從而獲得洞察。

資料倉儲 (DW)：一個集中式儲存庫，用於儲存來自多個來源的整合、清洗和結構化資料。

線上分析處理 (OLAP)：一種能夠對儲存在資料倉儲中的多維資料進行快速互動分析的技術。

2. 資料倉儲的特點

面向主題：圍繞主要業務領域（例如，銷售、財務、庫存）進行組織。

整合：來自多個來源的數據經過標準化和清洗。

非揮發性：資料穩定；僅用於分析，不用於事務處理。

時變性：儲存歷史數據，以便進行時間趨勢分析。

支援決策：針對查詢和報告進行了最佳化，而非事務處理。

3. 資料倉儲架構

典型的資料倉儲架構由多個層組成：

a) 資料來源層

操作型資料庫、外部資料來源、ERP 系統、CRM 系統。

b) ETL 層（擷取、轉換、載入）

擷取：從異質資料來源擷取資料。

轉換：對資料進行清洗、轉換和標準化。

載入：將資料載入到資料倉儲。

c) 資料儲存層

儲存結構化資料和歷史資料的中央儲存庫。

可以使用關聯式資料庫或專用的資料倉儲解決方案。

d) 元資料層

儲存資料倉儲物件的定義、映射和資訊。

幫助使用者和工具有效率地理解和存取資料。

e) 表示/訪問層

用於查詢、報表和視覺化的介面。

工具包括 OLAP 工具、儀錶板和報表軟體。

4. OLAP 概念

OLAP 允許使用者互動式地分析多維數據，支援複雜查詢並實現快速回應。

a) OLAP 關鍵術語

維度：用於分析資料的視角（例如，時間、產品、地區）。

事實：可衡量的事件或交易（例如，銷售額、銷售數量）。

度量：與事實關聯的數值（例如，收入、成本）。

多維資料集：表示事實和維度的多維資料結構。

層次結構：維度內用於向下鑽取或向上匯總的層級（例如，年 → 月 → 日）。

b) OLAP 操作

向上匯總：透過向上遍歷層級結構聚合資料（例如，從月銷售額匯總到年銷售額）。

向下鑽取：將資料細化到較小的粒度（例如，從年銷售額匯總到每月銷售額）。

切片：提取特定維度的資料子集（例如，2025 年的銷售額）。

切塊：透過指定多個維度來選擇子立方體（例如，2025 年 X 地區 A 產品銷售額）。

透視（旋轉）：改變維度方向以獲得更好的分析效果。

5. OLAP 系統類型

類型 說明 範例 用例

MOLAP（多維 OLAP）：將資料儲存在多維立方體中。查詢回應速度快，資料已預先聚合。適用於財務報告。

ROLAP（關聯式 OLAP）：使用關聯式資料庫儲存資料。可即時計算聚合值。適用於大規模企業報告。

HOLAP（混合型 OLAP）：結合了 MOLAP 和 ROLAP；聚合值儲存在立方體中，詳細資料儲存在關聯式資料庫中。效能與儲存效率的平衡

6. OLTP 和 OLAP 的差別

特性 OLTP（線上事務處理） OLAP（線上分析處理）

用途 日常事務處理 決策支援與分析

資料類型 目前運行資料 歷史匯總數據

查詢複雜度 簡單例行查詢 複雜多維查詢

更新頻率 高（插入/更新/刪除） 低（主要為唯讀）

資料庫設計 規範化表 非規範化/星型模式

7. 資料倉儲模型

自頂向下方法（Inmon）：

首先建構企業級資料倉儲。

從資料倉儲中派生出特定部門的資料市集。

自底向上方法（Kimball）：

首先建構部門特定的資料集市。

之後將其整合到企業資料倉儲中。

混合方法：結合兩種方法以提高靈活性。

8. 資料倉儲模式

星型模式：

以事實表為中心，連接多個維度表。

查詢簡單快速。

雪花模式：

將維度表規範化為多個相關表。

節省儲存空間，但查詢略微複雜。

事實星座模式：

多個事實表共享維度表。

支援跨多個業務流程的複雜分析需求。

9. 資料倉儲與 OLAP 的優勢

利用歷史資料洞察進行戰略決策。

提供高速查詢和 兄弟手机清单 報表功能。

支援趨勢分析、預測和商業智慧。

整合來自多個資料來源的數據，實現單一資料來源。

提高數據品質和一致性。

10. 結論

資料倉儲和 OLAP 是現代分析的基石。

資料倉儲：專注於儲存、整合和歷史分析。