| 導購 | 订阅 | 在线投稿
分享
 
 
 

帶你深入了解用于數據倉庫的IBM DB2産品

來源:互聯網  2008-07-01 06:56:52  評論

數據庫應用程序有兩種主要類型:在線事務處理(online transactional processing,OLTP)和數據倉庫,數據倉庫包括在線分析處理(online analytical processing,OLAP)和數據挖掘應用程序。DB2 9 同時適用于這兩種應用程序。OLTP 系統與業務智能(Business Intelligence,BI)數據倉庫系統的區別是什麽?區別在于訪問數據的典型查詢。

OLTP 系統可能是一個 Web 訂購系統,可以通過 Web 執行交易(比如購買産品)。這些應用程序的特征是進行細粒度的單行查詢,可能更新少量的記錄。與之相反,BI 類型的查詢執行大型的表掃描,因爲它們嘗試在大量數據中尋找數據模式。如果要求您彙總西部地區的所有銷售,這就是倉庫查詢。

簡單地說,OLTP 是簡短的查詢,而 BI 是對大量數據進行搜索和彙總以便進行報告。當然,實際情況不只如此,但是現在您知道這麽多就夠了。

包含操作性數據 (運行企業的日常交易的數據)的系統是 OLTP 系統。但是,這些系統包含企業分析師用來了解企業運營情況的信息。例如,他們可以查看某一時間段內在某個地區銷售出了哪些産品。這有助于識別異常情況或對未來的銷售進行規劃。

但是,如果分析師直接訪問操作性(OLTP)數據來進行報告和其他 BI 活動,就會有幾個問題:

他們可能沒有查詢操作性數據庫的專業經驗。一般來說,有查詢操作性數據庫的專業經驗的程序員會負責全職地維護數據庫及其應用程序。

性能對于許多操作性數據庫來說非常重要,比如用來處理銀行事務的數據庫。這些系統不能應付用戶對操作性數據存儲進行特殊的查詢。例如,考慮在線支付帳單的情況。在選擇 OK 時,處理支付常常只需要花費幾秒。現在,假設一個銀行分析師試圖查明某個現有的顧客群花費了多少錢。這個分析師運行一個非常複雜的查詢,導致您的銀行事務現在要花費 30 秒才能完成!顯然,這樣的性能是不可接受的(這可不是分析師希望的結果)。因此,操作性數據存儲和報告性數據存儲(包括 OLAP 數據庫)一般是分開的。

但是,在過去幾年裏,報告性數據存儲已經傾向于變得具有僞操作性和及時性。這種存儲稱爲操作數據存儲(ODS)或活躍數據 倉庫。例如,考慮電信行業的情況。ODS 在這些電信運營公司中很流行,因爲他們需要盡可能快地識別出惡意欠費的情況。DB2 是少數幾種同時適合操作性和報告性工作負載的數據庫。

操作性數據一般沒有采用最適合業務分析師使用的格式。與原始的事務數據相比,按照産品、地區和季節彙總的銷售數據對于分析師要有用得多。

數據倉庫 解決了這些問題。在數據倉庫中可以存儲信息性數據 —— 這些數據是從操作性數據中提取出來的,然後爲幫助最終用戶決策進行了轉換和清理。例如,數據倉庫工具可能會複制操作性數據庫中的所有銷售數據,執行計算來彙總數據,並將彙總的數據寫入一個與操作性數據庫分開的數據庫中。最終用戶可以查詢這個獨立的數據庫(倉庫),而不會影響 OLTP 數據庫。

用于數據倉庫的DB2産品

DB2 是爲幫助實現業務智能化而設計的。DB2 不但是世界上可伸縮性最好的數據庫,它還有一套健壯的業務智能化功能。DB2 有兩個 Data Warehouse Editions(DB2 DWE),以低廉的價格提供一整套數據倉庫工具。這些工具的一部分可以在 DB2 DWE 之外單獨購買,其他工具只能通過 DB2 DWE 包獲得。DB2 DWE 分爲 Base 和 Enterprise 兩個版本。

DB2 DWE 是在強大的 DB2 Enterprise 9 産品上構建的並擴展了它的功能,提高了數據倉庫和分析特性的性能和易用性,幫助進行實時探察和決策的用戶獲得需要的信息。DB2 DWE 特性包括用于倉庫管理、分析應用程序開發、OLAP、數據挖掘以及超大型數據庫(VLDB)查詢和資源管理的工具。

DB2 DW Enterprise Edition 中包含的産品有:

DB2 Enterprise

DB2 Data Partitioning特性

這個特性允許在單一服務器上或者跨服務器集群對數據庫進行分區。DB2 Data Partitioning 爲企業提供了支持超大型數據庫(這是數據倉庫環境中的常見情況)所需的可伸縮性,並可以處理涉及複雜工作負載和高並行性的管理任務。這個特性可以在 DB2 DWE 産品之外單獨購買。

DB2 Data Warehouse Edition Design Studio

DWE Design Studio 是通過包含和擴展一些基于 Eclipse 的 Rational Data Architect(RDA)建模功能形成的,這是一個針對 BI 解決方案的開發環境。Design Studio 將以下任務集成在一個統一的圖形化環境中:物理數據建模(RDA)、DB2 基于 SQL 的倉庫構造、OLAP 多維數據集建模和數據挖掘建模。

這個設計工具使設計人員能夠連接源數據庫和目標數據庫、對物理數據模型進行反向工程、構建 DB2 基于 SQL 的數據流和挖掘流、設置 OLAP 多維數據集以及准備將應用程序部署到運行時系統上。因爲它是基于 Eclipse 框架的,這個工具看起來與 DB2 Developer Workbench 相似。

SQL Warehousing Tool

爲了支持端到端業務智能化解決方案,DB2 DWE 提供了用于倉庫構建和維護的基礎設施,包括用于應用程序設計、部署、執行和管理的工具。

SQL Warehousing Tool 解決了 DB2 數據倉庫環境中的數據集成問題。用戶可以對高層操作的邏輯流進行建模,這會産生組織在執行計劃中的代碼單元。這個工具提供一個元數據系統和 IDE 來創建、編輯和管理這些流,還提供一個能夠理解源圖並將它轉換爲優化的 SQL 代碼的代碼生成系統。當流的開發完成時,這個系統的第二個部分就要發揮作用了:將生成的代碼以及相關聯的工件打包成一個數據倉庫應用程序,這個應用程序可以部署在各種目標運行時系統中。

數據倉庫應用程序開發人員和架構師可以使用 Design Studio 來創建:

源和目標數據庫和表的物理數據模型。

代表數據通過轉換步驟進入目標數據庫中的轉移過程的數據流。例如:

1.SQL 數據流,它們使用 DB2 倉庫構建操作的 SQL 處理功能對來自關系表、平面文件等來源的數據進行處理

2.挖掘流,它們將關鍵的數據挖掘操作集成到基于 SQL 的模型中

3.將可選的 DataStage ETL 作業作爲子流集成的 SQL 數據流

控制流,它們決定一組相關數據流的次序並爲執行這些數據流定義處理規則。

部署包,它們包含構成完整應用程序的所有文件和參數,可以進行安裝和執行。

可以使用 DB2 Data Warehouse Edition 作爲運行引擎,使用 IBM WebSphere® Application Server 軟件提供控制和調度功能,從而執行和管理控制流。WebSphere Application Server 爲數據倉庫應用程序提供運行時部署環境。管理員可以從 Web 客戶計算機運行基于浏覽器的 Data Warehouse Edition Administration Console 來訪問 WebSphere。

DB2 Data Warehouse Edition Administration Console

DB2 DWE Administration Console 是一個用于管理和監視 BI 應用程序的基于 Web 的應用程序。安裝在 WebSphere Application Server 上之後,DWE Administration Console 使用 Web 客戶機訪問和部署在 DWE 中建模和設計的數據倉庫應用程序。這個控制台使用 WebSphere 安全模型,使用戶能夠以管理員、經理和操作員的角色從統一的控制台頁面執行各種管理任務。這個控制台支持 5 類功能:

DWE Common:創建數據源並爲 OLAP 和挖掘啓用數據庫。

SQL Warehousing:部署、調度和監視在 Design Studio 中創建的數據倉庫應用程序。訪問與進程相關聯的統計數據和日志並排除運行時故障。

OLAP:導入和導出多維數據集模型、使用 OLAP 優化器並顯示多維數據集模型的元數據內容,比如它的表、聯結、度量和屬性。

Mining:查看、導出、更新和刪除挖掘數據庫中的模型。還可以將挖掘模型導入到數據庫中以及將模型裝載進緩存中。這個挖掘可視化工具可以提供挖掘模型的圖形化表示。

Alphablox:啓動本機的 Alphablox Administration 工具。

DB2 Data Warehouse Edition OLAP Acceleration

以前稱爲 DB2 Cube Views。通過使用 DWE Design Studio 和 Administration Console 中的 OLAP 功能,用戶可以創建、操作、優化、部署、導入或導出多維數據集模型、多維數據集和在 OLAP 分析中使用的其他元數據對象。DWE Design Studio 提供了容易使用的向導和窗口來幫助用戶處理 OLAP 元數據。

DB2 Data Warehouse Edition Data Mining

通過使用 DB2 DWE 數據挖掘特性,可以發現數據中隱藏的關系,而不需要將數據導出到特殊的數據挖掘計算機上或者借助于少量數據樣本。DB2 DWE 爲一些建模操作提供了 DB2 擴展:市場籃分析、市場分割、分析等等。

DB2 Data Warehouse Edition Data Visualization Feature

用來顯示創建的挖掘模型。

DB2 Alphablox analytics

DB2 Alphablox 提供了快速創建基于 Web 的定制應用程序的能力,使應用程序能夠適應公司的基礎設施並能夠爲公司防火牆內外的用戶服務。用 DB2 Alphablox 構建的應用程序在標准 Web 浏覽器中運行,允許從客戶計算機執行實時的高度可定制的多維分析。DB2 Alphablox 與 DWE Cube Views 緊密集成,DWE Cube Views 提供常用的元數據並爲 Alphablox 多維分析進行數據庫優化。

DB2 Data Warehouse Edition Query Workload Management Feature

DB2 Query Patroller 是 DWE 的查詢工作負載管理特性。這個産品也可以在 DB2 DWE 包之外單獨購買。DB2 Query Patroller 是一個強大的查詢管理系統,可以使用它以下面的方式前瞻性地動態控制 DB2 數據庫的查詢流:

爲不同規模的查詢定義不同的查詢類,從而更好地在查詢之間分享系統資源並防止較小的查詢被大型查詢阻斷。

給某些用戶提交的查詢設置高優先級,讓這些查詢可以更早地運行。

自動地識別大型查詢,這樣就可以取消它們或者將它們調度到低谷時間段運行。

跟蹤和取消長時間運行的查詢。

DB2 Query Patroller 的特性使您能夠控制數據庫的查詢負載,讓小型查詢和高優先級的查詢可以快速運行,並讓系統資源得到高效利用。

還可以收集和分析關于已經完成的查詢的信息,從而判斷查詢、高負載用戶以及常用表和索引中的趨勢。管理員可以使用 DB2 Query Patroller:

在系統級和用戶級設置資源使用策略。

通過取消或重新調度那些影響數據庫性能的查詢,動態地監視和管理系統的資源使用。

生成有助于識別數據庫使用情況趨勢的報告,比如訪問了哪些對象以及哪些用戶和用戶組産生的工作負載最大。

查詢提交者可以使用 DB2 Query Patroller 監視他們提交的查詢;存儲查詢結果供以後檢索或重用,這實際上可以避免提交重複的查詢;設置各種首選項來優化他們的查詢提交,比如在查詢完成時是否希望接收電子郵件通知。

數據庫應用程序有兩種主要類型:在線事務處理(online transactional processing,OLTP)和數據倉庫,數據倉庫包括在線分析處理(online analytical processing,OLAP)和數據挖掘應用程序。DB2 9 同時適用于這兩種應用程序。OLTP 系統與業務智能(Business Intelligence,BI)數據倉庫系統的區別是什麽?區別在于訪問數據的典型查詢。 OLTP 系統可能是一個 Web 訂購系統,可以通過 Web 執行交易(比如購買産品)。這些應用程序的特征是進行細粒度的單行查詢,可能更新少量的記錄。與之相反,BI 類型的查詢執行大型的表掃描,因爲它們嘗試在大量數據中尋找數據模式。如果要求您彙總西部地區的所有銷售,這就是倉庫查詢。 簡單地說,OLTP 是簡短的查詢,而 BI 是對大量數據進行搜索和彙總以便進行報告。當然,實際情況不只如此,但是現在您知道這麽多就夠了。 包含操作性數據 (運行企業的日常交易的數據)的系統是 OLTP 系統。但是,這些系統包含企業分析師用來了解企業運營情況的信息。例如,他們可以查看某一時間段內在某個地區銷售出了哪些産品。這有助于識別異常情況或對未來的銷售進行規劃。 但是,如果分析師直接訪問操作性(OLTP)數據來進行報告和其他 BI 活動,就會有幾個問題: 他們可能沒有查詢操作性數據庫的專業經驗。一般來說,有查詢操作性數據庫的專業經驗的程序員會負責全職地維護數據庫及其應用程序。 性能對于許多操作性數據庫來說非常重要,比如用來處理銀行事務的數據庫。這些系統不能應付用戶對操作性數據存儲進行特殊的查詢。例如,考慮在線支付帳單的情況。在選擇 OK 時,處理支付常常只需要花費幾秒。現在,假設一個銀行分析師試圖查明某個現有的顧客群花費了多少錢。這個分析師運行一個非常複雜的查詢,導致您的銀行事務現在要花費 30 秒才能完成!顯然,這樣的性能是不可接受的(這可不是分析師希望的結果)。因此,操作性數據存儲和報告性數據存儲(包括 OLAP 數據庫)一般是分開的。 但是,在過去幾年裏,報告性數據存儲已經傾向于變得具有僞操作性和及時性。這種存儲稱爲操作數據存儲(ODS)或活躍數據 倉庫。例如,考慮電信行業的情況。ODS 在這些電信運營公司中很流行,因爲他們需要盡可能快地識別出惡意欠費的情況。DB2 是少數幾種同時適合操作性和報告性工作負載的數據庫。 操作性數據一般沒有采用最適合業務分析師使用的格式。與原始的事務數據相比,按照産品、地區和季節彙總的銷售數據對于分析師要有用得多。 數據倉庫 解決了這些問題。在數據倉庫中可以存儲信息性數據 —— 這些數據是從操作性數據中提取出來的,然後爲幫助最終用戶決策進行了轉換和清理。例如,數據倉庫工具可能會複制操作性數據庫中的所有銷售數據,執行計算來彙總數據,並將彙總的數據寫入一個與操作性數據庫分開的數據庫中。最終用戶可以查詢這個獨立的數據庫(倉庫),而不會影響 OLTP 數據庫。 用于數據倉庫的DB2産品 DB2 是爲幫助實現業務智能化而設計的。DB2 不但是世界上可伸縮性最好的數據庫,它還有一套健壯的業務智能化功能。DB2 有兩個 Data Warehouse Editions(DB2 DWE),以低廉的價格提供一整套數據倉庫工具。這些工具的一部分可以在 DB2 DWE 之外單獨購買,其他工具只能通過 DB2 DWE 包獲得。DB2 DWE 分爲 Base 和 Enterprise 兩個版本。 DB2 DWE 是在強大的 DB2 Enterprise 9 産品上構建的並擴展了它的功能,提高了數據倉庫和分析特性的性能和易用性,幫助進行實時探察和決策的用戶獲得需要的信息。DB2 DWE 特性包括用于倉庫管理、分析應用程序開發、OLAP、數據挖掘以及超大型數據庫(VLDB)查詢和資源管理的工具。 DB2 DW Enterprise Edition 中包含的産品有: DB2 Enterprise DB2 Data Partitioning特性 這個特性允許在單一服務器上或者跨服務器集群對數據庫進行分區。DB2 Data Partitioning 爲企業提供了支持超大型數據庫(這是數據倉庫環境中的常見情況)所需的可伸縮性,並可以處理涉及複雜工作負載和高並行性的管理任務。這個特性可以在 DB2 DWE 産品之外單獨購買。 DB2 Data Warehouse Edition Design Studio DWE Design Studio 是通過包含和擴展一些基于 Eclipse 的 Rational Data Architect(RDA)建模功能形成的,這是一個針對 BI 解決方案的開發環境。Design Studio 將以下任務集成在一個統一的圖形化環境中:物理數據建模(RDA)、DB2 基于 SQL 的倉庫構造、OLAP 多維數據集建模和數據挖掘建模。 這個設計工具使設計人員能夠連接源數據庫和目標數據庫、對物理數據模型進行反向工程、構建 DB2 基于 SQL 的數據流和挖掘流、設置 OLAP 多維數據集以及准備將應用程序部署到運行時系統上。因爲它是基于 Eclipse 框架的,這個工具看起來與 DB2 Developer Workbench 相似。 SQL Warehousing Tool 爲了支持端到端業務智能化解決方案,DB2 DWE 提供了用于倉庫構建和維護的基礎設施,包括用于應用程序設計、部署、執行和管理的工具。 SQL Warehousing Tool 解決了 DB2 數據倉庫環境中的數據集成問題。用戶可以對高層操作的邏輯流進行建模,這會産生組織在執行計劃中的代碼單元。這個工具提供一個元數據系統和 IDE 來創建、編輯和管理這些流,還提供一個能夠理解源圖並將它轉換爲優化的 SQL 代碼的代碼生成系統。當流的開發完成時,這個系統的第二個部分就要發揮作用了:將生成的代碼以及相關聯的工件打包成一個數據倉庫應用程序,這個應用程序可以部署在各種目標運行時系統中。 數據倉庫應用程序開發人員和架構師可以使用 Design Studio 來創建: 源和目標數據庫和表的物理數據模型。 代表數據通過轉換步驟進入目標數據庫中的轉移過程的數據流。例如: 1.SQL 數據流,它們使用 DB2 倉庫構建操作的 SQL 處理功能對來自關系表、平面文件等來源的數據進行處理 2.挖掘流,它們將關鍵的數據挖掘操作集成到基于 SQL 的模型中 3.將可選的 DataStage ETL 作業作爲子流集成的 SQL 數據流 控制流,它們決定一組相關數據流的次序並爲執行這些數據流定義處理規則。 部署包,它們包含構成完整應用程序的所有文件和參數,可以進行安裝和執行。 可以使用 DB2 Data Warehouse Edition 作爲運行引擎,使用 IBM WebSphere® Application Server 軟件提供控制和調度功能,從而執行和管理控制流。WebSphere Application Server 爲數據倉庫應用程序提供運行時部署環境。管理員可以從 Web 客戶計算機運行基于浏覽器的 Data Warehouse Edition Administration Console 來訪問 WebSphere。 DB2 Data Warehouse Edition Administration Console DB2 DWE Administration Console 是一個用于管理和監視 BI 應用程序的基于 Web 的應用程序。安裝在 WebSphere Application Server 上之後,DWE Administration Console 使用 Web 客戶機訪問和部署在 DWE 中建模和設計的數據倉庫應用程序。這個控制台使用 WebSphere 安全模型,使用戶能夠以管理員、經理和操作員的角色從統一的控制台頁面執行各種管理任務。這個控制台支持 5 類功能: DWE Common:創建數據源並爲 OLAP 和挖掘啓用數據庫。 SQL Warehousing:部署、調度和監視在 Design Studio 中創建的數據倉庫應用程序。訪問與進程相關聯的統計數據和日志並排除運行時故障。 OLAP:導入和導出多維數據集模型、使用 OLAP 優化器並顯示多維數據集模型的元數據內容,比如它的表、聯結、度量和屬性。 Mining:查看、導出、更新和刪除挖掘數據庫中的模型。還可以將挖掘模型導入到數據庫中以及將模型裝載進緩存中。這個挖掘可視化工具可以提供挖掘模型的圖形化表示。 Alphablox:啓動本機的 Alphablox Administration 工具。 DB2 Data Warehouse Edition OLAP Acceleration 以前稱爲 DB2 Cube Views。通過使用 DWE Design Studio 和 Administration Console 中的 OLAP 功能,用戶可以創建、操作、優化、部署、導入或導出多維數據集模型、多維數據集和在 OLAP 分析中使用的其他元數據對象。DWE Design Studio 提供了容易使用的向導和窗口來幫助用戶處理 OLAP 元數據。 DB2 Data Warehouse Edition Data Mining 通過使用 DB2 DWE 數據挖掘特性,可以發現數據中隱藏的關系,而不需要將數據導出到特殊的數據挖掘計算機上或者借助于少量數據樣本。DB2 DWE 爲一些建模操作提供了 DB2 擴展:市場籃分析、市場分割、分析等等。 DB2 Data Warehouse Edition Data Visualization Feature 用來顯示創建的挖掘模型。 DB2 Alphablox analytics DB2 Alphablox 提供了快速創建基于 Web 的定制應用程序的能力,使應用程序能夠適應公司的基礎設施並能夠爲公司防火牆內外的用戶服務。用 DB2 Alphablox 構建的應用程序在標准 Web 浏覽器中運行,允許從客戶計算機執行實時的高度可定制的多維分析。DB2 Alphablox 與 DWE Cube Views 緊密集成,DWE Cube Views 提供常用的元數據並爲 Alphablox 多維分析進行數據庫優化。 DB2 Data Warehouse Edition Query Workload Management Feature DB2 Query Patroller 是 DWE 的查詢工作負載管理特性。這個産品也可以在 DB2 DWE 包之外單獨購買。DB2 Query Patroller 是一個強大的查詢管理系統,可以使用它以下面的方式前瞻性地動態控制 DB2 數據庫的查詢流: 爲不同規模的查詢定義不同的查詢類,從而更好地在查詢之間分享系統資源並防止較小的查詢被大型查詢阻斷。 給某些用戶提交的查詢設置高優先級,讓這些查詢可以更早地運行。 自動地識別大型查詢,這樣就可以取消它們或者將它們調度到低谷時間段運行。 跟蹤和取消長時間運行的查詢。 DB2 Query Patroller 的特性使您能夠控制數據庫的查詢負載,讓小型查詢和高優先級的查詢可以快速運行,並讓系統資源得到高效利用。 還可以收集和分析關于已經完成的查詢的信息,從而判斷查詢、高負載用戶以及常用表和索引中的趨勢。管理員可以使用 DB2 Query Patroller: 在系統級和用戶級設置資源使用策略。 通過取消或重新調度那些影響數據庫性能的查詢,動態地監視和管理系統的資源使用。 生成有助于識別數據庫使用情況趨勢的報告,比如訪問了哪些對象以及哪些用戶和用戶組産生的工作負載最大。 查詢提交者可以使用 DB2 Query Patroller 監視他們提交的查詢;存儲查詢結果供以後檢索或重用,這實際上可以避免提交重複的查詢;設置各種首選項來優化他們的查詢提交,比如在查詢完成時是否希望接收電子郵件通知。
󰈣󰈤
 
 
 
>>返回首頁<<
 
 
 
 
 熱帖排行
 
王朝網路微信公眾號
微信掃碼關註本站公眾號 wangchaonetcn
 
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有