SUSELINUX11SP3 安裝MQ7並配置集群(五)

⑵創建隊列管理器集群:如下所示:
滑鼠右擊「隊列管理集群」 彈出「新建」->「隊列管理器集群」

集群名稱隨便定義,這裡保持默認集群名字:NEWCLUSTER ,點擊」下一步「

這裡選擇第一個完整存儲庫隊列管理器,這裡選擇 「192.168.179.19(1717)」上的」A1」

 

這裡選擇第二個完整存儲庫隊列管理器,這裡選擇 「192.168.179.20(1717)」上的」C1」

直接點擊「下一步」

直接點擊「下一步」

直接點擊「下一步」

直接點擊「完成」

點擊完成後,因為MQ集群內部需要信息同步,所以,需要等待一會兒,可以將MQ 資源管理器退出,再打開,再連接A1,B1,C1,D1,四個隊列管理器。因為MQ將源管理器退出後,會默認失去對遠程隊列管理器連接,需要右擊遠程隊列的鏈接,選擇,連接,如下所示:

然後點擊隊列管理器,確認可以正常看到NEWCLUSTER集群下完整存儲庫里的A1,C1兩個完整存儲庫。如下所示:

將B1,D1作為部分存儲庫的節點,加入到部分存儲庫,如下所示:

Suselinux下infosphere DataStage8.5環境虛擬機文件下載

Suselinux下infosphere DataStage8.5環境虛擬機文件下載,鏈接:https://pan.baidu.com/s/12VTr-uLTWYCm9U9aj10V_g
提取碼:7slm 下載後,用Vmware Worstation 打開,即可以正常使用
IBM® InfoSphere™ Information Server 是一種數據集成軟體平台,能夠幫助企業從散布在各個系統中的複雜異構信息獲得更多價值。InfoSphere Information Server提供了一個統一的平台, 使公司能夠了解、清理、變換和交付值得信賴且上下文豐富的信息。
IBM® InfoSphere™ DataStage® and QualityStage™ 提供了圖形框架,您可使用該框架來設計和運行用於變換和清理、載入數據的作業。
依靠您具有許可證的那些產品,您可以開發可變換和清理、載入數據的並行作業、可變換數據的伺服器作業以及可變換數據的大型機作業。並行作業和伺服器作業在 IBM InfoSphere Information Server 引擎上運行。 大型機作業將生成可在大型機上運行的 COBOL 代碼。
您可以在 IBM InfoSphere DataStage and QualityStage Designer 客戶機中設計作業並在 IBM InfoSphere DataStage and QualityStage Director 客戶機中運行這些作業。 作業以項目的形式組織,您可以使用 IBM InfoSphere DataStage and QualityStage Administrator 客戶機來管理這些項目。 您可以使用 InfoSphere Information Server Manager 來部署作業設計及其間接材料。

ETL是數據倉庫中的非常重要的一環,是承前啟後的必要的一步。ETL負責將分布的、異構數據源中的數據如關係數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成,最後載入到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎。下面給大家介紹一下什麼是ETL以及ETL常用的三種工具(Datastage,Informatica,Kettle)!

1.ETL是什麼?

ETL,是英文 Extract-Transform-Load 的縮寫,用來描述將數據從來源端經過抽取(extract)、轉換(transform)、載入(load)至目的端的過程。(數據倉庫結構)通俗的說法就是從數據源抽取數據出來,進行清洗加工轉換,然後載入到定義好的數據倉庫模型中去。目的是將企業中的分散、零亂、標準不統一的數據整合到一起,為企業的決策提供分析依據。ETL是BI項目重要的一個環節,其設計的好壞影響生成數據的質量,直接關係到BI項目的成敗。

2.為什麼要用ETL工具?

▶ 當數據來自不同的物理主機,這時候如使用SQL語句去處理的話,就顯得比較吃力且開銷也更大。

▶ 數據來源可以是各種不同的資料庫或者文件,這時候需要先把他們整理成統一的格式後才可以進行數據的處理,這一過程用代碼實現顯然有些麻煩。

▶ 在資料庫中我們當然可以使用存儲過程去處理數據,但是處理海量數據的時候存儲過程顯然比較吃力,而且會佔用較多資料庫的資源,這可能會導致數據資源不足,進而影響資料庫的性能。

上面所說的問題,我們用ETL工具就可以解決。它的優點有:

● 支持多種異構數據源的連接。(部分)

● 圖形化的界面操作十分方便。

● 處理海量數據速度快、流程更清晰等。

3.ETL工具介紹

Informatica和Datastage佔據國內市場的大部分的份額。

4.ETL工具差異

Kettle,Datastage,Informatica三個ETL工具的特點和差異介紹:

Suselinux下infosphere DataStage8.5環境虛擬機文件下載,鏈接:https://pan.baidu.com/s/12VTr-uLTWYCm9U9aj10V_g
提取碼:7slm 下載後,用Vmware Worstation 打開,即可以正常使用

操作

都是屬於比較簡單易用,主要是開發人員對於工具的熟練程度。Informatica有四個開發管理組件,開發的時候我們需要打開其中三個進行開發,Informatica沒有ctrl+z的功能,如果對job作了改變之後,想要撤銷,返回到改變前是不可能的。相比Kettle跟Datastage在測試調試的時候不太方便。Datastage全部的操作在同一個界面中,不用切換界面,能夠看到數據的來源,整個job的情況,在找bug的時候會比Informatica方便。Kettle介於兩者之間。

閱讀更多