提取碼:opfr 下載後,用Vmware workstation打開,即可以正常使用。
大數據時代下,機構管理的數據容量呈現爆炸式的增長。不僅在大型數據倉庫中需要被採集並分析的歷史性數據如此,交易和操作型報表系統的業務數據存儲也是如此。一家運營店面的年度數據增幅達到了 25-30% 或更多,如今的平均業務數據量在TB級別。面對不斷增長的數據量,企業不僅需要高性能的數據存儲,更需要安全的管理和效率的提升。Sybase Adaptive Server Enterprise 15.7作為一款低本高效、能夠處理超大數據集的關係型數據庫管理系統(RDBMS),繼承了Sybase ASE 15在企業數據管理方面的卓越成績,在優化存儲、開發效率、性能、診斷與監測以及安全管理等方面進行功能改進,滿足企業日益增長的數據需求,直面大數據時代對企業數據庫管理帶來的全新挑戰。
Sybase ASE 15的超卓之處
一直以來,Sybase ASE以其可靠、卓越的性能和低總擁有成本贏得全球三萬多名客戶的信賴,支撐了全球90%以上的頂級銀行和證券公司數據管理業務。
隨着大數據時代的來臨,企業事務處理系統面臨著由爆炸性的數據增長,不斷提升的業務複雜度和高度分佈、全球化以及「永遠在線」的應用所帶來的新挑戰。早在2005年9月,Sybase推出 了ASE 15,旨在滿足在TB級別的運營環境中所帶來數據管理需求,不僅能處理華爾街—聯機交易系統每分鐘處理2百萬筆交易這種近乎苛刻的數據系統,還要同時運行日間報告和操作型決策支持系統。這種能處理高要求的交易系統和業務報表系統的和諧共存的「混合負載」功能,正是ASE 15 的過人之處。同時,Sybase ASE 15 為ASE 產品線全面引入了重大技術提升,無論是重新設計的查詢處理引擎還是支持語義分區,都為無縫處理TB規模的數據而精確設計。
自那之後,Sybase ASE 15.0.1、 Sybase ASE 15.0.2、Sybase ASE 15.0.3、Sybase ASE 15.5 陸續為產品線添加大量新功能。最值得注意的是,Sybase ASE15.0.2 引入了許多軟件開發者和數據庫管理軟件所需的大量新功能,例如用戶自定義的SQL函數,替代觸發器、行鎖定系統目錄、xml表格、若干安全性與加密增強功能、新的統計匯總功能,以及許多其他性能、監測與診斷功能;ASE 15.0.3 通過支持向 ASE 中插入現成的Java 運行環境(JRE),以及 J2SE 這樣的 JVM 組件,引入了對 Java 的一流支持;ASE 15.5中添加了一個完全集成的內存數據庫功能,這是業界首次在傳統基於磁盤的數據庫中無縫集成內存中的數據庫,令企業得以處理大批量市場數據,進行批量操作。
此外,Sybase 還推出了共享磁盤的集群版,以滿足在關鍵任務的企業級 ASE 安裝中對連續可用性的要求。ASE 15.0.1 CE(集群版)是歷時數年研發的巔峰之作。Sybase 在其數據庫技術領域持續激進的投資得到了回報,且因其在贏得新客戶能力和市場份額方面的卓越提高而屢獲殊榮。
Sybase ASE 15.7——直面大數據時代挑戰
2011年9月,全新版本的企業數據管理解決方案Sybase ASE 15.7正式上市,作為SAP® Business Suite商務套件的最佳平台,ASE 15.7不僅為SAP客戶提供了一個強大的數據庫平台,也可以讓現有的Sybase ASE客戶方便地採用最新功能和優化特性,而不需要升級數據庫。更為重要的是,具有全新先進壓縮功能的ASE 15.7還可以節省磁盤空間、提高並行硬件的性能和可擴展性,有效管理非結構化數據。強大的功能足以應對大數據時代對數據處理性能、類型、安全等方面的挑戰。
Sybase ASE 15.7的五大看點
看點一:面向存儲的優化
當前,全球信息量正在以59%以上的年增長率增長,這對企業管理數據、業務方面提出了新的挑戰。這可以歸為以下幾點原因:監管部門要求保留更長期的數據,更大的交易量,非結構化數據的增多(圖像、文本、音頻和視頻),或是需要為決策支持系統保留更長時期的數據。雖然磁盤本身更加便宜了,但數據的增長繼續為數據中心帶來嚴峻的挑戰。
不僅如此,隨着硬件成本、軟件許可成本、數據中心佔地空間和能耗成本、數據傳輸和帶寬成本,勞動力成本被計入保有該數據的總體成本之中,存儲成本迅速上升。而這甚至還沒有將輸入/輸出數據以及緩存數據的需求所帶來的性能成本考慮在內。
ASE15.7 推出了以下特性,以減少對存儲的需求:
· 壓縮
ASE 15.7 可以對活動的數據集進行數據庫內壓縮。無論普通關係型數據還是非結構化數據(大對象或LOB)都可以被壓縮。初期的內部基準測試表明,壓縮比可以輕鬆達到 50-80%。
本博主安裝與配置好的windows2008 下sybase15.7數據庫和InFormix11.5數據庫環境虛擬機下載,鏈接:https://pan.baidu.com/s/1thMnnoGwZCXsMIgpdMC6HA
提取碼:opfr 下載後,用Vmware workstation打開,即可以正常使用。
同時,ASE 15.7採用了一系列壓縮策略來實現高壓縮比,包括在單一行內進行壓縮,以便將固定長度列內空格/零壓縮掉。在頁面塊層面,既包含針對頁詞典,也包含針對頁面索引的壓縮策略。重複的數據條目和數據集被單一的引用所取代,從而減少了大量重複數據。數據可以在數據庫、表格或分區級別進行壓縮,允許客戶對活動和非活動的數據分別設置壓縮選項。
ASE 15.7 支持數據庫中 LOB 壓縮。由於 LOB 可以非常大(高達2GB),壓縮可節省大量空間。此外,ASE 15.7還支持 FastLZ 和 ZLib 壓縮技術,這二者是無損壓縮算法。前者的CPU使用率更低、處理時間更短,而後者可獲得更高的壓縮比。
客戶可靈活選擇數據庫、表格或是列上的 LOB 壓縮。
· 行內 LOB
現代軟件越來越需要管理與處理非結構化數據。這種數據被作為 LOB 列進行存儲(例如文本、圖像、unitext、XML 等)。LOB 大小不一,從數比特到數 GB 都有。ASE 通過分配單獨的存儲區塊,從母數據行中指向它們,從而優化LOB 存儲。這對於處理更大的 LOB 而言非常有效。ASE 15.7 現已強化了這一功能,還支持行內 LOB,以應對 LOB 較小且牢靠地契合在母數據行內。
這帶來兩個好處:優化的小型 LOB 空間分配帶來存儲空間的節省,並且通過減少額外的I/O開銷,來提高小型 LOB 的讀取速度。
ASE 可無縫從行內 LOB 向行外 LOB 存儲遷移(或反之)。對於因更新而導致的 LOB 大小上的變化,永遠保持優化存儲。
· 非物化的非空列無需進行數據拷貝
在過去,向現有的表格追加非空列需要對數據進行完整拷貝,這在遇到非常龐大的表格時尤其不方便。ASE 15.7 現在可以創建非物化的非空列。這意味着無需真正執行數據拷貝(複製數據需要佔用大量臨時空間,等於原有的表格大小),即可新建列。這既節約了空間,也節省了時間。
· 事務日誌壓縮
事務日誌常會因為以下幾個原因變得非常龐大:擴大處理完整日誌的情形,支持可能需要大量空間的一次性操作,甚或是由於在容量規劃時估計值過高。而ASE 15.7 可以壓縮事務日誌。
看點二:應用程序開發效率提升
ASE 15.7 提供了為數眾多的增強功能,用來提高應用程序的開發效率。
· 更簡單並且更高效的 LOB 讀取與運算
除了支持前面討論過的行內 LOB 之外,ASE 15.7 還推出了 LOB 定位器的概念。LOB 定位器實際上就是一個句柄(指針),指向緩存在 ASE 服務器內存中的 LOB。客戶端應用程序可以將定位器作為主機變量和參數標記來發送和接收。當客戶端應用程序需要讀取、搜索或更新 LOB 時,它通過 LOB 定位器與與服務器進行通信,而不是發送和接收真正的 LOB。這極大地減少了客戶端與服務器之間的網絡流量,還減少了對於客戶端內存的需求。
它提供了一系列適用於 LOB 的 T-SQL 指令。這些指令可以方便輕鬆地對 LOB (LOB 的截斷和串聯,提取 LOB 中子字符串等等)進行運算。ODBC 客戶端可以運用這些 T-SQL 指令來操作 LOB。jConnect JDBC 驅動程序支持用Blob、Clob、NClob 等級訪問定位器。
· 針對並發和隔離級別的更大靈活性
LOB 現在還能作為已存儲流程的參數進行傳輸。這給在存儲的流程內部操控 LOB 提供了更大的靈活性,並且為開發人員減少了代碼的複雜程度。
· SQL 表現力增強
ASE 15.7 還提供了一系列 T-SQL 更新,可實現更大的 SQL 表現力和對於並發及隔離級別的語義的控制力。這其中包括:
支持 MERGE 語句,可從源表格(表格、視圖派生表)將行傳輸到目標表格;
SELECT FOR UPDATE 可實現鎖定選定的行,以便日後更新;
對所有隔離級別,支持在游標關閉活動事務時釋放游標讀取鎖;
各種嵌套SELECT語句的增強;
支持在鏈式事物模式下運行所有系統過程和特定DDL語句。
· 支持腳本語言驅動程序
ASE 15.7 給程序開發人員帶來的另一個好處是通過Sybase所提供與支持的腳本語言驅動程序,如 python、PHP 以及 perl。對於大量熟悉這些語言的開發者來說,就能輕鬆利用這項特性。
看點三:診斷與監測的提升
ASE 15.7 圍繞診斷和監測提供了眾多的的增強功能。其中包括:
可在語句緩存中保存抽象計劃信息;
可以用XML輸出緩存計劃;
可在運行查詢之前分析動態參數,這可以避開低效的查詢計劃;
可監測鎖定超時;
可通過系統過程(相當於獨立 optdiag 實用工具的T-SQL實現)顯示各種對象的統計數據和直方圖;
可監測游標語句;
可分析生成的查詢計劃,選擇用以理解ASE查詢計劃的各種背後因素(通過 sp_opt_querystats 系統過程)。
這一系列的增強的功能允許軟件開發商深入探尋 ASE 優化器的決策制定過程,並找出可以進一步微調和優化性能之處。監測表格的功能也被增強了,為複雜的程序開發商以及 DBA 提供更多信息。
ASE 15.7 還推出了 sybdiag 實用工具,,可以協助加速客戶事例(case)管理與故障診斷流程。這款基於 Java 的工具收集完整的 ASE 配置與環境數據,生成一個 .zip 輸出文件,包含 HTML 和數據文件,可以被解壓縮並在網絡瀏覽器中查看。收集到的信息包含操作系統與環境數據,ASE 配置和監測值,以及各種文件和腳本,而不是從數據表中收集諸如登錄、密碼、用戶列表或信息等數據。
Sybdiag 工具,提供單一指令客戶可用來獲得 Sybase 客服與支持方面重要的診斷信息,從而減少 Sybase 支持與客戶雙方的溝通周期和時間成本。
看點四:加強安全性管理
針對大數據時代強調的數據安全問題,ASE 15.7 推出了數項增強的安全措施。
· 對象所有權變更
在企業中,經常會發生員工職責更替或離職、合併以及收購,或是將研發與維護的工作外包,造成對象(表格、過程等)的創建者與維護者不是同一人。ASE 15.7推出了方便更改對象所有權的功能,可輕鬆將對象所有權從一個所有者更換到另一個所有者。
· 支持登錄參數文
ASE 15.7 之前的版本中,ASE每一次 登錄都必須被單獨管理。這可能會比較繁冗,並在實施影響到大批用戶的政策變化時遇到困難。ASE 15.7 推出了登錄參數文件,這是由 SQL 定義的屬性存儲器,保存了登錄參數及其他數值(諸如默認數據庫、登錄腳本、自動激活角色、授權等)。一組登錄用戶可以共用同一個登錄參數文件。這方便了管理,並可以靈活地實現安全政策,並遵守變化的監管要求。
此外,ASE 15.7 還推出密碼支持/雙重管控,以保護密鑰(在支付卡行業數據標準 PCI-DSS 有所要求),並配合更好的符合 FIPS 140-2 規定的加密方式——將角色密碼用 SHA256 進行加密,對外部服務器密碼和隱藏的 SQL 文本用 AES256 進行加密,並支持單點登錄以及端到端 Kerberos 密碼傳遞。
看點五:性能提升
本博主安裝與配置好的windows2008 下sybase15.7數據庫和InFormix11.5數據庫環境虛擬機下載,鏈接:https://pan.baidu.com/s/1thMnnoGwZCXsMIgpdMC6HA
提取碼:opfr 下載後,用Vmware workstation打開,即可以正常使用。
ASE 15.7 集中改善了以下兩個方面的性能:
· 減少了查詢延遲,尤對於動態 SQL 而言
ASE 15.7 推出了用於查詢執行的多種內部優化功能,可減少查詢執行時的額外開銷。這包括圍繞緩存進行優化,重複利用多次查詢的查詢編譯信息,減少在網絡上發送的用來獲取結果集的元數據,利用全局動態 SQL 緩存預製好的語句,以便在不同的會話之間重複利用,對不訪問表格並且沒有結果集的查詢執行更高效,高效處理游標讀取(fetch)語句,並可在語句緩存中存儲游標查詢計劃。
· 可更好地利用並行硬件的 ASE 內核
該內核升級增強了 ASE 在擁有非常多的處理器、處理器內核以及硬件線程的系統中的可擴展性。該更新還提供了對於輸入/輸出事件處理的整合,並減少了 ASE 服務器內部輸入/輸出的額外開銷。這些強化的功能將不僅改善輸入/輸出性能,還將有助於 ASE 系統在虛擬環境中的表現。
總結
正因為Sybase ASE 15.7顯著改善了大數據性能,降低了企業管理成本,從而得以為全球知名企業稱讚並應用。
「通過Sybase ASE 15.7這樣一個更加強大的平台來運行SAP ERP,Sybase允許DBA集中於更關鍵的任務,同時確保性能優勢」, Bradmark Technologies的首席執行官Bradley Tashenberg說,「為了兌現對Sybase的承諾,我們繼續提供一個前所未有的監控解決方案,以確保我們共同客戶的數據庫高效、持續並以最大的運行時間來運行。」
憑藉Sybase ASE 15.7,Sybase將繼續在大數據時代位於數據管理領導地位。
Informix 數據庫目前最新的版本是 11.5,從 Informix 9、Informix 10 到 Informix 11.5,在數據庫性能、數據庫管理及應用開發等方面都有了很大的提高,而且推出了很多非常有用的新特性。通過對這些特性的使用,可以大大提高數據庫性能、增強數據庫可管理性及應用開發的靈活性。我們這裡,給大家介紹其中的一些特性,希望對大家能有所幫助。
數據庫管理方面的一些實用特性
使用可配置的頁面大小
我們知道,在 Informix 中,數據存儲的最基本的單位是頁,在 Informix 10 版本之前,數據頁面的大小是固定的,不能被改變,通常,在 sun、HP 等平台上,數據頁的大小為 2K,AIX 及 windows 平台,數據頁的大小為 4K 。從 Informix 10 版本開始,我們可以配置 Informix 數據庫頁面的大小,數據庫頁面的大小可以是 2K-16K 。通過提供可配置的頁面大小功能,可以給我們帶來很多好處:
- 空間使用的效率會更高
從 Informix 10 開始,一個頁面可以達到 16K 的連續空間,可以更有效的使用數據空間。比如說,我們表中一行的數據大小為 1200 位元組,那麼,當使用 2K 大小頁面時,只能存放 1 行數據,3 行數據需要 6K 大小空間;如果採用 4K 大小頁面,那麼 3 行數據可以放在一個 4K 頁面上,空間會節省 %33 。那麼,當對 30 行數據而言,如果採用 2K 大小頁面時,需要佔用 60k 大小空間,如果採用 4K 大小頁面時,只需要佔用 40k 大小空間,如果採用 6k 大小頁面時,則僅需要佔用 36k 大小空間 , 可以節省 40% 的空間。 - 支持更大的索引鍵值, 最大可以達到 3K 。
這樣,我們可以在一個索引頁面上放置更多的索引鍵,支持更大的鍵值,而不需要增加索引樹的層次。採用可配置頁面大小功能,可以顯著提高具有大量重複索引鍵值情況下的處理性能。 - 存取效率的提高
通過採用可配置頁面大小功能,可以降低數據頁和索引頁的 IO 操作次數,提高存取效率。通過配置頁面大小,很長的記錄行可以只存放在單個頁面上,降低了讀取每條記錄的頁面數目;在以前的版本中,超長的記錄需要 remainders pages,採用大的頁面足夠用來存放整條記錄,略去了訪問 remainders pages 的時間;大的索引頁面可以存放更多的索引項,從而降低了索引的層數,減少了在索引樹上遍歷的開銷;在決策支持應用的環境中,使用大的頁面可以降低全表掃描的頁面的數目,提高運行效率。
我們可以在數據庫空間(dbspace)級別以及緩衝池(buffer pool)級別來定義數據頁面的大小,其範圍可以是 2K-16K,而且定義的數據頁面大小必須是系統缺省頁面大小的倍數。可配置的頁面大小功能需要系統開啟大塊(large chunk)功能。
在創建 dbspace 時,這個特性允許指定標準或臨時 dbspace 的頁大小。如果要使用比默認頁大小所允許的鍵長更長的鍵,可能需要指定非默認的頁大小。 根 dbspace 使用默認的頁大小。如果希望指定頁大小,指定的值必須是默認頁大小的整數倍,而且不能超過 16 KB 。
數據庫高可用集群方面的一些實用特性
用戶的關鍵業務系統,特別是 OLTP 系統,都要求提供 24X7 不間斷的應用服務,這就要求數據庫系統能夠提供強大的高可用能力。這種能力不僅僅體現在主機及備機的接管方面,同時要能夠提供遠程容災能力,以及本地的負載均衡能力。針對上述對數據庫的要求,Informix 從版本 6 開始, 就提供了 HDR 技術,它是通過數據庫的事務日誌的方式實現了主、備機互相接管的功能,當主機工作時,備機提供只讀功能,因此,備機可以提供查詢、報表等功能,實現負載分擔的功能,當主機發生故障,備機會自動接管,實現主機及備機的接管功能。從 Informix 7.2.2 版本開始,Informix 數據庫提供了 ER(Enterprise Replication) 數據庫複製技術,它也是通過讀取數據庫日誌的方式實現數據同步功能,當源數據庫數據發生變化後,Informix 數據庫通過讀取數據庫日誌,將變化的數據及時同步到目標數據庫,採用 ER 的方式,和 HDR 不同,HDR 數據庫的接管是基於數據庫服務器的,也就是它的作用範圍是基於整個實例的,而 ER 的作用範圍是作用於一個表,你可以靈活定義需要複製哪些數據列及數據行,而且可以靈活定義數據複製的方式,是採用主從方式、匯總方式還是雙向複製方式。從 Informix 11 開始,Informix 數據庫提供了 SDS(Shared Disk Secondary)、RSS(Remote Standalone Secondary)、CLR(Continuous Log Restore) 等高可用集群技術,提供了更加強大的高可用能力。從 Informix 11.5 開始,HDR、SDS、RSS 備機都支持讀寫能力,提供了更強大的負載均衡能力。同時,從 Informix 11.5 開始,Informix 還提供了 Connection Manager 功能部件,它可以提供 SLA(Service Level Agreement) 功能,更好地實現負載均衡的能力,同時提供了 FOC(Fail Over Connection) 功能,實現透明故障接管能力,而且,所有這些對客戶端應用來說是透明的。
從 Informix 11 版本開始,Informix 已將其檢查點算法替換為事實上的非阻塞檢查點算法。現在,Informix Dynamic Server 允許應用程序在發生檢查點處理期間繼續處理事務。 Informix Dynamic Server 監視工作負載及過去的檢查點性能,並更加頻繁地觸發檢查點以避免關鍵資源(如物理或邏輯日誌)耗盡,確保事務在檢查點處理期間不會受到阻塞。對於那些對響應時間很敏感的應用程序,原先使用主動 LRU 清倉減少檢查點靜止時間的方法可能被更改。由於事務處理在檢查點處理期間不會受到阻塞,因此 LRU 清倉的主動性可能有所下降。讓 LRU 清倉的主動性下降可以增強事務性能。
Informix 11 數據庫中的非阻塞檢查點技術是一個非常重要的技術,使用它,可以顯著提高數據庫性能,從 Informix 11 開始,非阻塞檢查點是數據庫默認的檢查點操作。同樣,當我們採用 Informix 11 中的 RTO 技術後,數據庫的崩潰恢復操作時間也可以由我們自己把握,顯著提高了數據庫服務質量水平 SLA(Service Level Agreement)。
從 Informix 11.5 xC4 開始,Informix 數據庫提供了行壓縮技術,它採用一種靜態的基於字典的壓縮算法,將表(table)或表分區(table fragments)中的數據行中重複的數據模式映射到一個佔用空間較少的符號,從而減少表格或表分區數據的總大小。這些重複的數據模式不僅可以是一列中的數據,也可以是一列中的部分數據,甚至可以是跨數據列的數據。通過採用行壓縮技術,Informix 11.5 可以節省高達 80% 的存儲空間。同時,由於數據是採用壓縮方式存儲,I/O 讀取效率會有 20% 左右的提高,內存使用效率會更高,數據庫備份及恢復的時間也得到相應的減少。
通過使用行壓縮技術,不僅可以節省數據存儲空間,還可以提高數據庫處理性能,加快數據庫備份及恢復的操作時間。
本博主安裝與配置好的windows2008 下sybase15.7數據庫和InFormix11.5數據庫環境虛擬機下載,鏈接:https://pan.baidu.com/s/1thMnnoGwZCXsMIgpdMC6HA
提取碼:opfr 下載後,用Vmware workstation打開,即可以正常使用。
以下文章點擊率最高
Loading…