本博主配置好的Centos6.5下安裝MyCat與MYSQL5.6實現讀寫分離、主從切換、分庫分表集群環境虛擬機下載，鏈接：https://pan.baidu.com/s/1U5gMon3-jWSh_PfjQPS1Xw
提取碼：vow8 下載後，用Vmware workstation 打開，即可以使用。
系統開發中，數據庫是非常重要的一個點。除了程序的本身的優化，如：SQL語句優化、代碼優化，數據庫的處理本身優化也是非常重要的。主從、熱備、分表分庫等都是系統發展遲早會遇到的技術問題問題。Mycat是一個廣受好評的數據庫中間件，已經在很多產品上進行使用了。下面就針對Mycat的基礎知識和應用做一總結性梳理，這些內容有的是從網上收集的，有的是自己做的測試驗證信息，如有錯誤，煩請諒解和指出！
一、MyCat簡單介紹
MyCat是一個開源的分佈式數據庫系統，是一個實現了MySQL協議的服務器，前端用戶可以把它看作是一個數據庫代理（類似於Mysql Proxy），用MySQL客戶端工具和命令行訪問，而其後端可以用MySQL原生協議與多個MySQL服務器通信，也可以用JDBC協議與大多數主流數據庫服務器通信，其核心功能是分表分庫，即將一個大表水平分割為N個小表，存儲在後端MySQL服務器里或者其他數據庫里。
MyCat發展到目前的版本，已經不是一個單純的MySQL代理了，它的後端可以支持MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流數據庫，也支持MongoDB這種新型NoSQL方式的存儲，未來還會支持更多類型的存儲。而在最終用戶看來，無論是那種存儲方式，在MyCat里，都是一個傳統的數據庫表，支持標準的SQL語句進行數據的操作，這樣一來，對前端業務系統來說，可以大幅降低開發難度，提升開發速度。
Mycat可以簡單概括為
– 一個徹底開源的，面向企業應用開發的大數據庫集群
– 支持事務、ACID、可以替代MySQL的加強版數據庫
– 一個可以視為MySQL集群的企業級數據庫，用來替代昂貴的Oracle集群
– 一個融合內存緩存技術、NoSQL技術、HDFS大數據的新型SQL Server
– 結合傳統數據庫和新型分佈式數據倉庫的新一代企業級數據庫產品
– 一個新穎的數據庫中間件產品
Mycat關鍵特性
– 支持SQL92標準
– 遵守Mysql原生協議，跨語言，跨平台，跨數據庫的通用中間件代理
– 基於心跳的自動故障切換，支持讀寫分離，支持MySQL主從，以及galera cluster集群
– 支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster
– 基於Nio實現，有效管理線程，高並發問題
– 支持數據的多片自動路由與聚合，支持sum,count,max等常用的聚合函數,支持跨庫分頁
– 支持單庫內部任意join，支持跨庫2表join，甚至基於caltlet的多表join
– 支持通過全局表，ER關係的分片策略，實現了高效的多表join查詢
– 支持多租戶方案
– 支持分佈式事務（弱xa）
– 支持全局序列號，解決分佈式下的主鍵生成問題
– 分片規則豐富，插件化開發，易於擴展
– 強大的web，命令行監控
– 支持前端作為mysq通用代理，後端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉
– 支持密碼加密
– 支持服務降級
– 支持IP白名單
– 支持SQL黑名單、sql注入攻擊攔截
– 支持分表（1.6）
– 集群基於ZooKeeper管理，在線升級，擴容，智能優化，大數據處理（2.0開發版）
本博主配置好的Centos6.5下安裝MyCat與MYSQL5.6實現讀寫分離、主從切換、分庫分表集群環境虛擬機下載，鏈接：https://pan.baidu.com/s/1U5gMon3-jWSh_PfjQPS1Xw
提取碼：vow8 下載後，用Vmware workstation 打開，即可以使用。
二、為什麼要用MyCat
這裡要先搞清楚Mycat和MySQL的區別（Mycat的核心作用）。我們可以把上層看作是對下層的抽象，例如操作系統是對各類計算機硬件的抽象。那麼我們什麼時候需要抽象？假如只有一種硬件的時候，我們需要開發一個操作系統嗎？再比如一個項目只需要一個人完成的時候不需要leader，但是當需要幾十人完成時，就應該有一個管理者，發揮溝通協調等作用，而這個管理者對於他的上層來說就是對項目組的抽象。
同樣的，當我們的應用只需要一台數據庫服務器的時候我們並不需要Mycat，而如果你需要分庫甚至分表，這時候應用要面對很多個數據庫的時候，這個時候就需要對數據庫層做一個抽象，來管理這些數據庫，而最上面的應用只需要面對一個數據庫層的抽象或者說數據庫中間件就好了，這就是Mycat的核心作用。所以可以這樣理解：數據庫是對底層存儲文件的抽象，而Mycat是對數據庫的抽象。
三、Mycat工作原理
Mycat的原理並不複雜，複雜的是代碼。Mycat的原理中最重要的一個動詞是「攔截」，它攔截了用戶發送過來的SQL語句，首先對SQL語句做了一些特定的分析：如分
片分析、路由分析、讀寫分離分析、緩存分析等，然後將此SQL發往後端的真實數據庫，並將返回的結果做適當的處理，最終再返回給用戶。
上述圖片里，Orders表被分為三個分片datanode（簡稱dn)，這三個分片是分佈在兩台MySQL Server上(DataHost)，即datanode=database@datahost方式，因此你可以用一台到N台服務器來分片，分片規則為（sharding rule)典型的字符串枚舉分片規則，一個規則的定義是分片字段（sharding column)+分片函數(rule function)，這裡的分片字段為prov而分片函數為字符串枚舉方式。
當Mycat收到一個SQL時，會先解析這個SQL，查找涉及到的表，然後看此表的定義，如果有分片規則，則獲取到SQL里分片字段的值，並匹配分片函數，得到該SQL對應的分片列表，然後將SQL發往這些分片去執行，最後收集和處理所有分片返回的結果數據，並輸出到客戶端。以select * from Orders where prov=?語句為例，查到prov=wuhan，按照分片函數，wuhan返回dn1，於是SQL就發給了MySQL1，去取DB1上的查詢結果，並返回給用戶。本博主配置好的Centos6.5下安裝MyCat與MYSQL5.6實現讀寫分離、主從切換、分庫分表集群環境虛擬機下載，鏈接：https://pan.baidu.com/s/1U5gMon3-jWSh_PfjQPS1Xw
提取碼：vow8 下載後，用Vmware workstation 打開，即可以使用。
如果上述SQL改為select * from Orders where prov in (『wuhan』,『beijing』)，那麼，SQL就會發給MySQL1與MySQL2去執行，然後結果集合併後輸出給用戶。但通常業務中我們的SQL會有Order By 以及Limit翻頁語法，此時就涉及到結果集在Mycat端的二次處理，這部分的代碼也比較複雜，而最複雜的則屬兩個表的Jion問題，為此，Mycat提出了創新性的ER分片、全局表、HBT（Human Brain Tech)人工智能的Catlet、以及結合Storm/Spark引擎等十八般武藝的解決辦法，從而成為目前業界最強大的方案，這就是開源的力量！
四、Mycat應用場景
Mycat發展到現在，適用的場景已經很豐富，而且不斷有新用戶給出新的創新性的方案，以下是幾個典型的應用場景：
– 單純的讀寫分離，此時配置最為簡單，支持讀寫分離，主從切換；
– 分表分庫，對於超過1000萬的表進行分片，最大支持1000億的單表分片；
– 多租戶應用，每個應用一個庫，但應用程序只連接Mycat，從而不改造程序本身，實現多租戶化；
– 報表系統，藉助於Mycat的分表能力，處理大規模報表的統計；
– 替代Hbase，分析大數據；
– 作為海量數據實時查詢的一種簡單有效方案，比如100億條頻繁查詢的記錄需要在3秒內查詢出來結果，除了基於主鍵的查詢，還可能存在範圍查詢或其他屬性查詢，此時Mycat可能是最簡單有效的選擇；
– Mycat長期路線圖；
– 強化分佈式數據庫中間件的方面的功能，使之具備豐富的插件、強大的數據庫智能優化功能、全面的系統監控能力、以及方便的數據運維工具，實現在線數據擴容、遷移等高級功能；
– 進一步挺進大數據計算領域，深度結合Spark Stream和Storm等分佈式實時流引擎，能夠完成快速的巨表關聯、排序、分組聚合等 OLAP方向的能力，並集成一些熱門常用的實時分析算法，讓工程師以及DBA們更容易用Mycat實現一些高級數據分析處理功能。
– 不斷強化Mycat開源社區的技術水平，吸引更多的IT技術專家，使得Mycat社區成為中國的Apache，並將Mycat推到Apache
基金會，成為國內頂尖開源項目，最終能夠讓一部分志願者成為專職的Mycat開發者，榮耀跟實力一起提升。
五、Mycat不適合的應用場景
– 設計使用Mycat時有非分片字段查詢，請慎重使用Mycat，可以考慮放棄！
– 設計使用Mycat時有分頁排序，請慎重使用Mycat，可以考慮放棄！
– 設計使用Mycat時如果要進行表JOIN操作，要確保兩個表的關聯字段具有相同的數據分佈，否則請慎重使用Mycat，可以考慮放棄！
– 設計使用Mycat時如果有分佈式事務，得先看是否得保證事務得強一致性，否則請慎重使用Mycat，可以考慮放棄！
本博主配置好的Centos6.5下安裝MyCat與MYSQL5.6實現讀寫分離、主從切換、分庫分表集群環境虛擬機下載，鏈接：https://pan.baidu.com/s/1U5gMon3-jWSh_PfjQPS1Xw
提取碼：vow8 下載後，用Vmware workstation 打開，即可以使用。
以下文章點擊率最高
Loading…