TMT观察网_独特视角观察TMT行业

4月19日，繼阿里巴巴西溪園區舉辦之后，雙11數據庫技術峰會第二站來到了深圳，與華南地區的企業一起相聚在深圳科興科學園，共同探討數據庫技術。雙11是互聯網的超級工程，這次的深圳站雙11數據庫技術峰會現場，尤其珠三角地區的企業來賓熱度高漲，分享嘉賓全面地揭秘了超級工程背后的數據庫技術，會后仍有很多來賓與分享嘉賓交流探討。

阿里巴巴新一代數據庫X-DB亮相深圳站

X-DB使用最極限的技術，支撐最極限的數據庫壓力

曲山是阿里資深的數據庫內核研發，典型的工科技術男，這次帶來X-DB的純干貨分享。X-DB是在阿里誕生的新一代分布式數據庫，具備高性能、低成本、全球化部署等特點。為了實現這些特點，X-DB采用軟硬件一體化設計。高可用上，X-DB使用自研的X-Paxos協議實現跨AZ、Region的數據強一致能力，同時可以實現高達5個9的持續可用性。X-DB底層存儲引擎是自研的X-Engine，實現自動冷熱數據分離、支持計算和存儲分離架構，底層實現使用了Cache-Conscious Index、Parallel Logging & Recover、Lock Free & Latch Free、Adaptive Concurrency Control、Adaptive Data Lifecycle Management、Hybrid Row-Column Store、Adaptive Encoding & Compression、事務處理流水線等一系列“黑”科技，來實現X-DB的高性能和低成本。X-DB基于阿里巴巴的盤古2.0，可以實現存儲的按需擴展。X-DB還與FPGA深度結合，實現從單純用FPGA到自研FPGA IP的升級（FPGA加速與X-Engine存儲引擎緊密結合），對于計算密集型的任務，如Compaction、Compression/Decompression都直接轉移到FPGA上完成。

數據庫的雙11—互聯網的超級工程

劉昆是雙十一數據庫的負責人，每年的雙十一是他最忙碌，也是最興奮的時候。從業務發展過程中不斷對技術提出更高標準的需求開始展開，介紹了阿里數據庫發展的全貌；從最早的單機集中式數據庫，到分庫分表的分布式，到跨城市的異地多活實現，一直到今天的阿里第四代分布式數據庫架構體系X-DB。為了保障每年雙十一數據庫的穩定，數據庫團隊做了大量的技術探索和創新，包括X-KV（數據庫上的高性能KV接口）、使用ESDB實現的賣家庫的二級散列、數據庫優化引擎-CloudDBA等。高性能，高可用，低成本是所有企業追求的永恒的話題，只用不斷用最新的思考，最新的技術，才能不斷進步，為業務提供更好的數據庫服務，用技術驅動商業的發展。

阿里云RDS上的雙十一

阿里云上有豐富的數據庫引擎，包括了MySQL、SQL Server、PostgreSQL、Redis、MongoDB等等。如果你的業務是在阿里云上，那么凌洛帶來的這個分享，一定會讓你受益匪淺。數據安全是云上的重中之重，RDS通過訪問控制、網絡隔離、數據加密、行為審計、服務授權等多種方式立體的保護云上的數據安全。另外，凌洛還介紹了各種使用RDS的技巧，例如，如何根據具體的業務場景調節RDS的參數，實現最適合業務的高性能；如何選擇RDS的鏈路類型，協調安全和性能；如何通過云端提供的CloudDBA服務實現數據庫的診斷和優化；如何實現平滑的云端彈性擴容實踐。

穩定、高性能的分布式數據庫產品DRDS

DRDS是阿里云上的一款數據庫分庫分表產品，在阿里巴巴內部廣泛的被使用（內部是TDDL）。這次阿里架構師慶濤，詳細的介紹了阿里分布式數據的架構方案和它所解決的問題。隨著業務快速發展，數量和在線事務的壓力也會越來越大，一個很自然的想法就是把在線大表拆分成多個小的分片。DRDS應運而生，很簡單的提供了非常高的在線事務處理能力、也很好的解決單機數據存儲性能容量有限的問題。但是，分布式數據庫架構也會帶來一些新的挑戰，比如如何實現全局唯一的主鍵，不帶拆分鍵的查詢性能問題，如何實現跨表的連接等。慶濤從DRDS的實現架構角度分別給出解決方案：自增序列支持、異構二級索引、分布式Join下推等。從業務角度來看，諸如會員注冊、登錄業務、紅包發放和領用業務、買賣家訂單業務場景需求等在DRDS下都可以得到很好的滿足。阿里的分布式數據庫產品DRDS，以及周邊相關的數據遷移DTS（用于上云遷移和容災）、RDS或混合云管控HDM（用于數據庫自動化運維）、數據管理DMS（用于數據變更和查詢等），在公有云和專有云都逐步開始輸出。我們的愿景是讓每一個企業都可以享受到阿里數據庫產品的能力。

阿里的企業數據安全管理之路

倩薇是阿里數據管理產品DMS（阿里內部對應的是iDB）的產品專家。隨著Facebook用戶隱私問題的持續發酵，越來越多的企業已經意識到數據安全的重要性。但是，一直以來安全和效率之前的平衡，讓很多企業在發展初期，都忽略了數據安全體系的建設。倩薇介紹了阿里內部的數據庫服務平臺iDB如何在保障安全的基礎上，讓研發人員依舊可以最高效的訪問、管理數據庫。iDB輸出到阿里云之后的產品是數據管理DMS企業版，它實現了WEB端、全操作可審計的的細粒度權限管控、數據查詢、庫表結構設計、性能監控、SQL審核、生產發布、靈活的變更審批流程定義等，可以快速幫你實現數據安全成熟度等級3級以上的服務能力。

阿里自研時序數據庫HiTSDB

在剛剛過去的3月份的深圳云棲大會上，阿里云總裁胡曉明宣布：阿里巴巴全面進軍IoT，5年內發展100億設備，IoT是阿里巴巴集團繼電商、金融、物流、云計算后新的主賽道。IoT的設備所產生的大量、持續的數據對數據存儲產生了新的挑戰，HiTSDB應運而生。阿里巴巴高級專家悠你，向大家介紹時序數據庫的基本概念和它在存儲時序數據的優勢，IoT設備所生產的數據一般為數值型，數據量很大，在查詢的時候往往需要做特定的處理。如果使用傳統的關系型數據庫存儲，一般會遇到下面的問題：寫入瓶頸、擴展性差、聚合查詢性能差等。HiTSDB通過創新的數據存儲、倒排索引、高壓縮比緩存、分布式聚合引擎等技術，解決了時序數據高效的存儲和查詢的問題。

企業級數據庫容災建設與選型

阿里巴巴的異地多活是企業數據容災建設的一個典型的案例。異地多活解決了單地資源容量的限制，實現業務層面的高可用、實現業務的全球化就近訪問。核心的挑戰包括跨地區數據一致性、業務快速切換的持續可用的保障等。在這次峰會中，數據架構師明磊詳細介紹了異地多活的實現架構和演進，以及在阿里環境中的具體實現形態。明磊也提到，在企業發展的不同階段應該根據成本、實現難度等多個角度考慮企業的容災建設：最簡單我們可以通過離線數據備份的方式實現初步的容災；也可以選擇阿里云DBS實現實時數據備份；進一步，可以通過DTS等數據同步產品，實現在線容災數據庫；更進一步，實現異地雙活/多活，把數據庫的RPO/RTO同時降到最低。另外，混合云數據庫管理HDM將會通過上層封裝，將用戶的容災建設的實施成本降低到最低。