凌晨4點,一場頂尖科技巨頭的硬戰(zhàn)
?深響原創(chuàng) · 作者|劉亞瀾
01
“我們還是回滾到Oracle吧?!瘪R來西亞最大電商公司之一PrestoMall的數(shù)據(jù)工程師敲下這句話后,阿里云架構(gòu)師鄭旦和在吉隆坡、北京、杭州三地的同事們,面臨著3個月工作一夜歸零的險境。
2019年12月6日的凌晨4點,本該在0點啟動的數(shù)據(jù)庫遷移行動,推遲了4個小時。他們要將公司成立5年來的所有線上交易、線下分析報表數(shù)據(jù)從Oracle數(shù)據(jù)庫切換到阿里云的數(shù)據(jù)庫PolarDB上。數(shù)據(jù)總量超過5T,類似5年時間不間斷,每秒300多筆記錄,所累積的數(shù)據(jù)量。
三個月前,PrestoMall分布在印度、韓國、大馬的研發(fā)團隊,以及唯一一位數(shù)據(jù)庫工程師,都覺得這個想法太瘋狂了。5T數(shù)據(jù)的遷移絕不是小事,更何況數(shù)據(jù)庫涉及所有線上核心業(yè)務(wù),而任何的數(shù)據(jù)差錯,都會帶來業(yè)務(wù)問題。而且他們新選的數(shù)據(jù)庫供應(yīng)商來自阿里巴巴,后者旗下的Lazada 可是他們的競爭對手。
但PrestoMall還是做出了決定——上云!
之前PrestoMall使用的32核Oracle數(shù)據(jù)庫,屢屢遇到問題,高峰時間段在線交易的瞬間激增、大量數(shù)據(jù)的持續(xù)存儲,讓業(yè)務(wù)隨時處于崩潰的邊緣。2019年12月,PrestoMall的Oracle許可證將到期,是否繼續(xù)沿用的問題,提前被提上議程。
如果切換上云成功,PrestoMall預(yù)期可以節(jié)省90%的數(shù)據(jù)庫費用,相關(guān)的IT成本也有望下降40%。因此,在9月初,公司開始與東南亞市場上的數(shù)據(jù)庫供應(yīng)商接觸。
權(quán)威機構(gòu)Gartner報告顯示,微軟Azure、亞馬遜AWS、阿里云Alibaba Cloud是云數(shù)據(jù)庫份額前三廠商,因為都是A開頭,簡稱3A。作為亞洲增速最快的經(jīng)濟體之一,東南亞市場是必爭之地。
從當(dāng)?shù)毓こ處煹恼J知上講,微軟Azure總體品牌認知度最高,本身有SQLServer的長期積淀,亞馬遜AWS的Aurora是最早商用的云數(shù)據(jù)庫,具有性能上的口碑,并且也脫胎于電商業(yè)務(wù)。
無論找誰,用云數(shù)據(jù)庫替代Oracle等傳統(tǒng)數(shù)據(jù)庫都是勢在必行。
PrestoMall網(wǎng)站
阿里巴巴副總裁、達摩院數(shù)據(jù)庫首席科學(xué)家李飛飛是攻下市場的關(guān)鍵角色。
李飛飛曾經(jīng)是猶他大學(xué)終身教授任、ACM杰出科學(xué)家,在數(shù)據(jù)庫領(lǐng)域擁有非常大的影響力,2018年李飛飛加入阿里巴巴,現(xiàn)任阿里云數(shù)據(jù)庫負責(zé)人,花名:飛刀。
“今年要幫助1000家企業(yè)去O,10000套傳統(tǒng)數(shù)據(jù)倉庫上云。”李飛飛在2020年6月9日對外公布了一組數(shù)字。這個目標(biāo)不是單方面的商業(yè)計劃,而是基于客戶表達的強烈需求。李飛飛這一發(fā)言具有全球指標(biāo)性意義。
“他的英語交流出色,在數(shù)據(jù)庫領(lǐng)域又有科學(xué)家和大公司團隊負責(zé)人雙重身份,客戶很容易認可?!奔軜?gòu)師西壁說,李飛飛花了大量時間,幫助東南亞銷售團隊與客戶接觸。
阿里巴巴數(shù)據(jù)庫團隊很少坐下來向客戶做長篇演說推廣。西壁認為他們的競爭優(yōu)勢在于:“第一是場景,PolarDB已經(jīng)支持雙11多年,秒殺、直播等場景也都是客戶感興趣的;第二是直接讓客戶到自己系統(tǒng)中試用,接受檢驗?!?br />
根據(jù)PrestoMall的需求,9月末,阿里和其他廠商一起提交了“去O”的遷移方案以及兼容性評測報告。然而,評測結(jié)果是PolarDB產(chǎn)品由于采用分布式架構(gòu),當(dāng)時版本對Oracle數(shù)據(jù)兼容性相對低,以及價格還更高。
堅持采用分布式架構(gòu),而不是只照顧兼容性,是李飛飛加入數(shù)據(jù)庫團隊后,與各個骨干達成的共識。因為這種架構(gòu)能支持不同類型的數(shù)據(jù)庫,共同高效調(diào)用資源。當(dāng)時,團隊剛剛快速從過去兼容MySQL的PolarDB數(shù)據(jù)庫產(chǎn)品中,抽出了一款針對Oracle客戶快速切換的產(chǎn)品PolarDB-O。
當(dāng)時,PolarDB-O尚在公測期,李飛飛竟然就要面向國際客戶服務(wù)。鄭旦在阿里巴巴有7年數(shù)據(jù)庫架構(gòu)師經(jīng)驗,完成了多個事業(yè)部的“去O”;這個目標(biāo)仍然讓她感到“太快了”——“當(dāng)時,團隊剛剛改變建制,我突然就被拉到一個群,說你去負責(zé)這個馬來西亞客戶?!?br />
東南亞項目容易“費力不討好”。語言、編程習(xí)慣、3A的瘋狂競爭、遠程成本……各種因素隨時都可能讓項目夭折。
為了最終遷移順利,鄭旦團隊和多個研發(fā)小組,甚至要計劃在上海完全模擬了一套復(fù)刻客戶同體量的數(shù)據(jù),模擬從Oracle遷移的每一個細微環(huán)節(jié)。
但由于評測報告并不占優(yōu),接下來的工作只能提速。數(shù)據(jù)庫相關(guān)團隊整個國慶加班迭代,并派出多名成員前往馬來西亞。阿里云智能總裁行癲曾經(jīng)對內(nèi)多次談到,核心技術(shù)大件放到國際上競爭,絕不能只靠“價格低”、“阿里出品”來吸引客戶。
經(jīng)過現(xiàn)場對未來場景的幾輪商談,阿里豐富的電商實踐檢驗,最終更有說服力。但無論鄭旦們,還是Prestomall的工程師們,仍然感覺到巨大的不確定性。
02
阿里云數(shù)據(jù)庫團隊對東南亞市場并不陌生,心動網(wǎng)絡(luò)就是阿里云服務(wù)的客戶之一。在熱門的游戲出海領(lǐng)域,心動網(wǎng)絡(luò)打造了游戲社區(qū)TapTap,近幾年在海外的擴張勢頭也格外兇猛,《碧藍航線》《第五人格》等國內(nèi)爆款游戲均通過心動網(wǎng)絡(luò)與國外玩家見面。
一直以來,游戲出海行業(yè)里關(guān)注更多的是如何獲取海外流量、如何內(nèi)容本地化,鮮少有人關(guān)注討論在線娛樂型流量的底層支撐與命門——數(shù)據(jù)庫和數(shù)據(jù)倉庫。前者支撐和記錄玩家的所有交互行為;后者則要將大數(shù)據(jù)實時提供給運營團隊數(shù)據(jù)洞察,便于做出及時的玩法和策略調(diào)整。
TapTap的全球化運營與交付模式,意味著他們需要有支撐各區(qū)域部署的“數(shù)字大腦”,而相互之間,又最好使用統(tǒng)一的大件模塊。
然而伴隨著業(yè)務(wù)的擴張,互聯(lián)網(wǎng)公司原有的大量MySQL數(shù)據(jù)庫面臨挑戰(zhàn),數(shù)據(jù)備份慢、業(yè)務(wù)延遲大,游戲發(fā)版前對數(shù)據(jù)備份動輒需要幾小時,非常影響發(fā)布效率。心動網(wǎng)絡(luò)最早在東南亞市場使用了亞馬遜AWS Aurora。
隨著阿里云自研的云原生數(shù)據(jù)庫PolarDB在當(dāng)?shù)亻_設(shè)服務(wù),心動網(wǎng)絡(luò)選擇了這一成本更低、性能更優(yōu)、曾經(jīng)扛住了雙11大規(guī)模高并發(fā)的伙伴。
從MySQL到AWS Aurora再到PolarDB,必須平衡數(shù)據(jù)庫遷移諸多細節(jié)、稍有差池后果不堪設(shè)想。為此,阿里云有兩個重要的遷移工具保障這個過程,DTS用于數(shù)據(jù)的遷移、ADAM用于業(yè)務(wù)層相關(guān)的遷移。兩個產(chǎn)品對主流數(shù)據(jù)庫種類的支持規(guī)模,都是業(yè)內(nèi)最高。
而另一家游戲出海領(lǐng)頭羊莉莉絲,代表作包括《萬國覺醒》、《劍與遠征》,則在兩年前就開始利用阿里云的云原生數(shù)據(jù)倉庫AnalyticDB,幫助數(shù)據(jù)架構(gòu)師和運營人員及時分析游戲運行情況,及時調(diào)整策略。這個數(shù)據(jù)倉庫產(chǎn)品,也在2020年拿下TPC-DS性能榜全球第一的桂冠,代表著性能和性價比的巔峰水平。
《火炬之光》手游將由心動網(wǎng)絡(luò)研發(fā)并在亞洲范圍內(nèi)發(fā)行
互聯(lián)網(wǎng)數(shù)據(jù)處理和存儲場景越來越要求彈性、智能化。PrestoMall、心動網(wǎng)絡(luò)、莉莉絲冒著風(fēng)險更換數(shù)據(jù)庫的選擇也并非個例。
相比之下,“去O”的趨勢雖然已經(jīng)明朗,但趨勢歸趨勢,要從Oracle遷移數(shù)據(jù)的難度,其實大大復(fù)雜于其他開源數(shù)據(jù)庫。
鄭旦告訴「深響」,因為Oracle數(shù)據(jù)庫版本繁多,不同客戶創(chuàng)建報表的邏輯差異很大,基于DTS和ADAM產(chǎn)品,PrestoMall項目需要改動的代碼不到5%,但仍然帶來不少升級優(yōu)化需求。
03
數(shù)據(jù)庫的市場并不大,卻聚集了全球高科技巨頭核心的研發(fā)力量。
據(jù)不同的統(tǒng)計口徑,全球數(shù)據(jù)庫市場規(guī)模在300億美金到600億美金之間。相比于全球云計算數(shù)千億美元級別的規(guī)模,這不算是最大的一塊肥肉。
但數(shù)據(jù)庫的戰(zhàn)略位置十分特殊,其承載了一個企業(yè)客戶最核心的數(shù)據(jù)資產(chǎn),而每一次遷移,都意味著相當(dāng)?shù)娘L(fēng)險。數(shù)據(jù)庫的選擇,往往也也會影響企業(yè)對存儲、服務(wù)器等其他大件的消費,粘性高、撬動后續(xù)服務(wù)的能力強。
微軟、Oracle、SAP、亞馬遜AWS、Google、IBM、阿里巴巴、騰訊、華為……全球頂級科技巨頭在數(shù)據(jù)庫領(lǐng)域已經(jīng)鏖戰(zhàn)了數(shù)十載,亞馬遜AWS的CTO Werner Vogels更是多次強調(diào):“數(shù)據(jù)庫是云計算的終極之戰(zhàn)(Real Battle)?!?/strong>
如果要用云數(shù)據(jù)庫取代傳統(tǒng)數(shù)據(jù)庫,這相當(dāng)于將現(xiàn)有每年數(shù)據(jù)庫500億美元市場中,約70%的份額分流。按照行業(yè)預(yù)測增速,未來三年數(shù)據(jù)庫市場總銷售額約在1800億元。
從商業(yè)數(shù)據(jù)庫到開源數(shù)據(jù)庫、云原生數(shù)據(jù)庫,從海外巨頭占絕對主導(dǎo)地位到如今國內(nèi)外頭部玩家在新賽道上同步起跑,當(dāng)下的數(shù)據(jù)庫和十年前的數(shù)據(jù)庫已然不是同一個概念。
歷史上,最早的數(shù)據(jù)庫要追溯到20世紀(jì)70年代,1968年IBM推出了第一代數(shù)據(jù)庫DB1,1970年IBM工程師EdgarCodd寫下了最早的關(guān)系型數(shù)據(jù)模型構(gòu)想的論文。隨后的30年間出現(xiàn)了Oracle、Informix、Sybase、Sybase與微軟合作的SQLServer等著名的數(shù)據(jù)庫公司。
全球數(shù)據(jù)庫產(chǎn)業(yè)在2000年前后進行了第一次大戰(zhàn)并主要形成IBM、微軟、Oracle三巨頭格局,那也是商業(yè)數(shù)據(jù)庫的時代。
2000年以后,互聯(lián)網(wǎng)和云計算技術(shù)變革為數(shù)據(jù)庫技術(shù)帶來了“釜底抽薪”的底層計算系統(tǒng)變化,帶來了以開源、分布式和云計算為主導(dǎo)的新數(shù)據(jù)庫時代。
2018年10月,阿里云第一次出現(xiàn)在Gartner全球數(shù)據(jù)庫魔力象限(包括傳統(tǒng)和云數(shù)據(jù)庫市場份額)。第二年,阿里云就成為最接近“領(lǐng)導(dǎo)者”象限的“挑戰(zhàn)者”,整個市場呈現(xiàn)7強格局:微軟、Oracle、SAP、AWS、Google、IBM和阿里云。
歷史進程中的數(shù)據(jù)庫
在數(shù)據(jù)量很少的時候(百GB),傳統(tǒng)的數(shù)據(jù)庫如SQLServer、Oracel、DB2等可以完成大多數(shù)場景對數(shù)據(jù)管理的要求。但隨著數(shù)據(jù)越來越多、負載越來越高、對數(shù)據(jù)分析的需求開始出現(xiàn),企業(yè)意識到了商業(yè)數(shù)據(jù)庫的局限性。
這時候云原生數(shù)據(jù)庫廠商開始把商業(yè)數(shù)據(jù)庫以及開源的數(shù)據(jù)庫搬到云上,給客戶以租用的方式提供服務(wù)。云原生數(shù)據(jù)庫更是有目共睹——低成本、免部署運維、高性能、更安全,Gartner預(yù)測,到了2021年,云數(shù)據(jù)庫在整個數(shù)據(jù)庫市場中的占比將首次達到50%,而到了2023年,75%的數(shù)據(jù)庫都要跑在云平臺之上。
全球頂級科技公司的新一輪數(shù)據(jù)庫“世界大戰(zhàn)”圍繞于此。
Oracle和Microsoft原本以數(shù)據(jù)庫見長,在云時代,兩家公司都在努力從私有環(huán)境部署向云上轉(zhuǎn)型;AWS、Google和阿里云則是在云上取得了成功。逐漸地,抓住了“云機會”的3A(AWS、Azure、阿里云)和Oracle形成了新的頭部數(shù)據(jù)庫格局。
其中,阿里云PolarDB系列數(shù)據(jù)庫,從2015年項目啟動,經(jīng)過幾年天貓雙11的試煉,已經(jīng)進入快速商業(yè)化軌道。也就在昨天,李飛飛向外宣布,PolarDB系列已經(jīng)成為增速最快的云產(chǎn)品之一。
據(jù)「深響」了解,最近幾個月這個系列數(shù)據(jù)庫產(chǎn)品同比增速都超過300% 。
2019年Gartner數(shù)據(jù)庫魔力象限
04
而云數(shù)據(jù)庫的崛起,其實是整個互聯(lián)網(wǎng)場景變化與趨勢發(fā)展的縮影。
在2004年左右,阿里巴巴尚未涉足云計算,這家“電商公司”當(dāng)時還是數(shù)據(jù)庫的大買主。
“技術(shù)人員們花錢如流水,買得「IOE」(IBM的小型機、Oracle數(shù)據(jù)庫、EMC存儲設(shè)備)這三家的對口銷售年年升職?!睋?jù)《淘寶技術(shù)這十年》中阿里巴巴技術(shù)人員的回憶,互聯(lián)網(wǎng)實在發(fā)展得太快,很快就超過了IOE的極限,哪怕花錢也無法解決問題。傳統(tǒng)數(shù)據(jù)庫本質(zhì)上是單機系統(tǒng),即便做了分庫分表,也無法改變單機系統(tǒng)的本質(zhì)。
2007年左右,阿里B2B業(yè)務(wù)勢頭正盛,淘寶、支付寶也出現(xiàn)井噴式增長。反應(yīng)遲鈍的傳統(tǒng)軟、硬件供應(yīng)商拿不出解決方案,阿里巴巴需要“自救”。
2008年9月,王堅加盟阿里巴巴集團擔(dān)任首席架構(gòu)師,也首次提出去IOE。但這一想法在當(dāng)時被很多人認為是天方夜譚。據(jù)了解,在數(shù)據(jù)團隊整合的過程中,走了三個主管,剛提起來,一周不到就辭職了。
當(dāng)電商業(yè)務(wù)邏輯變復(fù)雜以后,需要理解Oracle數(shù)據(jù)庫的技術(shù)實現(xiàn),但無論是請Oracle專家到現(xiàn)場的時間還是成本都無法滿足業(yè)務(wù)要求,于是阿里巴巴從2012、2013年后就開始大規(guī)模使用、定制開源數(shù)據(jù)庫。
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請及時與我們聯(lián)系進行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com