凌晨4點(diǎn)，一場(chǎng)頂尖科技巨頭的硬戰(zhàn)
?深響原創(chuàng) · 作者｜劉亞瀾
01
“我們還是回滾到Oracle吧。”馬來(lái)西亞最大電商公司之一PrestoMall的數(shù)據(jù)工程師敲下這句話后，阿里云架構(gòu)師鄭旦和在吉隆坡、北京、杭州三地的同事們，面臨著3個(gè)月工作一夜歸零的險(xiǎn)境。
2019年12月6日的凌晨4點(diǎn)，本該在0點(diǎn)啟動(dòng)的數(shù)據(jù)庫(kù)遷移行動(dòng)，推遲了4個(gè)小時(shí)。他們要將公司成立5年來(lái)的所有線上交易、線下分析報(bào)表數(shù)據(jù)從Oracle數(shù)據(jù)庫(kù)切換到阿里云的數(shù)據(jù)庫(kù)PolarDB上。數(shù)據(jù)總量超過(guò)5T，類(lèi)似5年時(shí)間不間斷，每秒300多筆記錄，所累積的數(shù)據(jù)量。
三個(gè)月前，PrestoMall分布在印度、韓國(guó)、大馬的研發(fā)團(tuán)隊(duì)，以及唯一一位數(shù)據(jù)庫(kù)工程師，都覺(jué)得這個(gè)想法太瘋狂了。5T數(shù)據(jù)的遷移絕不是小事，更何況數(shù)據(jù)庫(kù)涉及所有線上核心業(yè)務(wù)，而任何的數(shù)據(jù)差錯(cuò)，都會(huì)帶來(lái)業(yè)務(wù)問(wèn)題。而且他們新選的數(shù)據(jù)庫(kù)供應(yīng)商來(lái)自阿里巴巴，后者旗下的Lazada 可是他們的競(jìng)爭(zhēng)對(duì)手。
但PrestoMall還是做出了決定——上云！
之前PrestoMall使用的32核Oracle數(shù)據(jù)庫(kù)，屢屢遇到問(wèn)題，高峰時(shí)間段在線交易的瞬間激增、大量數(shù)據(jù)的持續(xù)存儲(chǔ)，讓業(yè)務(wù)隨時(shí)處于崩潰的邊緣。2019年12月，PrestoMall的Oracle許可證將到期，是否繼續(xù)沿用的問(wèn)題，提前被提上議程。
如果切換上云成功，PrestoMall預(yù)期可以節(jié)省90%的數(shù)據(jù)庫(kù)費(fèi)用，相關(guān)的IT成本也有望下降40%。因此，在9月初，公司開(kāi)始與東南亞市場(chǎng)上的數(shù)據(jù)庫(kù)供應(yīng)商接觸。
權(quán)威機(jī)構(gòu)Gartner報(bào)告顯示，微軟Azure、亞馬遜AWS、阿里云Alibaba Cloud是云數(shù)據(jù)庫(kù)份額前三廠商，因?yàn)槎际茿開(kāi)頭，簡(jiǎn)稱(chēng)3A。作為亞洲增速最快的經(jīng)濟(jì)體之一，東南亞市場(chǎng)是必爭(zhēng)之地。
從當(dāng)?shù)毓こ處煹恼J(rèn)知上講，微軟Azure總體品牌認(rèn)知度最高，本身有SQLServer的長(zhǎng)期積淀，亞馬遜AWS的Aurora是最早商用的云數(shù)據(jù)庫(kù)，具有性能上的口碑，并且也脫胎于電商業(yè)務(wù)。
無(wú)論找誰(shuí)，用云數(shù)據(jù)庫(kù)替代Oracle等傳統(tǒng)數(shù)據(jù)庫(kù)都是勢(shì)在必行。
PrestoMall網(wǎng)站
阿里巴巴副總裁、達(dá)摩院數(shù)據(jù)庫(kù)首席科學(xué)家李飛飛是攻下市場(chǎng)的關(guān)鍵角色。
李飛飛曾經(jīng)是猶他大學(xué)終身教授任、ACM杰出科學(xué)家，在數(shù)據(jù)庫(kù)領(lǐng)域擁有非常大的影響力，2018年李飛飛加入阿里巴巴，現(xiàn)任阿里云數(shù)據(jù)庫(kù)負(fù)責(zé)人，花名：飛刀。
“今年要幫助1000家企業(yè)去O，10000套傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)上云?！崩铒w飛在2020年6月9日對(duì)外公布了一組數(shù)字。這個(gè)目標(biāo)不是單方面的商業(yè)計(jì)劃，而是基于客戶表達(dá)的強(qiáng)烈需求。李飛飛這一發(fā)言具有全球指標(biāo)性意義。
“他的英語(yǔ)交流出色，在數(shù)據(jù)庫(kù)領(lǐng)域又有科學(xué)家和大公司團(tuán)隊(duì)負(fù)責(zé)人雙重身份，客戶很容易認(rèn)可?！奔軜?gòu)師西壁說(shuō)，李飛飛花了大量時(shí)間，幫助東南亞銷(xiāo)售團(tuán)隊(duì)與客戶接觸。
阿里巴巴數(shù)據(jù)庫(kù)團(tuán)隊(duì)很少坐下來(lái)向客戶做長(zhǎng)篇演說(shuō)推廣。西壁認(rèn)為他們的競(jìng)爭(zhēng)優(yōu)勢(shì)在于：“第一是場(chǎng)景，PolarDB已經(jīng)支持雙11多年，秒殺、直播等場(chǎng)景也都是客戶感興趣的；第二是直接讓客戶到自己系統(tǒng)中試用，接受檢驗(yàn)?！?br />
根據(jù)PrestoMall的需求，9月末，阿里和其他廠商一起提交了“去O”的遷移方案以及兼容性評(píng)測(cè)報(bào)告。然而，評(píng)測(cè)結(jié)果是PolarDB產(chǎn)品由于采用分布式架構(gòu)，當(dāng)時(shí)版本對(duì)Oracle數(shù)據(jù)兼容性相對(duì)低，以及價(jià)格還更高。
堅(jiān)持采用分布式架構(gòu)，而不是只照顧兼容性，是李飛飛加入數(shù)據(jù)庫(kù)團(tuán)隊(duì)后，與各個(gè)骨干達(dá)成的共識(shí)。因?yàn)檫@種架構(gòu)能支持不同類(lèi)型的數(shù)據(jù)庫(kù)，共同高效調(diào)用資源。當(dāng)時(shí)，團(tuán)隊(duì)剛剛快速?gòu)倪^(guò)去兼容MySQL的PolarDB數(shù)據(jù)庫(kù)產(chǎn)品中，抽出了一款針對(duì)Oracle客戶快速切換的產(chǎn)品PolarDB-O。
當(dāng)時(shí)，PolarDB-O尚在公測(cè)期，李飛飛竟然就要面向國(guó)際客戶服務(wù)。鄭旦在阿里巴巴有7年數(shù)據(jù)庫(kù)架構(gòu)師經(jīng)驗(yàn)，完成了多個(gè)事業(yè)部的“去O”；這個(gè)目標(biāo)仍然讓她感到“太快了”——“當(dāng)時(shí)，團(tuán)隊(duì)剛剛改變建制，我突然就被拉到一個(gè)群，說(shuō)你去負(fù)責(zé)這個(gè)馬來(lái)西亞客戶?！?br />
東南亞項(xiàng)目容易“費(fèi)力不討好”。語(yǔ)言、編程習(xí)慣、3A的瘋狂競(jìng)爭(zhēng)、遠(yuǎn)程成本……各種因素隨時(shí)都可能讓項(xiàng)目夭折。
為了最終遷移順利，鄭旦團(tuán)隊(duì)和多個(gè)研發(fā)小組，甚至要計(jì)劃在上海完全模擬了一套復(fù)刻客戶同體量的數(shù)據(jù)，模擬從Oracle遷移的每一個(gè)細(xì)微環(huán)節(jié)。
但由于評(píng)測(cè)報(bào)告并不占優(yōu)，接下來(lái)的工作只能提速。數(shù)據(jù)庫(kù)相關(guān)團(tuán)隊(duì)整個(gè)國(guó)慶加班迭代，并派出多名成員前往馬來(lái)西亞。阿里云智能總裁行癲曾經(jīng)對(duì)內(nèi)多次談到，核心技術(shù)大件放到國(guó)際上競(jìng)爭(zhēng)，絕不能只靠“價(jià)格低”、“阿里出品”來(lái)吸引客戶。
經(jīng)過(guò)現(xiàn)場(chǎng)對(duì)未來(lái)場(chǎng)景的幾輪商談，阿里豐富的電商實(shí)踐檢驗(yàn)，最終更有說(shuō)服力。但無(wú)論鄭旦們，還是Prestomall的工程師們，仍然感覺(jué)到巨大的不確定性。
02
阿里云數(shù)據(jù)庫(kù)團(tuán)隊(duì)對(duì)東南亞市場(chǎng)并不陌生，心動(dòng)網(wǎng)絡(luò)就是阿里云服務(wù)的客戶之一。在熱門(mén)的游戲出海領(lǐng)域，心動(dòng)網(wǎng)絡(luò)打造了游戲社區(qū)TapTap，近幾年在海外的擴(kuò)張勢(shì)頭也格外兇猛，《碧藍(lán)航線》《第五人格》等國(guó)內(nèi)爆款游戲均通過(guò)心動(dòng)網(wǎng)絡(luò)與國(guó)外玩家見(jiàn)面。
一直以來(lái)，游戲出海行業(yè)里關(guān)注更多的是如何獲取海外流量、如何內(nèi)容本地化，鮮少有人關(guān)注討論在線娛樂(lè)型流量的底層支撐與命門(mén)——數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)。前者支撐和記錄玩家的所有交互行為；后者則要將大數(shù)據(jù)實(shí)時(shí)提供給運(yùn)營(yíng)團(tuán)隊(duì)數(shù)據(jù)洞察，便于做出及時(shí)的玩法和策略調(diào)整。
TapTap的全球化運(yùn)營(yíng)與交付模式，意味著他們需要有支撐各區(qū)域部署的“數(shù)字大腦”，而相互之間，又最好使用統(tǒng)一的大件模塊。
然而伴隨著業(yè)務(wù)的擴(kuò)張，互聯(lián)網(wǎng)公司原有的大量MySQL數(shù)據(jù)庫(kù)面臨挑戰(zhàn)，數(shù)據(jù)備份慢、業(yè)務(wù)延遲大，游戲發(fā)版前對(duì)數(shù)據(jù)備份動(dòng)輒需要幾小時(shí)，非常影響發(fā)布效率。心動(dòng)網(wǎng)絡(luò)最早在東南亞市場(chǎng)使用了亞馬遜AWS Aurora。
隨著阿里云自研的云原生數(shù)據(jù)庫(kù)PolarDB在當(dāng)?shù)亻_(kāi)設(shè)服務(wù)，心動(dòng)網(wǎng)絡(luò)選擇了這一成本更低、性能更優(yōu)、曾經(jīng)扛住了雙11大規(guī)模高并發(fā)的伙伴。
從MySQL到AWS Aurora再到PolarDB，必須平衡數(shù)據(jù)庫(kù)遷移諸多細(xì)節(jié)、稍有差池后果不堪設(shè)想。為此，阿里云有兩個(gè)重要的遷移工具保障這個(gè)過(guò)程，DTS用于數(shù)據(jù)的遷移、ADAM用于業(yè)務(wù)層相關(guān)的遷移。兩個(gè)產(chǎn)品對(duì)主流數(shù)據(jù)庫(kù)種類(lèi)的支持規(guī)模，都是業(yè)內(nèi)最高。
而另一家游戲出海領(lǐng)頭羊莉莉絲，代表作包括《萬(wàn)國(guó)覺(jué)醒》、《劍與遠(yuǎn)征》，則在兩年前就開(kāi)始利用阿里云的云原生數(shù)據(jù)倉(cāng)庫(kù)AnalyticDB，幫助數(shù)據(jù)架構(gòu)師和運(yùn)營(yíng)人員及時(shí)分析游戲運(yùn)行情況，及時(shí)調(diào)整策略。這個(gè)數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品，也在2020年拿下TPC-DS性能榜全球第一的桂冠，代表著性能和性?xún)r(jià)比的巔峰水平。
《火炬之光》手游將由心動(dòng)網(wǎng)絡(luò)研發(fā)并在亞洲范圍內(nèi)發(fā)行
互聯(lián)網(wǎng)數(shù)據(jù)處理和存儲(chǔ)場(chǎng)景越來(lái)越要求彈性、智能化。PrestoMall、心動(dòng)網(wǎng)絡(luò)、莉莉絲冒著風(fēng)險(xiǎn)更換數(shù)據(jù)庫(kù)的選擇也并非個(gè)例。
相比之下，“去O”的趨勢(shì)雖然已經(jīng)明朗，但趨勢(shì)歸趨勢(shì)，要從Oracle遷移數(shù)據(jù)的難度，其實(shí)大大復(fù)雜于其他開(kāi)源數(shù)據(jù)庫(kù)。
鄭旦告訴「深響」，因?yàn)镺racle數(shù)據(jù)庫(kù)版本繁多，不同客戶創(chuàng)建報(bào)表的邏輯差異很大，基于DTS和ADAM產(chǎn)品，PrestoMall項(xiàng)目需要改動(dòng)的代碼不到5%，但仍然帶來(lái)不少升級(jí)優(yōu)化需求。
03
數(shù)據(jù)庫(kù)的市場(chǎng)并不大，卻聚集了全球高科技巨頭核心的研發(fā)力量。
據(jù)不同的統(tǒng)計(jì)口徑，全球數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模在300億美金到600億美金之間。相比于全球云計(jì)算數(shù)千億美元級(jí)別的規(guī)模，這不算是最大的一塊肥肉。
但數(shù)據(jù)庫(kù)的戰(zhàn)略位置十分特殊，其承載了一個(gè)企業(yè)客戶最核心的數(shù)據(jù)資產(chǎn)，而每一次遷移，都意味著相當(dāng)?shù)娘L(fēng)險(xiǎn)。數(shù)據(jù)庫(kù)的選擇，往往也也會(huì)影響企業(yè)對(duì)存儲(chǔ)、服務(wù)器等其他大件的消費(fèi)，粘性高、撬動(dòng)后續(xù)服務(wù)的能力強(qiáng)。
微軟、Oracle、SAP、亞馬遜AWS、Google、IBM、阿里巴巴、騰訊、華為……全球頂級(jí)科技巨頭在數(shù)據(jù)庫(kù)領(lǐng)域已經(jīng)鏖戰(zhàn)了數(shù)十載，亞馬遜AWS的CTO Werner Vogels更是多次強(qiáng)調(diào)：“數(shù)據(jù)庫(kù)是云計(jì)算的終極之戰(zhàn)(Real Battle)?！?/strong>
如果要用云數(shù)據(jù)庫(kù)取代傳統(tǒng)數(shù)據(jù)庫(kù)，這相當(dāng)于將現(xiàn)有每年數(shù)據(jù)庫(kù)500億美元市場(chǎng)中，約70%的份額分流。按照行業(yè)預(yù)測(cè)增速，未來(lái)三年數(shù)據(jù)庫(kù)市場(chǎng)總銷(xiāo)售額約在1800億元。
從商業(yè)數(shù)據(jù)庫(kù)到開(kāi)源數(shù)據(jù)庫(kù)、云原生數(shù)據(jù)庫(kù)，從海外巨頭占絕對(duì)主導(dǎo)地位到如今國(guó)內(nèi)外頭部玩家在新賽道上同步起跑，當(dāng)下的數(shù)據(jù)庫(kù)和十年前的數(shù)據(jù)庫(kù)已然不是同一個(gè)概念。
歷史上，最早的數(shù)據(jù)庫(kù)要追溯到20世紀(jì)70年代，1968年IBM推出了第一代數(shù)據(jù)庫(kù)DB1，1970年IBM工程師EdgarCodd寫(xiě)下了最早的關(guān)系型數(shù)據(jù)模型構(gòu)想的論文。隨后的30年間出現(xiàn)了Oracle、Informix、Sybase、Sybase與微軟合作的SQLServer等著名的數(shù)據(jù)庫(kù)公司。
全球數(shù)據(jù)庫(kù)產(chǎn)業(yè)在2000年前后進(jìn)行了第一次大戰(zhàn)并主要形成IBM、微軟、Oracle三巨頭格局，那也是商業(yè)數(shù)據(jù)庫(kù)的時(shí)代。
2000年以后，互聯(lián)網(wǎng)和云計(jì)算技術(shù)變革為數(shù)據(jù)庫(kù)技術(shù)帶來(lái)了“釜底抽薪”的底層計(jì)算系統(tǒng)變化，帶來(lái)了以開(kāi)源、分布式和云計(jì)算為主導(dǎo)的新數(shù)據(jù)庫(kù)時(shí)代。
2018年10月，阿里云第一次出現(xiàn)在Gartner全球數(shù)據(jù)庫(kù)魔力象限（包括傳統(tǒng)和云數(shù)據(jù)庫(kù)市場(chǎng)份額）。第二年，阿里云就成為最接近“領(lǐng)導(dǎo)者”象限的“挑戰(zhàn)者”，整個(gè)市場(chǎng)呈現(xiàn)7強(qiáng)格局：微軟、Oracle、SAP、AWS、Google、IBM和阿里云。
歷史進(jìn)程中的數(shù)據(jù)庫(kù)
在數(shù)據(jù)量很少的時(shí)候（百GB），傳統(tǒng)的數(shù)據(jù)庫(kù)如SQLServer、Oracel、DB2等可以完成大多數(shù)場(chǎng)景對(duì)數(shù)據(jù)管理的要求。但隨著數(shù)據(jù)越來(lái)越多、負(fù)載越來(lái)越高、對(duì)數(shù)據(jù)分析的需求開(kāi)始出現(xiàn)，企業(yè)意識(shí)到了商業(yè)數(shù)據(jù)庫(kù)的局限性。
這時(shí)候云原生數(shù)據(jù)庫(kù)廠商開(kāi)始把商業(yè)數(shù)據(jù)庫(kù)以及開(kāi)源的數(shù)據(jù)庫(kù)搬到云上，給客戶以租用的方式提供服務(wù)。云原生數(shù)據(jù)庫(kù)更是有目共睹——低成本、免部署運(yùn)維、高性能、更安全，Gartner預(yù)測(cè)，到了2021年，云數(shù)據(jù)庫(kù)在整個(gè)數(shù)據(jù)庫(kù)市場(chǎng)中的占比將首次達(dá)到50%，而到了2023年，75%的數(shù)據(jù)庫(kù)都要跑在云平臺(tái)之上。
全球頂級(jí)科技公司的新一輪數(shù)據(jù)庫(kù)“世界大戰(zhàn)”圍繞于此。
Oracle和Microsoft原本以數(shù)據(jù)庫(kù)見(jiàn)長(zhǎng)，在云時(shí)代，兩家公司都在努力從私有環(huán)境部署向云上轉(zhuǎn)型；AWS、Google和阿里云則是在云上取得了成功。逐漸地，抓住了“云機(jī)會(huì)”的3A（AWS、Azure、阿里云）和Oracle形成了新的頭部數(shù)據(jù)庫(kù)格局。
其中，阿里云PolarDB系列數(shù)據(jù)庫(kù)，從2015年項(xiàng)目啟動(dòng)，經(jīng)過(guò)幾年天貓雙11的試煉，已經(jīng)進(jìn)入快速商業(yè)化軌道。也就在昨天，李飛飛向外宣布，PolarDB系列已經(jīng)成為增速最快的云產(chǎn)品之一。
據(jù)「深響」了解，最近幾個(gè)月這個(gè)系列數(shù)據(jù)庫(kù)產(chǎn)品同比增速都超過(guò)300% 。
2019年Gartner數(shù)據(jù)庫(kù)魔力象限
04
而云數(shù)據(jù)庫(kù)的崛起，其實(shí)是整個(gè)互聯(lián)網(wǎng)場(chǎng)景變化與趨勢(shì)發(fā)展的縮影。
在2004年左右，阿里巴巴尚未涉足云計(jì)算，這家“電商公司”當(dāng)時(shí)還是數(shù)據(jù)庫(kù)的大買(mǎi)主。
“技術(shù)人員們花錢(qián)如流水，買(mǎi)得「IOE」（IBM的小型機(jī)、Oracle數(shù)據(jù)庫(kù)、EMC存儲(chǔ)設(shè)備）這三家的對(duì)口銷(xiāo)售年年升職。”據(jù)《淘寶技術(shù)這十年》中阿里巴巴技術(shù)人員的回憶，互聯(lián)網(wǎng)實(shí)在發(fā)展得太快，很快就超過(guò)了IOE的極限，哪怕花錢(qián)也無(wú)法解決問(wèn)題。傳統(tǒng)數(shù)據(jù)庫(kù)本質(zhì)上是單機(jī)系統(tǒng)，即便做了分庫(kù)分表，也無(wú)法改變單機(jī)系統(tǒng)的本質(zhì)。
2007年左右，阿里B2B業(yè)務(wù)勢(shì)頭正盛，淘寶、支付寶也出現(xiàn)井噴式增長(zhǎng)。反應(yīng)遲鈍的傳統(tǒng)軟、硬件供應(yīng)商拿不出解決方案，阿里巴巴需要“自救”。
2008年9月，王堅(jiān)加盟阿里巴巴集團(tuán)擔(dān)任首席架構(gòu)師，也首次提出去IOE。但這一想法在當(dāng)時(shí)被很多人認(rèn)為是天方夜譚。據(jù)了解，在數(shù)據(jù)團(tuán)隊(duì)整合的過(guò)程中，走了三個(gè)主管，剛提起來(lái)，一周不到就辭職了。
當(dāng)電商業(yè)務(wù)邏輯變復(fù)雜以后，需要理解Oracle數(shù)據(jù)庫(kù)的技術(shù)實(shí)現(xiàn)，但無(wú)論是請(qǐng)Oracle專(zhuān)家到現(xiàn)場(chǎng)的時(shí)間還是成本都無(wú)法滿足業(yè)務(wù)要求，于是阿里巴巴從2012、2013年后就開(kāi)始大規(guī)模使用、定制開(kāi)源數(shù)據(jù)庫(kù)。
免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com