每位數(shù)據(jù)領(lǐng)導(dǎo)者或許都有過(guò)這樣的經(jīng)歷。

你身處會(huì)議室，看著一張名為“成本比較”的幻燈片。上面展示著兩個(gè)平臺(tái)的條形圖，其中一個(gè)平臺(tái)的成本明顯更低。有人頗為自豪地說(shuō)道：

“看——這個(gè)運(yùn)行起來(lái)便宜了 30%！”

在那一刻，大家都忽略了一個(gè)關(guān)鍵事實(shí)：運(yùn)行數(shù)據(jù)和擁有數(shù)據(jù)并非同一概念。

數(shù)據(jù)架構(gòu)中，究竟哪些成本應(yīng)被優(yōu)先考慮呢？

數(shù)據(jù)空間的繁榮并非依賴于繁重的開(kāi)發(fā)，而是依靠持續(xù)的維護(hù)和運(yùn)營(yíng)，從而激發(fā)其真正的潛力！

運(yùn)行成本就如同只關(guān)注健身房的會(huì)員費(fèi)，卻忽略了通勤的時(shí)間和費(fèi)用、購(gòu)買運(yùn)動(dòng)裝備的開(kāi)支，以及因沒(méi)去健身房而產(chǎn)生的愧疚感。

它只是巨大且昂貴的冰山一角，也就是總擁有成本 (TCO)中可見(jiàn)的部分。

那么，數(shù)據(jù)空間中的 TCO 到底是什么呢？

簡(jiǎn)單來(lái)講：

TCO = 為維持?jǐn)?shù)據(jù)生態(tài)系統(tǒng)正常運(yùn)行并發(fā)揮作用所付出的一切成本（包括金錢、時(shí)間和精力）。

具體而言：

TCO = 運(yùn)行成本 + 流程成本 + 互操作性成本 + 人力成本 + 靈活性成本 + 變更管理成本 + 機(jī)會(huì)成本

聽(tīng)起來(lái)是不是很有門道？接下來(lái)，我們通過(guò)一些真實(shí)案例和殘酷的現(xiàn)實(shí)來(lái)解讀這個(gè)等式。

數(shù)據(jù)生態(tài)系統(tǒng)的隱性成本

運(yùn)行成本——備受關(guān)注的重要指標(biāo)

運(yùn)行成本一目了然。它涵蓋了計(jì)算費(fèi)用、存儲(chǔ)成本，也就是所謂的“每次查詢的費(fèi)用”或“每 TB 的費(fèi)用”。這也是供應(yīng)商在幻燈片中著重強(qiáng)調(diào)的唯一成本。

誠(chéng)然，運(yùn)行成本很重要，但它也往往是 90% 錯(cuò)誤決策的開(kāi)端。

示例：我有一位從事零售業(yè)的同事曾說(shuō)：“我們打算遷移到平臺(tái) X，它的運(yùn)行成本比我們現(xiàn)有的平臺(tái)便宜 40%。”

然而，六個(gè)月后，由于作業(yè)調(diào)度效率低下和并發(fā)開(kāi)銷過(guò)高，他們的數(shù)據(jù)流水線運(yùn)行時(shí)間延長(zhǎng)了一倍。理論上他們節(jié)省了 40% 的運(yùn)行成本，但在計(jì)劃外的計(jì)算上卻多支出了 80%。

廉價(jià)的計(jì)算資源就像廉價(jià)的壽司，看似劃算，實(shí)則后續(xù)會(huì)讓你付出高昂的代價(jià)。

流程成本——隱藏的工程負(fù)擔(dān)

流程成本指的是為使平臺(tái)正常運(yùn)行而圍繞其開(kāi)展的一系列操作所產(chǎn)生的成本，包括：

數(shù)據(jù)提取、轉(zhuǎn)換、編排

監(jiān)控、可觀察性、治理

文檔管理（實(shí)際上，很少有人會(huì)及時(shí)更新）

每一個(gè)環(huán)節(jié)都會(huì)增加隱性成本。

示例：一家消費(fèi)品公司在其平臺(tái)上構(gòu)建了數(shù)據(jù)湖，但該平臺(tái)不支持增量更新。因此，他們每晚都要重新處理數(shù) TB 的數(shù)據(jù)，僅僅是為了更新幾條記錄。當(dāng)被問(wèn)及原因時(shí)，一位工程師回答：

“因?yàn)槲覀円恢倍际沁@么做的?！?/strong>

他們每月在計(jì)算上的花費(fèi)高達(dá)數(shù)萬(wàn)美元，這并非技術(shù)本身的問(wèn)題，而是流程不合理導(dǎo)致的成本增加。

這就是流程成本——為“現(xiàn)狀尚可”所付出的代價(jià)。

互操作性成本——孤立運(yùn)行的代價(jià)

有一個(gè)不容忽視的事實(shí)：在數(shù)據(jù)領(lǐng)域，你永遠(yuǎn)無(wú)法獨(dú)自完成所有工作——每個(gè)平臺(tái)最終都需要與其他平臺(tái)進(jìn)行交互。

如果你的數(shù)據(jù)生態(tài)系統(tǒng)無(wú)法實(shí)現(xiàn)輕松互操作，就會(huì)面臨數(shù)據(jù)重復(fù)成本的問(wèn)題。

示例：一家全球零售商將其整個(gè)倉(cāng)庫(kù)數(shù)據(jù)采用專有格式存儲(chǔ)。當(dāng)他們的 AI 團(tuán)隊(duì)想在Databricks中進(jìn)行實(shí)驗(yàn)時(shí)，卻發(fā)現(xiàn)無(wú)法直接讀取這些數(shù)據(jù)。于是，他們不得不將 PB 級(jí)的數(shù)據(jù)復(fù)制到 Parquet 等開(kāi)放格式中。

這導(dǎo)致存儲(chǔ)成本瞬間翻倍，每次從不同計(jì)算機(jī)讀取數(shù)據(jù)都要額外付費(fèi)，集成時(shí)間也增加了兩倍。當(dāng)被問(wèn)及原因時(shí)，數(shù)據(jù)架構(gòu)師無(wú)奈地表示：

“有人告訴我們這個(gè)倉(cāng)庫(kù)很便宜?！?/strong>

互操作性并非錦上添花，而是數(shù)據(jù)系統(tǒng)生存的必要條件。封閉的系統(tǒng)就像難以擺脫的前任，緊緊束縛著你的數(shù)據(jù)。

人力成本——容易被忽視的關(guān)鍵因素

這部分成本往往沒(méi)有被納入預(yù)算，但卻實(shí)實(shí)在在地影響著總擁有成本。

當(dāng)工程師：

花費(fèi)一個(gè)周末調(diào)試數(shù)據(jù)管道

第 14 次重寫腳本

由于工具不支持而手動(dòng)跟蹤數(shù)據(jù)血統(tǒng)

……你的 TCO 就在悄然上升。

示例：一位金融客戶自豪地展示了他們的“自動(dòng)化”數(shù)據(jù)提取框架。當(dāng)被問(wèn)到該框架的失敗頻率時(shí)，首席工程師回答：

“僅限以 Y 結(jié)尾的日子?！?/strong>

這哪里是一個(gè)自動(dòng)化系統(tǒng)，分明是需要工程師全職維護(hù)的工作。

工程師的時(shí)間是最寶貴且無(wú)法挽回的資產(chǎn)。

靈活性成本——面向未來(lái)的投資

技術(shù)的發(fā)展日新月異，今天看似完美的解決方案，明天可能就會(huì)成為發(fā)展的瓶頸。

真正需要考慮的問(wèn)題不是“現(xiàn)在的成本有多低？”，而是“未來(lái)進(jìn)行升級(jí)和變革的難度有多大？”

示例：一家電信公司為了節(jié)省成本，將所有分析功能都構(gòu)建在 GCP 原生服務(wù)上。兩年后，他們想在 AWS 上運(yùn)行工作負(fù)載以開(kāi)拓新市場(chǎng)，卻發(fā)現(xiàn)整個(gè)系統(tǒng)都與 GCP 平臺(tái)深度綁定。

最終，他們不得不重建一半的系統(tǒng)。

這就是靈活性成本——為未來(lái)的自由和發(fā)展所付出的代價(jià)。具備靈活性不僅能節(jié)省成本，還能讓你在周末安心休息。

變更管理成本——持續(xù)的運(yùn)營(yíng)挑戰(zhàn)

每次系統(tǒng)升級(jí)、遷移、合規(guī)性變更或新法規(guī)出臺(tái)，都會(huì)帶來(lái)額外的運(yùn)營(yíng)成本。

添加新的數(shù)據(jù)域是否容易？

新工程師或業(yè)務(wù)用戶能否快速上手？

更換或淘汰工具是否困難？

示例：當(dāng) GDPR 和 CCPA 合規(guī)成為強(qiáng)制要求時(shí)，采用去中心化、硬編碼數(shù)據(jù)管道的公司花費(fèi)了數(shù)月時(shí)間構(gòu)建手動(dòng)退出和刪除流程。而采用集中式治理和元數(shù)據(jù)目錄的團(tuán)隊(duì)則在數(shù)周內(nèi)就完成了這項(xiàng)工作。

這種差異并非源于技術(shù)，而是 TCO 成熟度的體現(xiàn)。

前者將變更管理融入架構(gòu)設(shè)計(jì)，而后者則在架構(gòu)中留下了諸多需要后期修復(fù)的問(wèn)題。

機(jī)會(huì)成本——潛在的巨大損失

最后，也是最容易被忽視的成本：因行動(dòng)遲緩而錯(cuò)過(guò)的機(jī)會(huì)。

你每天忙于解決數(shù)據(jù)管道的問(wèn)題，就沒(méi)有時(shí)間去構(gòu)建新的機(jī)器學(xué)習(xí)模型；你每周花費(fèi)大量時(shí)間進(jìn)行數(shù)據(jù)協(xié)調(diào)，營(yíng)銷團(tuán)隊(duì)就無(wú)法為客戶提供個(gè)性化服務(wù)。

合理的架構(gòu)不僅能降低成本，還能加速價(jià)值的實(shí)現(xiàn)。因此，高 TCO 的系統(tǒng)不僅會(huì)影響預(yù)算，還會(huì)阻礙業(yè)務(wù)的增長(zhǎng)。

示例：一家零售商希望實(shí)現(xiàn)現(xiàn)代化的個(gè)性化服務(wù)，這需要可靠的實(shí)時(shí)消費(fèi)者數(shù)據(jù)。如果底層數(shù)據(jù)模型碎片化或處理速度緩慢，無(wú)論人工智能技術(shù)多么先進(jìn)，都無(wú)法實(shí)現(xiàn)預(yù)期目標(biāo)。

成功不僅取決于模型本身，還依賴于高效的數(shù)據(jù)基礎(chǔ)架構(gòu)。

這就是注重 TCO 所帶來(lái)的長(zhǎng)期回報(bào)。

讓我們來(lái)深入分析

這是一個(gè)看似簡(jiǎn)單的公式，但背后卻蘊(yùn)含著深刻的意義

坦率地說(shuō)：運(yùn)行成本是可以精確衡量的，而 TCO 則更多地依賴于實(shí)際經(jīng)驗(yàn)。

運(yùn)行成本可以清晰地呈現(xiàn)在 Excel 表格中，而 TCO 則體現(xiàn)在凌晨 2 點(diǎn)仍在進(jìn)行的 Slack 討論中。

決定數(shù)據(jù)策略成敗的往往是那些突發(fā)事件、集成難題、重復(fù)數(shù)據(jù)和疲憊不堪的工程師，而不是云服務(wù)的優(yōu)惠額度。

優(yōu)化運(yùn)行成本，只能在短期內(nèi)降低季度成本；而優(yōu)化總體擁有成本，則是在為公司的長(zhǎng)期穩(wěn)健發(fā)展奠定基礎(chǔ)。

領(lǐng)導(dǎo)層為何需要重新審視成本考量

領(lǐng)導(dǎo)者通常喜歡用指標(biāo)來(lái)衡量一切，但并非所有指標(biāo)都具有同等的重要性。在比較數(shù)據(jù)平臺(tái)時(shí)，問(wèn)題不應(yīng)僅僅局限于“誰(shuí)更便宜？”，而應(yīng)思考“誰(shuí)更具可持續(xù)性、互操作性和賦能能力？”

如何選擇合適的數(shù)據(jù)平臺(tái)？

合適的平臺(tái)往往不是運(yùn)行成本最低的那個(gè)，而是能夠最大程度減少整個(gè)數(shù)據(jù)生命周期中各種摩擦的平臺(tái)。

這包括：

新用戶能夠輕松入職并快速提升技能。

數(shù)據(jù)管理具備較高的自動(dòng)化水平。

在可變負(fù)載下，成本具有可預(yù)測(cè)性。

能夠避免被供應(yīng)商鎖定。

支持跨生態(tài)系統(tǒng)的開(kāi)放標(biāo)準(zhǔn)和互操作性。

當(dāng)你從整個(gè)數(shù)據(jù)生命周期的角度進(jìn)行考量，而不僅僅關(guān)注運(yùn)行成本時(shí)，所做出的決策將更加明智，而不僅僅是為了在季度評(píng)審中好看。

用咖啡來(lái)類比，或許能讓你更好地理解

運(yùn)行成本就像咖啡的價(jià)格，而 TCO 則是燒水、買牛奶、找糖、洗杯子，以及向孩子解釋為什么爐子還開(kāi)著所花費(fèi)的精力。

前者只是一次交易，而后者則關(guān)乎整個(gè)使用體驗(yàn)。

我的建議

下次供應(yīng)商宣稱：

“我們的運(yùn)營(yíng)成本更低。”

你應(yīng)該追問(wèn)：

“ 但是，擁有、運(yùn)營(yíng)和持續(xù)使用它的真正成本是多少？”

在簽署新的數(shù)據(jù)平臺(tái)合同或續(xù)簽現(xiàn)有合同時(shí)，不要僅僅追求最低的運(yùn)行成本，而要全面考慮總擁有成本。思考它對(duì)互操作性、人力投入、靈活性和長(zhǎng)期變化的影響。因?yàn)樵跀?shù)據(jù)領(lǐng)域，啟動(dòng)成本低往往意味著后續(xù)維持成本高昂。

本文來(lái)自微信公眾號(hào)“數(shù)據(jù)驅(qū)動(dòng)智能”（ID：Data_0101），作者：曉曉，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。