在建立數(shù)據(jù)科學(xué)產(chǎn)品時(shí)，一個(gè)重要的方面是讓您的數(shù)據(jù)隨時(shí)可用。我們需要一個(gè)收集數(shù)據(jù)并在整個(gè)公司提供服務(wù)的平臺(tái)。但是如何開發(fā)這樣的數(shù)據(jù)平臺(tái)呢？閱讀相關(guān)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、Lakehouse和數(shù)據(jù)網(wǎng)格的文章時(shí)，很容易迷失方向。它們有什么區(qū)別？第一步應(yīng)該是什么？

一 不同的數(shù)據(jù)平臺(tái)解決方案

資料平臺(tái)是一種將資料匯集在一起，為整個(gè)企業(yè)提供服務(wù)環(huán)境。第一家公司的中央數(shù)據(jù)平臺(tái)是數(shù)據(jù)倉(cāng)庫(kù)。但是，隨著數(shù)據(jù)類型和來(lái)源的日益多樣化，它們變得不夠靈活。引入數(shù)據(jù)湖可以輕松存儲(chǔ)任何格式、任何來(lái)源的原始數(shù)據(jù)。它是通過(guò)將方法創(chuàng)建和數(shù)據(jù)解釋推遲到實(shí)際使用數(shù)據(jù)來(lái)完成的。這類湖泊常常變成所謂的數(shù)據(jù)沼澤，那里沒(méi)有人能真正高效地使用數(shù)據(jù)。所有的數(shù)據(jù)都被添加了，但是沒(méi)有準(zhǔn)備使用的數(shù)據(jù)。接班人是Lakehouse，其中數(shù)據(jù)湖與數(shù)據(jù)庫(kù)工具相結(jié)合，可以很容易地建立可用的數(shù)據(jù)視圖。另外一種選擇是數(shù)據(jù)網(wǎng)格，它不集中數(shù)據(jù)，而是利用多個(gè)零散的數(shù)據(jù)環(huán)境來(lái)更好地跨團(tuán)隊(duì)擴(kuò)展。以后我會(huì)更全面地介紹數(shù)據(jù)網(wǎng)格。

但是首先，讓我們看看我們實(shí)際上應(yīng)該解決什么問(wèn)題。這些不同數(shù)據(jù)平臺(tái)的驅(qū)動(dòng)力是什么？我將繼續(xù)從我們追求的理想方式介紹實(shí)踐中存在的平臺(tái)，最后總結(jié)出兩個(gè)可以采用的步驟。這兩個(gè)步驟正朝著數(shù)據(jù)平臺(tái)的方向發(fā)展，使機(jī)器學(xué)習(xí)解決方案成為可能，賦予數(shù)據(jù)科學(xué)家權(quán)力，共享內(nèi)部工作模式。

二 理想的數(shù)據(jù)訪問(wèn)模式

如果所有單位的所有數(shù)據(jù)都可以輕松瀏覽，那豈不是很棒？通過(guò)瀏覽中心位置，所有數(shù)據(jù)科學(xué)家都可以隨時(shí)獲取所需的數(shù)據(jù)。他們可以致力于先進(jìn)的機(jī)器學(xué)習(xí)，而數(shù)據(jù)工程師可以確保數(shù)據(jù)隨時(shí)可用。

讓我們了解一下我們的專家數(shù)據(jù)科學(xué)家王小強(qiáng)。他正在開發(fā)一種新的數(shù)據(jù)科學(xué)產(chǎn)品:收入預(yù)測(cè)。中央數(shù)據(jù)平臺(tái)可以找到相關(guān)客戶、產(chǎn)品和銷售的所有數(shù)據(jù)。王小強(qiáng)在平臺(tái)上建立了一個(gè)完整的數(shù)據(jù)集，并將其加載到JupyterLab環(huán)境中。在與業(yè)務(wù)部門協(xié)調(diào)了模型目標(biāo)后，他很快開發(fā)出了模型的第一個(gè)版本。

因此，該平臺(tái)為科學(xué)家提供了包括數(shù)據(jù)、計(jì)算和工作環(huán)境在內(nèi)的開發(fā)模型所需的一切。平臺(tái)開發(fā)者(云和數(shù)據(jù)工程師)確保其可擴(kuò)展性、即時(shí)性和良好性能。他們還提供數(shù)據(jù)繼承、數(shù)據(jù)治理和元數(shù)據(jù)等附加服務(wù)?？茖W(xué)家完全有能力擺脫工程困難。這在整體結(jié)構(gòu)上表現(xiàn)如下:

理想的數(shù)據(jù)世界：?jiǎn)我坏臄?shù)據(jù)平臺(tái)可以解決所有的數(shù)據(jù)問(wèn)題。

左邊是每個(gè)部門運(yùn)行的應(yīng)用程序和相應(yīng)的數(shù)據(jù)。這包括一個(gè)從事特定領(lǐng)域的技術(shù)產(chǎn)品公司的團(tuán)隊(duì)。數(shù)據(jù)可以存儲(chǔ)在任何存儲(chǔ)中:MSExcel文檔、數(shù)據(jù)庫(kù)、csv文檔、Kafka主題、云存儲(chǔ)平臺(tái)等。

數(shù)據(jù)平臺(tái)團(tuán)隊(duì)在中間提取數(shù)據(jù)，并將其加載到數(shù)據(jù)湖的著陸區(qū)域。第一步是規(guī)范日期、數(shù)字格式和列名。它可以包括投射數(shù)據(jù)快照進(jìn)行歷史視圖。生成的數(shù)據(jù)集存儲(chǔ)在所謂的“存儲(chǔ)”層中。接著將數(shù)據(jù)組合在一個(gè)整合層中。整合層是一種數(shù)據(jù)存儲(chǔ)，包括連貫的數(shù)據(jù)，唯一的標(biāo)識(shí)符和明確的關(guān)系。所以，我稱之為DWH(數(shù)據(jù)庫(kù))。但是，它可以是任何可用的存儲(chǔ)，包括大型云數(shù)據(jù)庫(kù)（BigQuery）、Hive表、存儲(chǔ)(S3)或DeltaLakeparquet文檔的blob。該整合層的目的是為所有易于使用的數(shù)據(jù)提供總體視圖。

數(shù)據(jù)科學(xué)團(tuán)隊(duì)利用這個(gè)平臺(tái)的工作環(huán)境和數(shù)據(jù)來(lái)解決他們的用例。

這樣不起作用的時(shí)候

這一理想聽起來(lái)很棒。不幸的是，王曉強(qiáng)的親身經(jīng)歷不同：

在數(shù)據(jù)平臺(tái)上，王小強(qiáng)需要一些額外的數(shù)據(jù)集。為抓住機(jī)遇，財(cái)務(wù)部為初步分析提供了一些CSV導(dǎo)出。王小強(qiáng)發(fā)現(xiàn)預(yù)測(cè)需要根據(jù)產(chǎn)品組進(jìn)行報(bào)告，而數(shù)據(jù)則根據(jù)單個(gè)產(chǎn)品進(jìn)行報(bào)告。經(jīng)過(guò)幾次會(huì)議，他了解到哪些內(nèi)部產(chǎn)品名稱屬于哪些組。商品收入分為幾個(gè)部分，一部分來(lái)自基本商品，另一部分來(lái)自附加產(chǎn)品。折扣是另外一回事；由于它是從總賬單中扣除的，所以歸因變得有些棘手。另外一個(gè)恐怖是，三個(gè)月前，公共商品被更新，重新命名并合并了一些舊商品。在某些困難的情況下，他只刪除了最少的數(shù)據(jù)，并試圖將舊數(shù)據(jù)與大多數(shù)類似的新產(chǎn)品相匹配。

那管理數(shù)據(jù)平臺(tái)的數(shù)據(jù)工程師呢？它們剛剛開始：

最后，數(shù)據(jù)工程師得到了數(shù)據(jù)工程的要求，開始對(duì)各種數(shù)據(jù)進(jìn)行提取、載入和轉(zhuǎn)換。第一步很簡(jiǎn)單，但是現(xiàn)在他們需要建立一個(gè)可用的數(shù)據(jù)視圖。為了了解哪些轉(zhuǎn)變非常重要，他們需要與各種可能的未來(lái)客戶交談。他們組織了包括王小強(qiáng)在內(nèi)的一些改進(jìn)會(huì)議。接著，他們需要回到數(shù)據(jù)生產(chǎn)部門，找出數(shù)據(jù)的實(shí)際含義，以及它是如何映射到他們的領(lǐng)域的。這個(gè)部門忙于一些新的內(nèi)部商品。所以，他們把數(shù)據(jù)工程師交給數(shù)據(jù)科學(xué)團(tuán)隊(duì)，這個(gè)團(tuán)隊(duì)顯然已經(jīng)做了一些準(zhǔn)備。

簡(jiǎn)單地說(shuō)，這件事的進(jìn)展并不順利。

有幾個(gè)關(guān)鍵問(wèn)題：

科學(xué)家需要建立一個(gè)特定于用例的轉(zhuǎn)換。

為了促進(jìn)他們未處理的用例，平臺(tái)團(tuán)隊(duì)?wèi)?yīng)該準(zhǔn)備他們所沒(méi)有的域數(shù)據(jù)。

數(shù)據(jù)平臺(tái)團(tuán)隊(duì)成為數(shù)據(jù)科學(xué)家團(tuán)隊(duì)的瓶頸。

由此產(chǎn)生的解決方案

需要大量的領(lǐng)域知識(shí)來(lái)解釋和轉(zhuǎn)換與特定用例相關(guān)的高度詳細(xì)的數(shù)據(jù)。每個(gè)用例都需要特定的數(shù)據(jù)準(zhǔn)備。因此，數(shù)據(jù)工程師只能完成數(shù)據(jù)科學(xué)家要求的一些工作。當(dāng)數(shù)據(jù)科學(xué)家深入研究業(yè)務(wù)案例時(shí)，他們會(huì)獲得大量的領(lǐng)域知識(shí)。這樣他們就可以準(zhǔn)備數(shù)據(jù)了。

這樣就導(dǎo)致了下列解決方案：

如今，數(shù)據(jù)科學(xué)團(tuán)隊(duì)準(zhǔn)備將來(lái)自中央數(shù)據(jù)平臺(tái)的數(shù)據(jù)轉(zhuǎn)換為模型訓(xùn)練。雖然數(shù)據(jù)平臺(tái)提供了理想情況下完全可用的數(shù)據(jù)集，但實(shí)際上太簡(jiǎn)單了，不能滿足所有客戶的需求。

這一新情況有一些好處：

數(shù)據(jù)學(xué)家變得更加自給自足。

在組織中，數(shù)據(jù)工程師不必為每一個(gè)人創(chuàng)造視圖。它們能夠致力于數(shù)據(jù)的標(biāo)準(zhǔn)化接口。

在保持?jǐn)?shù)據(jù)最新的同時(shí)，數(shù)據(jù)工程師也能提供很好的瀏覽方法。

但是，許多事情仍然不太正確：

數(shù)據(jù)科學(xué)家的數(shù)據(jù)集及其生產(chǎn)管道與數(shù)據(jù)平臺(tái)的標(biāo)準(zhǔn)不同。他們沒(méi)有得到很好的監(jiān)控，故障恢復(fù)能力差，任務(wù)調(diào)度不規(guī)范。

由于轉(zhuǎn)型更加分散，多個(gè)數(shù)據(jù)科學(xué)團(tuán)隊(duì)正在重新發(fā)明輪子。

三 新方法：數(shù)據(jù)網(wǎng)格

不久前，數(shù)據(jù)網(wǎng)格的概念就出現(xiàn)了。這些數(shù)據(jù)來(lái)自組織中的許多地方。數(shù)據(jù)網(wǎng)格接受數(shù)據(jù)的滲透性，而不是建立所有組合數(shù)據(jù)的單一表示。每一個(gè)團(tuán)隊(duì)的數(shù)據(jù)也被視為該團(tuán)隊(duì)的商品，以便在整個(gè)公司范圍內(nèi)使用數(shù)據(jù)。公司團(tuán)隊(duì)還負(fù)責(zé)建立其數(shù)據(jù)的可用視圖。在這種情況下，機(jī)器學(xué)習(xí)(ML)產(chǎn)品團(tuán)隊(duì)(數(shù)據(jù)科學(xué)家)也將轉(zhuǎn)換后的數(shù)據(jù)作為產(chǎn)品交付給其它數(shù)據(jù)科學(xué)家。它們可以從各種產(chǎn)品團(tuán)隊(duì)中獲得自己的數(shù)據(jù)。所以，每一個(gè)產(chǎn)品團(tuán)隊(duì)或團(tuán)隊(duì)不僅要開發(fā)自己的產(chǎn)品，還要為其它團(tuán)隊(duì)提供有用的視圖。在我解釋優(yōu)點(diǎn)之前，讓我先介紹一下新情況：

左邊，部門或商品團(tuán)隊(duì)提供通用數(shù)據(jù)作為服務(wù)。雖然一組標(biāo)準(zhǔn)化的表格(DWH)這是一個(gè)概率，但是它也可能包括事件流(Kafka)或者blob存儲(chǔ)。這就要求產(chǎn)品團(tuán)隊(duì)具備更多的數(shù)據(jù)工程能力。數(shù)據(jù)工程師不再由一個(gè)擁有所有數(shù)據(jù)工程師的中心團(tuán)隊(duì)組成，而是分布在所有產(chǎn)品團(tuán)隊(duì)中，包括分析和機(jī)器學(xué)習(xí)團(tuán)隊(duì)。

中央數(shù)據(jù)平臺(tái)已經(jīng)從數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)(需要領(lǐng)域知識(shí))轉(zhuǎn)變?yōu)閿?shù)據(jù)平臺(tái)，即服務(wù)團(tuán)隊(duì)(需要技能知識(shí))。他們開發(fā)內(nèi)部平臺(tái)，讓所有團(tuán)隊(duì)都能創(chuàng)建自己的案例，如數(shù)據(jù)存儲(chǔ)、特征存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)傳承、調(diào)度、流程監(jiān)控、模型工件、模型服務(wù)實(shí)例等。所以，以前數(shù)據(jù)平臺(tái)團(tuán)隊(duì)的所有技術(shù)技能都是用來(lái)建立工具的。通過(guò)這種方式，每一個(gè)團(tuán)隊(duì)都可以成為自己的小型數(shù)據(jù)平臺(tái)團(tuán)隊(duì)。這樣就保證了整個(gè)公司統(tǒng)一的工作方式和高標(biāo)準(zhǔn)。

右邊的數(shù)據(jù)科學(xué)團(tuán)隊(duì)不僅是數(shù)據(jù)的消費(fèi)者，也是數(shù)據(jù)的生產(chǎn)者。與其他數(shù)據(jù)科學(xué)團(tuán)隊(duì)分享他們的特色工程和數(shù)據(jù)整理結(jié)果。

它有許多優(yōu)點(diǎn)：

轉(zhuǎn)換是在領(lǐng)域知識(shí)所在的地方建立的。

清除了數(shù)據(jù)平臺(tái)團(tuán)隊(duì)的瓶頸。

自給自足的產(chǎn)品團(tuán)隊(duì)。

挑戰(zhàn)在于：

為服務(wù)團(tuán)隊(duì)建立一個(gè)中心平臺(tái)。

避免新的中央數(shù)據(jù)平臺(tái)，也就是服務(wù)團(tuán)隊(duì)逐漸成為瓶頸。

使所有團(tuán)隊(duì)都能以共享的方式接受這一新方法。

在這個(gè)設(shè)置中，中央平臺(tái)，即服務(wù)團(tuán)隊(duì)(或幾個(gè)團(tuán)隊(duì))起著關(guān)鍵作用。他們以簡(jiǎn)單的自助方式設(shè)置和提供基礎(chǔ)設(shè)施和軟件服務(wù)。當(dāng)他們建立一個(gè)平臺(tái)，也就是服務(wù)時(shí)，團(tuán)隊(duì)不需要很多具體領(lǐng)域的知識(shí)。它只注重技術(shù)，使其可以復(fù)制，并將解決方案轉(zhuǎn)發(fā)給所有團(tuán)隊(duì)。這個(gè)方便的設(shè)置可擴(kuò)展性很好！但是有一個(gè)很大的風(fēng)險(xiǎn):選擇瀑布法。

數(shù)據(jù)網(wǎng)格解決了與數(shù)據(jù)器相關(guān)的領(lǐng)域知識(shí)問(wèn)題。這是通過(guò)將數(shù)據(jù)的責(zé)任轉(zhuǎn)移到生成和處理數(shù)據(jù)團(tuán)隊(duì)來(lái)完成的?，F(xiàn)在，我們需要一個(gè)中央團(tuán)隊(duì)來(lái)幫助所有團(tuán)隊(duì)合作他們的數(shù)據(jù)，而不是一個(gè)中央團(tuán)隊(duì)擁有所有的數(shù)據(jù)。

一個(gè)陷阱是通過(guò)瀑布啟動(dòng)和運(yùn)行核心團(tuán)隊(duì)。在加入團(tuán)隊(duì)之前，不要從建立所有必要的基礎(chǔ)設(shè)施和服務(wù)開始。只要沒(méi)有一個(gè)團(tuán)隊(duì)使用這些服務(wù)，就沒(méi)有附加值。因此，當(dāng)團(tuán)隊(duì)可以使用服務(wù)時(shí)，有必要迭代發(fā)展和優(yōu)化服務(wù)。

另一種風(fēng)險(xiǎn)是讓平臺(tái)即服務(wù)團(tuán)隊(duì)決定工作模式。這樣，團(tuán)隊(duì)就會(huì)成為整個(gè)公司的瓶頸。有些團(tuán)隊(duì)在敏捷和迭代方法中會(huì)需要新的工具或服務(wù)，但是這些工具或服務(wù)還沒(méi)有準(zhǔn)備好在企業(yè)范圍內(nèi)選擇。也就是說(shuō)，平臺(tái)服務(wù)團(tuán)隊(duì)不應(yīng)該限制這些早期用戶，而應(yīng)該允許和授權(quán)發(fā)現(xiàn)和嘗試新的工具和服務(wù)。讓他們授權(quán)產(chǎn)品團(tuán)隊(duì)并團(tuán)結(jié)起來(lái)。這樣，兩個(gè)團(tuán)隊(duì)就可以在整個(gè)公司范圍內(nèi)進(jìn)一步分享工具和服務(wù)所需的經(jīng)驗(yàn)。

四 兩步走向現(xiàn)代數(shù)據(jù)平臺(tái)

有沒(méi)有可能轉(zhuǎn)換成數(shù)據(jù)網(wǎng)格？有沒(méi)有可能在中央數(shù)據(jù)平臺(tái)和數(shù)據(jù)網(wǎng)格之間建立一些東西？如何務(wù)實(shí)邁出第一步？我們?cè)谀睦锟梢员M快獲得盡可能多的好處？在為您組織的基礎(chǔ)設(shè)施能力量身定制的解決方案中。本文的其他部分將解釋如何將其轉(zhuǎn)換為支持機(jī)器學(xué)習(xí)解決方案、賦能數(shù)據(jù)科學(xué)家、共享內(nèi)部工作模式的數(shù)據(jù)平臺(tái)。

第一階段：輕量級(jí)中央數(shù)據(jù)平臺(tái)

建立這個(gè)數(shù)據(jù)平臺(tái)的第一步是什么？不幸的是，沒(méi)有相同的模板。方法要看具體情況，包括現(xiàn)有的技術(shù)堆棧、可用的技能和能力、流程、一般的DevOps和MLOps成熟度。我可以給你一個(gè)一般的建議，希望這些建議能給你一個(gè)有用的角度。

一種方法是將之前版本的優(yōu)點(diǎn)結(jié)合起來(lái)，作為未來(lái)更先進(jìn)版本(例如數(shù)據(jù)網(wǎng)格)的基礎(chǔ)：

在提取和載入方面，數(shù)據(jù)工程師致力于盡量減少轉(zhuǎn)換。

具體領(lǐng)域(數(shù)據(jù)科學(xué))團(tuán)隊(duì)致力于高級(jí)轉(zhuǎn)換。

為了提高團(tuán)隊(duì)的能力，應(yīng)該提供工具。

這種方法是創(chuàng)建一個(gè)輕量級(jí)的中央數(shù)據(jù)平臺(tái)，包括以下步驟：

例如，一個(gè)具有特定用例的數(shù)據(jù)科學(xué)團(tuán)隊(duì)。

組建一支由平臺(tái)工程師和數(shù)據(jù)工程師組成的團(tuán)隊(duì)。

在數(shù)據(jù)科學(xué)團(tuán)隊(duì)中，平臺(tái)工程師提供至少存儲(chǔ)和處理的分析環(huán)境。

數(shù)據(jù)工程師從源表中載入原始數(shù)據(jù)，添加基本的標(biāo)準(zhǔn)化轉(zhuǎn)換，并提供給用戶團(tuán)隊(duì)。他們與平臺(tái)工程師一起建立所需的服務(wù)。

數(shù)據(jù)科學(xué)家與數(shù)據(jù)平臺(tái)工程師合作，安排、運(yùn)行和操作數(shù)據(jù)轉(zhuǎn)換、模型訓(xùn)練循環(huán)和模型服務(wù)。他們與數(shù)據(jù)工程師合作，使數(shù)據(jù)轉(zhuǎn)換系統(tǒng)化。

在這種情況下，數(shù)據(jù)科學(xué)家仍然需要大量的數(shù)據(jù)處理。然而，我們不會(huì)假設(shè)這種情況不會(huì)發(fā)生，而是接受它，為它提供最好的工具來(lái)完成它。

這種方法的一個(gè)關(guān)鍵方面是首先關(guān)注一個(gè)用例。數(shù)據(jù)工程師、平臺(tái)工程師和數(shù)據(jù)科學(xué)家首先解決了這個(gè)用例。同時(shí)，他們獲得了開發(fā)必要工具的經(jīng)驗(yàn)，以便將來(lái)擴(kuò)展。

結(jié)果如下：

在左邊，我們保留了原來(lái)的情況，即部門或產(chǎn)品團(tuán)隊(duì)只開發(fā)或經(jīng)營(yíng)其生產(chǎn)案例。這樣就限制了企業(yè)范圍內(nèi)的變化。

在中間部分，數(shù)據(jù)工程師致力于輕量級(jí)數(shù)據(jù)建模和優(yōu)質(zhì)管道。它們主要負(fù)責(zé)載入所有數(shù)據(jù)，并提供標(biāo)準(zhǔn)化的瀏覽方法。它們非常注重包括基礎(chǔ)設(shè)施和服務(wù)在內(nèi)的技術(shù)。

在右邊，數(shù)據(jù)科學(xué)團(tuán)隊(duì)致力于根據(jù)所有必要的領(lǐng)域知識(shí)建立數(shù)據(jù)產(chǎn)品。他們通過(guò)向客戶(使用他們的數(shù)據(jù)產(chǎn)品的客戶)和上游數(shù)據(jù)庫(kù)團(tuán)隊(duì)學(xué)習(xí)來(lái)獲得上述領(lǐng)域的知識(shí)。他們經(jīng)營(yíng)所有必要的分析和轉(zhuǎn)換，并得到平臺(tái)，即服務(wù)團(tuán)隊(duì)的支持。他們有很強(qiáng)的領(lǐng)域和用例重點(diǎn)。

最底層，平臺(tái)是服務(wù)團(tuán)隊(duì)，致力于建立可重復(fù)使用的部件。因此，他們致力于技術(shù)。他們?yōu)閿?shù)據(jù)科學(xué)團(tuán)隊(duì)提供服務(wù)，他們致力于該領(lǐng)域。也就是說(shuō)，平臺(tái)服務(wù)團(tuán)隊(duì)?wèi)?yīng)該由用戶的需求驅(qū)動(dòng)。

第二階段：跨團(tuán)隊(duì)拓展與共享

下一步是擴(kuò)大規(guī)模。擴(kuò)大規(guī)?？梢詮亩鄠€(gè)方面進(jìn)行，包括獲取更多的源數(shù)據(jù)集，吸收更多的數(shù)據(jù)科學(xué)團(tuán)隊(duì)，或者添加更多的賦能平臺(tái)作為服務(wù)(如功能存儲(chǔ)、模型服務(wù)等)。).同樣，這些選擇也取決于具體情況。

現(xiàn)在，讓我們采取一個(gè)典型的步驟:加入更多的數(shù)據(jù)科學(xué)團(tuán)隊(duì)。加入第一個(gè)團(tuán)隊(duì)，確保開發(fā)服務(wù)有用。第一個(gè)團(tuán)隊(duì)是啟動(dòng)客戶。也就是說(shuō)，平臺(tái)服務(wù)團(tuán)隊(duì)保證了與內(nèi)部客戶的良好市場(chǎng)契合度。下一個(gè)團(tuán)隊(duì)?wèi)?yīng)該啟動(dòng)和運(yùn)行得更快更順利。

隨著多個(gè)團(tuán)隊(duì)使用這些服務(wù)，下一個(gè)障礙將允許數(shù)據(jù)科學(xué)團(tuán)隊(duì)共享數(shù)據(jù)。這可能需要改變服務(wù)和工作方式。但是，如果達(dá)到這個(gè)里程碑，平臺(tái)計(jì)劃將真正改進(jìn)所有后續(xù)團(tuán)隊(duì)的工作模式。這導(dǎo)致以下情況:

與上圖相比，我們現(xiàn)在有一個(gè)數(shù)據(jù)科學(xué)團(tuán)隊(duì)，正在開發(fā)一種欺詐檢測(cè)產(chǎn)品。他們應(yīng)該能夠重視平臺(tái)工程師開發(fā)的服務(wù)，重視第一個(gè)預(yù)測(cè)團(tuán)隊(duì)的數(shù)據(jù)。

后續(xù)步驟：專業(yè)化和規(guī)?；?/strong>

不要忘記這些信息平臺(tái)計(jì)劃的目標(biāo)。目標(biāo)是使用更多的數(shù)據(jù)產(chǎn)品。因此，除了加入多個(gè)數(shù)據(jù)科學(xué)團(tuán)隊(duì)之外，努力實(shí)現(xiàn)生產(chǎn)模式也非常重要。讓第一批(少數(shù))團(tuán)隊(duì)真正將自己的模型預(yù)測(cè)嵌入到業(yè)務(wù)中。

有了這些平臺(tái)，流程和工作方法，下一步該怎么做就不清楚了。能提高服務(wù)質(zhì)量和團(tuán)隊(duì)合作的機(jī)會(huì)很多。

根據(jù)項(xiàng)目要求，可以提高提供的服務(wù)質(zhì)量。也許需要即時(shí)特色存儲(chǔ)、新的模型服務(wù)平臺(tái)、自動(dòng)ML工具或者更好的模型監(jiān)控？

在團(tuán)隊(duì)協(xié)調(diào)方面，可能需要做出一些改變。在許多情況下，我們需要“客戶360視圖”，這可能會(huì)導(dǎo)致建立一個(gè)團(tuán)隊(duì)來(lái)管理整合視圖，并具有一些自動(dòng)生成的功能。各種類似的常見問(wèn)題可以作為創(chuàng)建新的通用解決方案。

五 總結(jié)

以上展示了一種向更多數(shù)據(jù)驅(qū)動(dòng)的組織邁進(jìn)的方法，即采用敏捷的方法進(jìn)行設(shè)計(jì)。本文不推薦任何解決方案作為“最佳方法”，而是希望提供一個(gè)額外的視角來(lái)參考當(dāng)前的狀態(tài)。

該方法的主要組成部分包括：

以客戶為中心的敏捷(內(nèi)部)方法。

平臺(tái)思維。

清除瓶頸，提供一個(gè)能夠提升數(shù)據(jù)科學(xué)團(tuán)隊(duì)能力的靈活平臺(tái)。

自給自足的團(tuán)隊(duì)，擁有自由和自主。它們可以自由使用適合自己的服務(wù)，并且可以自己準(zhǔn)備數(shù)據(jù)。

本文來(lái)自微信微信官方賬號(hào)“數(shù)據(jù)驅(qū)動(dòng)智能”（ID：Data作者：曉曉，36氪經(jīng)授權(quán)發(fā)布，_0101)。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽?lái)源及作者名字。

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com