剛剛，DeepSeek發(fā)布最新文章，全面公開V3/R1訓(xùn)練細(xì)節(jié)，信息量十分豐富。

不止是簡(jiǎn)單貼上「AI生成」標(biāo)簽，在網(wǎng)信辦《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》正式生效的第一天，DeepSeek迅速做出響應(yīng)。接下來，該公司所有自家AI生成的內(nèi)容，都會(huì)明確標(biāo)注「AI身份」。更令人驚喜的是，DeepSeek還主動(dòng)公開了V3/R1的模型訓(xùn)練細(xì)節(jié)。

今天，網(wǎng)信辦的這項(xiàng)新規(guī)正式實(shí)施。其中第四條明確要求，對(duì)符合要求的AI生成合成內(nèi)容添加顯式標(biāo)識(shí)。緊跟政策步伐，DeepSeek立即行動(dòng)。剛剛，DeepSeek官微發(fā)布最新回應(yīng)公告，承諾凡是AI生成的內(nèi)容，都會(huì)清晰標(biāo)注「AI生成」。同時(shí)，它還鄭重提醒用戶，嚴(yán)禁惡意刪除、篡改、隱匿標(biāo)識(shí)，更不能利用AI傳播、制作虛假信息。

此外，此次DeepSeek還發(fā)布了《模型原理與訓(xùn)練方法說明》，從中我們可以了解其技術(shù)路徑。下面，讓我們深入探究DeepSeek V3/R1的一些訓(xùn)練細(xì)節(jié)。

相關(guān)鏈接：https://cdn.deepseek.com/policies/zh-CN/model-algorithm-disclosure.html

回應(yīng)新要求，DeepSeek公開技術(shù)說明

DeepSeek主要介紹了大模型的訓(xùn)練和推理階段，涵蓋預(yù)訓(xùn)練、優(yōu)化訓(xùn)練（微調(diào)）以及訓(xùn)練數(shù)據(jù)等方面。

不同大模型具有不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

模型訓(xùn)練

模型訓(xùn)練階段也就是模型的開發(fā)階段。開發(fā)人員通過設(shè)計(jì)好的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)和訓(xùn)練方法，開發(fā)出可部署使用的模型。模型由多層神經(jīng)網(wǎng)絡(luò)組成，不同的架構(gòu)直接影響模型的性能。同時(shí)，模型性能也受參數(shù)規(guī)模的制約，訓(xùn)練的目的就是找到具體的參數(shù)值。

目前，大模型的參數(shù)規(guī)模數(shù)以億計(jì)。最新的DeepSeek - V3 - 0324，參數(shù)總量達(dá)到6850億。在訓(xùn)練過程中，這些參數(shù)通過梯度下降算法迭代優(yōu)化。

這次，DeepSeek將模型訓(xùn)練分為預(yù)訓(xùn)練和優(yōu)化訓(xùn)練兩個(gè)環(huán)節(jié)。

預(yù)訓(xùn)練的目標(biāo)是通過數(shù)據(jù)訓(xùn)練模型，使模型掌握通用的語(yǔ)言理解與生成能力。優(yōu)化訓(xùn)練，也稱為微調(diào)，是在預(yù)訓(xùn)練模型的基礎(chǔ)上，通過特定任務(wù)的數(shù)據(jù)進(jìn)一步調(diào)整模型參數(shù)，使模型適應(yīng)實(shí)際應(yīng)用場(chǎng)景。

在預(yù)訓(xùn)練階段，模型通過大規(guī)模自監(jiān)督學(xué)習(xí)，從文本數(shù)據(jù)中學(xué)習(xí)語(yǔ)言模式與知識(shí)關(guān)聯(lián)。預(yù)訓(xùn)練完成后，模型能理解并生成連貫的文本，但還不能精準(zhǔn)地回答問題或執(zhí)行任務(wù)，因此需要進(jìn)一步的訓(xùn)練微調(diào)。

在優(yōu)化訓(xùn)練階段，模型一般通過SFT、RL等方法，學(xué)會(huì)根據(jù)指令回答問題，符合人類的偏好和需求，并激發(fā)在特定領(lǐng)域的專業(yè)能力。

經(jīng)過優(yōu)化訓(xùn)練的模型能更好地滿足實(shí)際需求，可被部署使用。

深挖訓(xùn)練「內(nèi)幕」，煉出最強(qiáng)大腦

DeepSeek模型的能力建立在高質(zhì)量、大規(guī)模、多樣化的數(shù)據(jù)之上。在「預(yù)訓(xùn)練階段」和「優(yōu)化訓(xùn)練階段」，情況各有不同。

預(yù)訓(xùn)練階段

在預(yù)訓(xùn)練階段，主要使用兩類數(shù)據(jù)：一是互聯(lián)網(wǎng)公開可用的信息，如網(wǎng)頁(yè)、公開文檔等；二是與第三方合作獲取許可的數(shù)據(jù)。需要強(qiáng)調(diào)的是，在此階段無需獲取個(gè)人信息用于訓(xùn)練，DeepSeek不會(huì)有意關(guān)聯(lián)至任何特定賬戶和個(gè)人，更不會(huì)主動(dòng)將其用于訓(xùn)練模型。不過，由于預(yù)訓(xùn)練數(shù)據(jù)規(guī)模龐大，可能偶然包含一些個(gè)人信息。對(duì)此，DeepSeek會(huì)通過技術(shù)手段盡力篩查并移除這些信息，確保數(shù)據(jù)「干凈」。

為保證數(shù)據(jù)質(zhì)量、安全、多樣，他們打造了一套嚴(yán)格的數(shù)據(jù)治理流程。首先，通過「過濾器」自動(dòng)剔除仇恨言論、色情低俗、暴力、垃圾信息以及可能侵權(quán)的原始數(shù)據(jù)。其次，通過算法 + 人工審核，識(shí)別并降低數(shù)據(jù)中的統(tǒng)計(jì)性偏見，讓模型更公平、客觀。

優(yōu)化訓(xùn)練階段

到了優(yōu)化訓(xùn)練階段，一般需要通過人工或自動(dòng)化的方式構(gòu)造、標(biāo)注一批問答對(duì)數(shù)據(jù)來對(duì)模型進(jìn)行訓(xùn)練。DeepSeek表示，這些問答對(duì)數(shù)據(jù)由研究團(tuán)隊(duì)生成提供，其中少部分?jǐn)?shù)據(jù)的構(gòu)造可能基于用戶的輸入。

在DeepSeek - R1訓(xùn)練中，研究人員直接提示模型生成包含反思和驗(yàn)證的詳細(xì)答案，收集并整理DeepSeek - R1 - Zero的輸出，使其具有可讀性，還通過人工注釋者的后期處理來提高數(shù)據(jù)質(zhì)量。

如涉及利用用戶的輸入構(gòu)造訓(xùn)練數(shù)據(jù)，DeepSeek會(huì)對(duì)數(shù)據(jù)進(jìn)行安全加密技術(shù)處理、嚴(yán)格的去標(biāo)識(shí)化和匿名化處理，盡可能避免訓(xùn)練數(shù)據(jù)關(guān)聯(lián)到任何特定個(gè)人，且不會(huì)在模型給其他用戶的輸出中帶有個(gè)人信息，更不會(huì)將其用于用戶畫像或個(gè)性化推薦。

同時(shí)，DeepSeek為用戶提供了選擇退出的權(quán)利。

為確保模型的安全性，在模型優(yōu)化訓(xùn)練階段，DeepSeek構(gòu)造了專門的安全數(shù)據(jù)對(duì)模型進(jìn)行安全對(duì)齊，教會(huì)模型的回復(fù)符合人類的價(jià)值觀，增強(qiáng)模型內(nèi)生的安全能力。

模型推理

模型的推理階段即模型被部署提供服務(wù)。模型訓(xùn)練完成并被部署后，可以通過對(duì)輸入信息進(jìn)行編碼和計(jì)算來預(yù)測(cè)下一個(gè)token，從而具備文本生成和對(duì)話等能力。部署后的模型能夠熟練執(zhí)行基于文本生成的廣泛多樣的任務(wù)，并可以集成到各種下游系統(tǒng)或應(yīng)用中。

具體到DeepSeek的產(chǎn)品服務(wù)，基于用戶的輸入，模型采用自回歸生成方式，基于輸入的上下文內(nèi)容，通過概率計(jì)算預(yù)測(cè)最可能的接續(xù)詞匯序列。

推理完成后，模型輸出相應(yīng)的內(nèi)容作為響應(yīng)，包括文字、表格和代碼等。這并非簡(jiǎn)單檢索或「復(fù)制粘貼」訓(xùn)練數(shù)據(jù)中的原始文本，模型也并未存儲(chǔ)用于訓(xùn)練的原始文本數(shù)據(jù)副本，而是基于對(duì)語(yǔ)言結(jié)構(gòu)和語(yǔ)義關(guān)系的深度理解，動(dòng)態(tài)生成符合語(yǔ)境的回答。

DeepSeek這次還強(qiáng)調(diào)模型開源。

我們通過開源平臺(tái)對(duì)外公開發(fā)布了所有模型的權(quán)重、參數(shù)以及推理工具代碼等，并采用寬松的MIT協(xié)議，供使用者自由、免費(fèi)下載部署使用。

同時(shí)，DeepSeek發(fā)布各模型的完整技術(shù)報(bào)告，供社區(qū)和研究人員參考，并幫助公眾更深入地了解每個(gè)模型的技術(shù)原理和細(xì)節(jié)。

LLM致命幻覺，全周期硬核對(duì)抗

當(dāng)前AI發(fā)展仍處于早期階段，存在無法避免的局限性。若被濫用，將會(huì)帶來嚴(yán)重后果。

局限性

AI往往會(huì)生成錯(cuò)誤、遺漏或不符合事實(shí)的內(nèi)容，這種現(xiàn)象被統(tǒng)稱為「幻覺」。這是整個(gè)AI行業(yè)面臨的挑戰(zhàn)。對(duì)此，DeepSeek正通過一些技術(shù)手段降低幻覺率，包括使用高質(zhì)量的訓(xùn)練數(shù)據(jù)、優(yōu)化對(duì)齊策略、RAG等，但現(xiàn)階段仍無法完全消除。

同時(shí)，他們?cè)跉g迎頁(yè)、生成文本的末尾以及交互界面底部，添加顯著的提示標(biāo)識(shí)，特別提醒用戶，內(nèi)容由人工智能生成，可能不準(zhǔn)確。因此，AI生成的內(nèi)容僅供參考，所有人不應(yīng)將輸出的內(nèi)容作為專業(yè)建議。尤其是在醫(yī)療、法律、金融等專業(yè)領(lǐng)域，DeepSeek不提供任何建議或承諾，專業(yè)的事兒還得找專業(yè)的人。

濫用風(fēng)險(xiǎn)

AI技術(shù)本身是中立的，但濫用可能帶來隱私保護(hù)、版權(quán)、數(shù)據(jù)安全、內(nèi)容安全、偏見歧視等風(fēng)險(xiǎn)。DeepSeek高度重視這些問題，采取了一系列嚴(yán)格措施，貫穿模型研發(fā)、訓(xùn)練、部署的全生命周期。

制定內(nèi)部風(fēng)險(xiǎn)管理制度

開展模型安全性評(píng)估

進(jìn)行紅隊(duì)測(cè)試

增強(qiáng)模型和服務(wù)透明度等

更重要的是，DeepSeek還賦予了用戶知情權(quán)、選擇權(quán)、控制權(quán)，用戶可以查詢服務(wù)的基本信息、拒絕其數(shù)據(jù)用于模型訓(xùn)練、刪除其歷史數(shù)據(jù)等。

參考資料：

https://cdn.deepseek.com/policies/zh-CN/model-algorithm-disclosure.htmlDeepSeek 關(guān)于 AI 生成合成內(nèi)容標(biāo)識(shí)的公告

本文來自微信公眾號(hào)“新智元”，作者：新智元，編輯：KingHZ 桃子，36氪經(jīng)授權(quán)發(fā)布。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com