課程分類： DS賦能運(yùn)用

課程目標(biāo)：
1. 深刻理解DeepSeek-V3的核心技術(shù)原理
掌握DeepSeek-V3的架構(gòu)設(shè)計(jì)、多模態(tài)理解、上下文感知、知識(shí)圖譜等核心技術(shù)。
掌握大規(guī)模預(yù)訓(xùn)練模型（如Transformer）的工作原理及其在DeepSeek-V3中的應(yīng)用。
2. 掌握DeepSeek-V3的本地部署方法
學(xué)習(xí)如何搭建適合DeepSeek-V3運(yùn)行的本地環(huán)境（包括硬件配置、依賴庫安裝等）。
掌握DeepSeek-V3的本地部署流程，包括模型加載、服務(wù)啟動(dòng)和接口調(diào)用。
掌握如何優(yōu)化部署性能，以支持高并發(fā)和低延遲的應(yīng)用場(chǎng)景。
3. 學(xué)會(huì)DeepSeek-V3的微調(diào)與定制化
掌握如何利用領(lǐng)域數(shù)據(jù)對(duì)DeepSeek-V3進(jìn)行微調(diào)，以提升其在特定任務(wù)中的表現(xiàn)。
學(xué)習(xí)微調(diào)過程中的關(guān)鍵技術(shù)，包括數(shù)據(jù)預(yù)處理、模型訓(xùn)練、參數(shù)調(diào)優(yōu)等。
4. 提升實(shí)際項(xiàng)目中的應(yīng)用能力
通過實(shí)戰(zhàn)案例，學(xué)習(xí)如何將DeepSeek-V3應(yīng)用于智能客服、內(nèi)容生成、知識(shí)問答等場(chǎng)景。

課程對(duì)象：

課程時(shí)間：2天

第一天課程：DeepSeek-V3/R1核心技術(shù)架構(gòu)和訓(xùn)練過程
上午課程
第一部分 DeepSeek-V3的架構(gòu)創(chuàng)新：訓(xùn)練GPU和成本均低，但效果卓越
1.1 V3風(fēng)靡海內(nèi)外的關(guān)鍵因素：訓(xùn)練成本極低、引領(lǐng)前沿創(chuàng)新
1.1.1 V3訓(xùn)練成本：所用的GPU訓(xùn)練資源僅為Llama 3.1 405B的差不多1/14
1.1.2 在國內(nèi)也能引領(lǐng)世界級(jí)前沿

1.2 模型架構(gòu)：MLA、負(fù)載均衡的MoE、Multi-Token預(yù)測(cè)
1.2.1 多頭潛在注意力
1.2.2. 無輔助損失的負(fù)載平衡 DeepSeekMoE
1.2.3 多token預(yù)測(cè)：Multi-Token Prediction顯著加快模型的解碼速度

第二部分 DeepSeek-V3基礎(chǔ)設(shè)施層面的創(chuàng)新：FP8 訓(xùn)練等
2.1 訓(xùn)練框架(含GPU的內(nèi)部結(jié)構(gòu)示意圖)
2.1.1 雙管道DualPipe與計(jì)算-通信重疊
2.1.2 跨節(jié)點(diǎn)全對(duì)全通信的高效實(shí)現(xiàn)：通過PXT連接CUDA和底層GPU硬件
2.1.3. 極致內(nèi)存節(jié)省與最小開銷
2.2 FP8訓(xùn)練：雖算的快 但精度不夠，故需提高精度
2.2.1 混合精度框架
2.2.2. 通過量化和乘法提高精度
2.2.2 低精度存儲(chǔ)和通信：降低內(nèi)存和通信開銷
2.3 推理與部署
2.3.1 預(yù)填充
2.3.2 解碼
2.4 硬件設(shè)計(jì)建議

下午課程
第三部分 DeepSeek-V3的預(yù)訓(xùn)練與后訓(xùn)練
3.1 預(yù)訓(xùn)練
3.1.1 數(shù)據(jù)構(gòu)建：提高數(shù)學(xué)、編程、多語言樣本，最終14.8T語料
3.1.2 超參數(shù)
3.1.3 長上下文擴(kuò)展
3.1.4 評(píng)估與討論
3.2 訓(xùn)練后處理：透露了大半后來引爆全球的R1正式版訓(xùn)練流程

3.2.1 監(jiān)督微調(diào)
3.2.2 強(qiáng)化學(xué)習(xí)：涉及獎(jiǎng)勵(lì)模型和GRPO
3.2.3 評(píng)估與討論：關(guān)于DeepSeek-R1提煉與多token預(yù)測(cè)

第四部分 DeepSeek R1：如何通過純RL訓(xùn)練大模型的推理能力
4.1 提出背景與相關(guān)工作
4.1.1 R1-Zero的提出背景：無需人類數(shù)據(jù)，從零實(shí)現(xiàn)自我迭代
4.1.2 R1的提出背景：解決Zero可讀性差等問題
4.2 DeepSeek-R1-Zero：規(guī)則驅(qū)動(dòng)的大規(guī)模RL訓(xùn)練，無冷啟動(dòng)、無SFT

4.2.1 RL算法GRPO：不需要critic
4.2.2 規(guī)則獎(jiǎng)勵(lì)建模(準(zhǔn)確率獎(jiǎng)勵(lì) + 格式獎(jiǎng)勵(lì))：不用訓(xùn)練專門的獎(jiǎng)勵(lì)模型RM
4.2.3 訓(xùn)練模板：通過prompt讓Zero啟動(dòng)深度思考的推理模式
4.2.4 Zero的性能、自我進(jìn)化過程和頓悟時(shí)刻
4.3 DeepSeek-R1：先冷啟動(dòng)數(shù)據(jù)SFT 再RL，之后再SFT 再RL

4.3.1 階段一 冷啟動(dòng)(主要關(guān)注推理)：通過R1-Zero生成數(shù)千條長CoT數(shù)據(jù)
4.3.2 階段二 面向推理的GRPO RL：類似Zero的規(guī)則獎(jiǎng)勵(lì)，但增加語言一致性獎(jiǎng)勵(lì)
4.3.3 階段三 V3上的的兩輪SFT(結(jié)合rejection sampling)：涉及80w通用層面的推理和非推理數(shù)據(jù)
4.3.4 階段四 所有場(chǎng)景的RL：提高有用性和無害性，且混合規(guī)則獎(jiǎng)勵(lì)和偏好獎(jiǎng)勵(lì)
4.4 蒸餾：賦予小模型推理能力
4.5 一些經(jīng)驗(yàn)總結(jié)：成功和失敗的經(jīng)驗(yàn)分析總結(jié)

第二天課程：DeepSeek本地部署和微調(diào)案例實(shí)操
上午課程
第五部分 本地部署準(zhǔn)備工作：各個(gè)版本、推理框架、硬件資源
5.1 DeepSeek-R1的多個(gè)版本：加上2個(gè)原裝671B的，總計(jì)8個(gè)參數(shù)版本
5.2 主流的大模型推理框架：分為PC端和Android端
5.3 不同參數(shù)的模型所要求的硬件
5.4 蒸餾版和滿血版的兩類部署

第六部分 通過Ollama、vLLM本地部署DeepSeek-R1蒸餾版：支持聯(lián)網(wǎng)搜索及知識(shí)庫問答
6.1 基于Ollama和各類插件構(gòu)建智能對(duì)話：終端、open-webui(支持聯(lián)網(wǎng))、Chatbox
6.1.1 Ollama下的終端命令行交互
6.1.2 Ollama下的open-webui交互：基于docker安裝，且支持聯(lián)網(wǎng)搜索
6.1.3 基于Ollama + ChatBox部署deepseek-r1:7b
6.2 基于Ollama和Page Assist/AnythingLLM構(gòu)建本地知識(shí)庫問答系統(tǒng)
6.2.1 基于Ollama + Page Assist搭建本地知識(shí)庫問答系統(tǒng)：且支持聯(lián)網(wǎng)搜索
6.2.2 基于Ollama + AnythingLLM搭建本地知識(shí)庫問答

6.3 通過vLLM推理deepseek-r1
6.3.1 基于vLLM的命令行交互——R1-Distill-Llama-8B
6.3.2 基于vllm + open WebUi 部署r1 7b
6.4 本地手機(jī)端部署DeepSeek-R1蒸餾Llama/Qwen后的版本

下午課程
第七部分 無蒸餾前提下本地部署R1 or R1-Zero 671B滿血版
7.1 折中路徑：無蒸餾但量化部署Deepseek-R1 671B滿血版
7.1.1 本地CPU上運(yùn)行 Deepseek-R1 的完整的硬件 + 軟件設(shè)置
7.1.2 GPU上跑無蒸餾但量化的Deepseek-R1 671B滿血版
7.2 企業(yè)級(jí)部署：無蒸餾不量化部署Deepseek-R1 671B滿血版