【ChatGPT進階：提示工程入門】

編輯推薦

系統：全面剖析ChatGPT應用技巧，帶你從小白變身ChatGPT應用專家。

實用：內含開箱即用的“提示公式”，聚焦ChatGPT實際應用。

有思路，有辦法，能落地：帶你將ChatGPT真正轉化為生產力，開啟AI驅動的工作流程。

簡單易讀：深入淺出，循序漸進，內含60個示例，適合初學者和進階讀者。

深度：理論結合實際，涵蓋提示工程學科深度討論，授人以魚更授人以漁。

內容簡介

《ChatGPT進階：提示工程入門》是一本面向所有人的提示工程工具書，旨在幫助你掌握並有效利用以ChatGPT為代表的AI工具。 學習完《ChatGPT進階：提示工程入門》後，你將能够自如地將ChatGPT運用在生活和專業領域中，成為ChatGPT進階玩家。

《ChatGPT進階：提示工程入門》共分為9章，內容涵蓋三個層次：介紹與解讀、入門學習、進階提升。 第1～2章深入介紹與剖析了ChatGPT與提示工程，並從多個學科的角度探討了提示工程學科。 第3～5章演示了ChatGPT的實際運用，教你如何使用ChatGPT解决自然語言處理問題，並為你提供了一套可操作、可重複的提示設計框架，讓你能够熟練駕馭ChatGPT。 第6～9章講解了來自學術界的提示工程方法，以及如何圍繞ChatGPT進行創新； 此外，為希望ChatGPT進行應用開發的讀者提供了實用的參考資料，並介紹了除ChatGPT之外的其他選擇。

《ChatGPT進階：提示工程入門》聚焦ChatGPT的實際應用，可操作，可重複，輕鬆易讀卻不失深度。 無論你是對ChatGPT及類似工具充滿好奇，還是期待將其轉化為生產力，《ChatGPT進階：提示工程入門》都值得一讀。 此外，《ChatGPT進階：提示工程入門》還可作為相關培訓機構的教材。

作者簡介

陳顥鵬：

提示工程師，AI產品經理，畢業於北京郵電大學電腦學院。 曾在滴滴自動駕駛、圖森未來、位元組跳動、美團等公司積累了行業經驗，現就職於一家AI領域的獨角獸公司。 作為ChatGPT發佈後的初期用戶，他運用該科技重塑了工作流程，顯著提高了工作效率，發明的ChatGPT提示設計框架在小紅書（ID：陳財猫）上獲得了40000贊與收藏，被多次轉載，並在多家公司內部被廣泛分享。 他負責本書主體內容的寫作。

李子菡：

碩士就讀於香港科技大學電腦與工程系，本科畢業於北京郵電大學。 研究的領域涉及大語言模型和Prompt，參與相關工作已在自然語言處理領域學術會議ACL上發表，對人工智慧領域及各種語言模型有著深入的瞭解。 她是本書的科研顧問，參與了第一章的寫作，並對本書進行了審閱。

目錄

第1章認識ChatGPT

1.1 ChatGPT是什麼

1.1.1什麼是語言模型

1.1.2什麼是GPT

1.2 ChatGPT的能力

1.2.1 GPT-4有多强

1.2.2大語言模型的“湧現”能力

1.2.3“GPT們”會搶走我們的工作嗎

1.3 ChatGPT的局限

1.3.1大語言模型的“幻覺”現象

1.3.2有限的上下文：ChatGPT的“失憶症”

1.3.3隱私漏洞與安全隱患

1.3.4大語言模型的偏見

第2章人機共舞的藝術：提示工程簡介

2.1什麼是提示與提示工程

2.1.1什麼是提示

2.1.2什麼是提示工程

2.2提示工程的巨大威力：從Let’s think step by step說起

2.3我們與ChatGPT的溝通模型

2.4從人工智慧學科角度看提示工程

2.4.1科技奇點與智慧增强：人類需要學會與人工智慧合作

2.4.2對齊：如何避免人工智慧毀滅世界

2.4.3彌達斯國王問題：我們想要的就是我們的真實需求嗎

2.5折開、標準化、流程化：如何用AI改造工作

第3章使用ChatGPT的基礎技巧

3.1使用文字分隔符號分割指令和上下文

3.2使用標記語言標記輸入格式

3.3使用有序列錶與無序清單列出不同的項

3.4量化你的要求

3.5不要說“不要做什麼”，要說“要做什麼”

3.6利用ChatGPT“接龍”的特性引導下一步動作

3.7多輪對話：ChatGPT“越用越聰明”的秘訣

3.8使用ChatGPT挿件

第4章使用ChatGPT完成自然語言處理任務

4.1什麼是自然語言處理任務

4.2文字摘要：提煉文字精華

4.2.1文字摘要的提示公式

4.2.2用文字摘要ChatGPT進行論文閱讀

4.2.3用文字摘要ChatGPT做會議記錄

4.3文字糾錯：檢測和修正文字錯誤

4.4情感分析：挖掘文字中的情感傾向

4.4.1情感分析任務的提示公式

4.4.2場景示例：批量分析外賣評論，尋找經營改進點

4.5實體識別：抽取特定實體

4.5.1實體識別任務的提示公式

4.5.2示例：從簡歷中選取關鍵資訊

4.5.3 ChatGPT實體識別5W1H快速閱讀複雜文字

4.6機器翻譯：跨語言的文字轉換

4.6.1機器翻譯任務的提示公式

4.6.2用ChatGPT翻譯詩歌

4.7關鍵字抽取：從文字中識別主題

4.7.1關鍵字抽取任務的提示公式

4.7.2用ChatGPT抽取論文摘要關鍵字

4.8問題問答：用ChatGPT學知識

4.8.1用類比學習複雜概念

4.8.2小朋友也能聽得懂的故事解釋法

4.8.3如何减少ChatGPT的“幻覺”

4.9生成式任務：用ChatGPT做內容創作

4.9.1生成式任務的提示設計維度

4.9.2用ChatGPT寫深度評論文章

第5章使用BROKE框架設計ChatGPT提示

5.1 BROKE框架

5.1.1 BROKE框架的基本內容

5.1.2用BROKE框架讓ChatGPT介紹BROKE框架

5.2背景（Background）：資訊傳達與角色設計

5.2.1讓ChatGPT向使用者提問，分析問題背景

5.2.2給ChatGPT盡可能多的原始資訊

5.2.3用符合直覺與經驗的管道設計問題背景

5.3角色（Role）：AI助手的角色扮演遊戲

5.4目標與關鍵結果（Objectives&Key Results）：給ChatGPT“打績效”

5.4.1如何設計目標

5.4.2如何設計關鍵結果

5.5改進（Evolve）：進行試驗與調整

5.6示例：寫自動駕駛計程車試乘報告框架

5.7從認知心理學角度看BROKE框架的設計

第6章使用ChatGPT的進階技巧

6.1使用分治法讓ChatGPT完成大而複雜的任務

6.1.1如何將分治法應用到ChatGPT提示設計中

6.1.2用ChatGPT分治法寫長篇科幻小說

6.1.3示例：使用ChatGPT完成複雜程式碼

6.2上下文學習：為ChatGPT提供範例

6.2.1上下文學習的基本步驟

6.2.2示例：規定回復格式，讓ChatGPT當英語外教陪聊

6.3用鏈式思維提高ChatGPT的邏輯能力

6.4自一致性：利用“投票”獲得可靠答案

6.5知識生成提示

第7章如何用ChatGPT進行創新

7.1組合式創新

7.2 ChatGPT領域知識

7.2.1 ChatGPT心理學：設計更容易被填寫的問卷

7.2.2 ChatGPT邏輯學：用謂詞邏輯選取文字中的命題

7.2.3 ChatGPT管理學心理學社會學：用多領域理論優化管理策略

7.3 ChatGPT工具

7.3.1 ChatGPT Mermaid：用ChatGPT畫時序圖

7.4 ChatGPT其他AI工具

7.5用ChatGPT做資料分析

7.5.1用ChatGPT做資料分析可以利用的工具

7.5.2用ChatGPT做資料分析的注意事項

7.5.3示例：使用ChatGPT選擇算灋並設計數据集

第8章基於ChatGPT進行開發

8.1 ChatGPT API：利用ChatGPT製作自己的應用

8.1.1什麼是API

8.1.2 API的參數：如何造就瘋癲賽博詩人

8.2 LangChain：大語言模型開發框架

第9章ChatGPT的替代品們

9.1 Claude:ChatGPT的孿生姐妹

9.2 PaLM 2：來自穀歌的實力對手

9.3 HuggingChat：“抱抱臉”聊天機器人

9.4 ChatGLM：來自清華大學的語言模型

9.5 Alpaca&Vicuna：語言模型之羊駝家族

9.6其他大語言模型

9.6.1文心一言：百度的聊天機器人

9.6.2訊飛星火：科大訊飛的聊天機器人

9.6.3通義千問：阿裡巴巴的聊天機器人

參考文獻

------------------------------------------------

【ChatGPT高效提問教程人人都是提示工程師】

內容簡介

本書旨在介紹提示（prompt）工程師的工作內容和相關技能。 本書首先講述提示科技的基本工作原理、提示工程師的常用工具、提示科技的基礎模式和提示科技的進階知識（包括零樣本提示、少樣本提示和思維鏈提示）； 然後講解自然語言處理的基礎知識和ChatGPT大模型方面的內容，以及NLP模型的特點和應用場景； 最後展示提示工程在辦公、圖片處理、程式碼開發和電商中的應用。

本書通俗易懂，不僅適合對提示工程師感興趣或從事相關工作的讀者閱讀，還適合對自然語言處理和人工智慧感興趣的讀者參考。

作者簡介

陳明明，統計學碩士，研究方向為自然語言處理、深度學習與量化交易，曾就職於微軟，現在從事自然語言處理和人工智慧方面的開發工作。 李騰龍，應用統計學博士，研究方向為因果推斷、貝葉斯統計與機器學習，現就職於西交利物浦大學西浦慧湖藥學院，擔任生物統計學助理教授，曾在美國波士頓大學從事博士後研究，並在美國東北大學講授“資料分析”課程。

目錄

第1章概述1

1.1什麼是提示工程師1

1.2提示工程的基本工作原理5

1.3生成提示的常用工具12

第2章提示的基礎模式18

2.1特定指令19

2.1.1文字分類指令範本20

2.1.2機器翻譯指令範本21

2.1.3情感分析指令範本23

2.1.4文字生成指令範本24

2.1.5問題回答指令範本25

2.1.6命名實體識別指令範本26

2.1.7關係抽取指令範本27

2.1.8摘要生成指令範本28

2.2指令範本30

2.2.1格式選取指令範本31

2.2.2檔案格式轉換33

2.2.3程式碼轉換34

2.3代理模式37

2.3.1電商客服機器人37

2.3.2電腦程式師38

2.3.3辦公室文員41

2.4示例模式43

第3章提示的進階模式45

3.1零樣本提示45

3.1.1情感分類範本46

3.1.2實體選取48

3.2少樣本提示49

3.3思維鏈提示51

3.3.1零樣本思維鏈提示52

3.3.2少樣本思維鏈提示56

第4章自然語言處理59

4.1自然語言基礎知識59

4.1.1分詞61

4.1.2關鍵字選取66

4.1.3摘要選取73

4.2模型如何看懂文字80

4.2.1獨熱表示80

4.2.2 LSA 81

4.2.3 Word2Vec 83

4.2.4預訓練模型85

4.2.5相似度和類比性87

4.3 ChatGPT大模型89

第5章提示工程在辦公領域的應用95

5.1用ChatGPT生成PPT 95

5.2用ChatGPT繪製心智圖102

5.3用ChatGPT畫流程圖112

第6章提示工程在圖像處理領域的應用120

6.1用ChatGPT生成插畫120

6.2用ChatGPT生成裝修圖127

6.3用ChatGPT生成遊戲原畫134

6.4用ChatGPT生成視頻145

6.5用ChatGPT生成海報156

第7章提示工程在軟體發展領域的應用162

7.1用ChatGPT幫助寫程式碼162

7.2用ChatGPT幫助解釋程式碼172

7.2.1學習新技術174

7.2.2維護程式碼175

7.3用ChatGPT幫助改程式碼183

7.3.1程式碼自動補全186

7.3.2程式碼語法檢查188

第8章提示工程在電商領域的應用191

8.1 ChatGPT教你開網店191

8.2 ChatGPT教你寫文案202

8.2.1商品標題和描述202

8.2.2活動策劃204

8.2.3直播話術和腳本206

8.2.4推廣文案207

8.3 ChatGPT教你生成商品圖208

8.3.1產品設計圖208

8.3.2產品場景圖213

第9章提示工程在金融領域的應用218

9.1用ChatGPT寫投資報告218

9.2用ChatGPT作為投資顧問227

9.3用ChatGPT做量化投資233

------------------------------------------------

【ChatGPT原理與實戰：大型語言模型的算灋、科技和私有化】

編輯推薦

（1）作者經驗豐富：作者來自BAT等知名科技公司，是NLP和AI領域的資深專家，大模型領域的先驅者，實戰經驗豐富。

（2）深度解析ChatGPT：系統梳理並深入解析ChatGPT的核心技術、算灋實現、工作原理、訓練方法，提供大量程式碼及注解。

（3）搭建專屬ChatGPT：不僅教你如何實現大模型的遷移和私有化，而且手把手教你零基礎搭建自己專屬的ChatGPT。

（4）行業優選：MOSS系統負責人邱錫鵬、ChatGLM科技團隊成員劉瀟等多位大模型科技專家高度評價並推薦。

內容簡介

這是一本系統梳理並深入解析ChatGPT核心技術、算灋實現、工作原理、訓練方法的著作，也是一本能指導你搭建專屬ChatGPT和實現大模型遷移及私有化的著作。 本書得到了MOSS系統負責人邱錫鵬等多位專家的高度評價和鼎力推薦。

具體地，通過本書你能瞭解或掌握以下知識：

ChatGPT的工作流程和科技棧

ChatGPT的工作原理和算灋實現

基於Transformer架構的一系列預訓練語言模型的原理

强化學習的基礎知識

提示學習與大模型湧現出的上下文學習、思維鏈

大模型的訓練方法及常見的分佈式訓練框架

目錄

CONTENTS

目錄

讚譽

前言

第1章瞭解ChatGPT1

1.1 ChatGPT的由來1

1.1.1什麼是ChatGPT2

1.1.2 ChatGPT的發展歷史2

1.2 ChatGPT的工作流程3

1.3 ChatGPT用例3

1.3.1日常任務4

1.3.2編寫程式碼5

1.3.3文字生成6

1.3.4辦公自動化9

1.4本章小結10

第2章ChatGPT原理解構11

2.1背景知識11

2.1.1自然語言處理的發展歷程12

2.1.2大型語言模型的發展歷程14

2.2 ChatGPT同類產品18

2.2.1 BlenderBot 3.018

2.2.2 LaMDA20

2.2.3 Sparrow23

2.3 ChatGPT的工作原理25

2.3.1預訓練與提示學習階段26

2.3.2結果評估與獎勵建模階段28

2.3.3强化學習與自我進化階段28

2.4算灋細節29

2.4.1標注數據29

2.4.2建模思路30

2.4.3存在的問題30

2.5關於ChatGPT的思考31

2.6本章小結32

第3章預訓練語言模型33

3.1 Transformer結構33

3.2基於Encoder結構的模型36

3.2.1 BERT36

3.2.2 RoBERTa39

3.2.3 ERNIE40

3.2.4 SpanBERT42

3.2.5 MacBERT43

3.2.6 ALBERT44

3.2.7 NeZha45

3.2.8 UniLM46

3.2.9 GLM47

3.2.10 ELECTRA48

3.3基於Decoder結構的模型49

3.3.1 GPT49

3.3.2 CPM51

3.3.3 PaLM51

3.3.4 OPT52

3.3.5 Bloom53

3.3.6 LLaMA54

3.4基於Encoder-Decoder結構的模型55

3.4.1 MASS55

3.4.2 BART56

3.4.3 T557

3.5基於誇誇閒聊數據的UniLM

模型實戰59

3.5.1項目簡介59

3.5.2數據預處理模塊59

3.5.3 UniLM模型模塊63

3.5.4模型訓練模塊65

3.5.5模型推理模塊72

3.6本章小結76

第4章强化學習基礎77

4.1機器學習的分類77

4.1.1有監督學習78

4.1.2無監督學習78

4.1.3强化學習79

4.2 OpenAI Gym82

4.2.1 OpenAI Gym API簡介83

4.2.2環境簡介84

4.3强化學習算灋85

4.3.1 Q-learning算灋85

4.3.2 SARSA算灋87

4.3.3 DQN算灋89

4.3.4 Policy Gradient算灋93

4.3.5 Actor-Critic算灋95

4.4本章小結98

第5章提示學習與大型語言

模型的湧現99

5.1提示學習99

5.1.1什麼是提示學習100

5.1.2提示範本設計100

5.1.3答案空間映射設計102

5.1.4多提示學習方法103

5.2上下文學習104

5.2.1什麼是上下文學習104

5.2.2預訓練階段提升上下文

學習能力105

5.2.3推理階段優化上下文

學習的效果107

5.3思維鏈108

5.4基於提示的文字情感分析實戰113

5.4.1項目簡介113

5.4.2數據預處理模塊114

5.4.3 BERT模型模塊115

5.4.4模型訓練模塊118

5.4.5模型推理模塊128

5.5本章小結131

第6章大型語言模型預訓練132

6.1大型預訓練模型簡介132

6.2預訓練模型中的分詞器133

6.2.1 BPE133

6.2.2 WordPiece135

6.2.3 Unigram136

6.2.4 SentencePiece137

6.3分佈式深度學習框架138

6.3.1並行範式簡介139

6.3.2 Megatron-LM145

6.3.3 DeepSpeed147

6.3.4 Colossal-AI149

6.3.5 FairScale152

6.3.6 ParallelFormers153

6.3.7 OneFlow153

6.4基於大型語言模型的預訓練實戰155

6.4.1項目簡介155

6.4.2數據預處理模塊156

6.4.3執行模型訓練159

6.5基於大型語言模型的資訊

抽取實戰168

6.5.1項目簡介168

6.5.2數據預處理模塊169

6.5.3 Freeze微調模塊172

6.5.4 LoRA微調模塊176

6.5.5 P-Tuning v2微調模塊181

6.6本章小結186

第7章GPT系列模型分析187

7.1 GPT-1～GPT-4系列模型分析187

7.1.1 GPT-1和GPT-2模型187

7.1.2 GPT-3模型189

7.1.3 GPT-3的衍生模型：

Code-X192

7.1.4 GPT-4模型193

7.2 InstructGPT模型分析194

7.2.1模型簡介194

7.2.2數據收集195

7.2.3模型原理198

7.2.4模型討論199

7.3基於GPT-2模型的文字摘要實戰200

7.3.1項目簡介200

7.3.2數據預處理模塊200

7.3.3 GPT-2模型模塊202

7.3.4模型訓練模塊204

7.3.5模型推理模塊213

7.4本章小結219

第8章PPO算灋與RLHF理論實戰220

8.1 PPO算灋簡介220

8.1.1策略梯度算灋回顧220

8.1.2 PPO算灋原理剖析222

8.1.3 PPO算灋對比與評估224

8.2 RLHF框架簡介226

8.2.1 RLHF內部剖析226

8.2.2 RLHF價值分析228

8.2.3 RLHF問題分析229

8.3基於PPO的正向情感傾向性

生成項目實戰230

8.3.1項目任務與數据集分析230

8.3.2數據預處理模塊230

8.3.3模型訓練模塊232

8.3.4模型生成模塊234

8.3.5模型評估模塊235

8.4問題與思考237

8.5本章小結238

第9章類ChatGPT實戰239

9.1任務設計239

9.2數據準備240

9.3基於檔案生成問題任務的類

ChatGPT實戰241

9.3.1 SFT階段241

9.3.2 RM階段249

9.3.3 RL階段259

9.4本章小結270

第10章ChatGPT發展趨勢271

10.1 AIGC的發展趨勢271

10.1.1 AI雲邊協同272

10.1.2 AI工具應用273

10.1.3 AI可控生成274

10.1.4 AI輔助決策275

10.2 ChatGPT 2C應用場景276

10.2.1...................