我怎麼說你就怎麼做！聊聊LLM的Prompt

延續上一次的文章 Prompt, Fine-tune 和 Training，誰才是大工程？，受惠於大語言模型(Large Language Model，LLM)的發展，以往我們必須對模型去做Fine-tuning甚至Training的工作，只要基於LLM，再加上一些適當的Prompt，就可以達到不錯的效果，在筆者的論文基於 Fusion-in-Decoder 之中文開放領域問答研究 中，就曾用LLM加上Prompt，對比自己訓練出來的問答模型，發現效果不分軒輊。

也許我們可以做更多？

那麼，如果我們想讓LLM達到更好的效果，有哪幾種手法呢？ 根據使用目的和方式的不同，Prompt可以區分為幾種類型：

1. 問題導向的Prompt (Question-Based Prompts)

  • 用途：提出具體問題，讓模型進行回答，也是最典型的QA(Quesiton-Answering)
  • 例子：
    • "台灣的首都是哪裡？"
    • "量子物理是什麼？"

這類Prompt通常是直接的問題，模型會根據已有的知識提供簡潔且已知的答案。

2. 指令式Prompt (Instruction-Based Prompts)

  • 用途：用來給模型提供具體的指令，要求模型進行某種形式的處理。
  • 例子：
    • "寫一篇關於人工智慧的短文。"
    • "將這句話翻譯成英文：'我今天感覺很開心。'"

這類Prompt常用於生成具體內容，例如創作、翻譯等。

 

3. 填空式Prompt (Fill-in-the-Blank Prompts)

  • 用途：要求模型在指定的句子中填入缺失的部分。
  • 例子：
    • "台灣的首都是___。"
    • "愛因斯坦的相對論公式是 E = mc²，這裡的 c 代表___。"

這類Prompt通常用於測試模型對語言結構的理解，或者要求模型補充缺失的訊息，他也是一個典型的克漏字(Cloze)任務。

4. 對話式Prompt (Conversational Prompts)

  • 用途：進行多輪對話的Prompt，通常是一段上下文的對話，模型需要根據之前的對話生成回應，這是Chat Bot 的重點任務。
  • 例子：
    • 人類："月亮為什麼會有陰晴圓缺？"
    • 模型："月亮的陰晴圓缺是由於它繞地球運行時與太陽、地球的相對位置改變所致..."
    • 人類："那為什麼每個月都會有這樣的現象呢？

這類Prompt要求模型在一個對話框架中生成回應訊息，並可能會根據前後文改變其答案。

5. 範例導向的Prompt (Few-Shot or Zero-Shot Prompts)

  • 用途：提供一些範例給模型，讓它從中學習如何完成任務，或在完全沒有範例的情況下進行任務。
  • 例子：
    • Few-Shot：提供一些簡單例子，讓模型依照你的例子去做接下來的事情。
      • '你好，今天過得怎麼樣？'  翻譯成  'Bonjour, comment ça va ?'
      • '我很高興見到你' 代表  'Je suis content de vous rencontrer'，現在請翻譯 '我想學習中文。'
    • Zero-Shot： 不提供範例，也是一般的提示指令。
      • "將下面的句子翻譯成法語：'我想學習中文。'"

"Few-Shot"指的是在Prompt中提供幾個範例，"Zero-Shot"則是直接要求模型完成某個任務，沒有範例提供。

6. 反向提示式Prompt (Inverse or Negative Prompts)

  • 用途：引導模型生成與某種預期回答相反或不符合常規的回應。
  • 例子：
    • "列出三件與巴黎無關的事物。"
    • "寫一個故事，描述英雄最終未能成功。"

這類Prompt要求模型跳出常規的思維方式，生成具有創意或者反向的答案，在模型發展初期，也有人透過這個手法，來略過模型對於正向問題的限制。

7. 角色扮演式Prompt (Role-Playing Prompts)

  • 用途：讓模型扮演某個角色，根據特定的身份或情境來生成回答。
  • 例子：
    • "你是一隻智慧的老貓，會給我什麼建議？"
    • "假設你是醫生，該如何治療感冒？"

這類Prompt讓模型根據設定的角色背景來調整其回答方式，使對話更有趣或更具啟發性。

8. 長文本生成Prompt (Long-Form Generation Prompts)

  • 用途：要求模型生成較長的內容，如文章、故事、報告等。
  • 例子：
    • "寫一篇有關氣候變遷如何影響農業的文章。"
    • "寫一篇故事，描述一個人如何在無人島上求生。"

這類Prompt通常包含更具挑戰性的要求，要求模型建立結構清晰且詳盡的內容。

9. 分析與推理式Prompt (Analysis and Reasoning Prompts)

  • 用途：要求模型進行分析、推理或解釋。
  • 例子：
    • "為什麼大多數科技公司選擇在矽谷設立總部？"
    • "為什麼莎士比亞的作品至今仍然影響世界文學？"

這類Prompt要求模型運用邏輯思維和推理能力來解釋問題或做出評價。

10. 多選式Prompt (Multiple-Choice Prompts)

  • 用途：要求模型從若干選項中選擇一個最合適的答案。
  • 例子：
    • "以下哪一項是地球的最大海洋？
      a)       太平洋
      b)       大西洋
      c)       印度洋
      d)       南冰洋"

這類Prompt要求模型從選項中選擇正確答案。

一切都需要從輕楚、良好的引導開始。

看完上述的Prompt外，相信已經夠讓人眼花撩亂了，但除此以外，還有一些其他高級的 Prompt 設計技巧，這些方法可以幫助你更有效地引導LLM生成更好的結果，這些高級技巧大多數都能幫助提升生成的精確度、創意、以及模型在處理複雜任務時的表現，以下是幾個高級 Prompt 的設計方法：

1. Chain-of-Thought Prompting (CoT)

  • 用途：這種方法引導模型在解決問題時進行邏輯推理，特別適用於數學問題、推理題目等需要步驟過程的情境。
  • 例子：
    • 問題：「如果你有 5 顆蘋果，給了朋友 2 顆，還剩下幾顆？」
    • Prompt：
      "Let's think step by step. You start with 5 apples. Then, you give 2 apples to your friend. How many apples do you have left?"
    • 結果：模型會先解釋「5 - 2 = 3」，然後得出正確答案 "3"。

Chain-of-Thought 可以讓模型在解答過程中進行步驟推理，避免直接給出答案，提升答案的清晰度和邏輯性。

2. Self-Consistency Prompting

  • 用途：多次請求模型對同一問題給出多個不同的答案，然後選擇最一致的答案，這樣有助於提高最終答案的正確性。
  • 例子：
    • 問題：「為什麼天空是藍色的？」
    • Prompt："Please answer the following question three times: Why is the sky blue? Then, choose the answer that is the most consistent across all three."
    • 結果：模型會根據不同的答案進行多次生成，並最終選擇一個最一致的解釋。

Self-Consistency 主要用於處理模型可能會有些不穩定或多樣化的情況，幫助提高答案的可信度。

3. Prompt Engineering with External Knowledge (外部知識整合)

  • 用途：結合外部知識庫或API的資料，來增強模型的輸出。這對於處理模型內部知識庫之外的領域特定問題尤為重要。
  • 例子：
    • 問題：「什麼是最新的人工智慧發展趨勢？」
    • Prompt：
      "Using the latest data from the internet, summarize the top three AI trends in 2025. Incorporate relevant facts from trusted online sources like research papers and tech blogs."

這種方法要求模型結合外部資料，能有效解決單一訓練資料庫中缺乏最新信息的問題。

4. InstructGPT/Instruction Tuning

  • 用途：這是一種讓模型學習如何根據指令來執行任務的方法。通過強化學習，模型能夠根據給定的指令進行生成，並且按預期進行高效的任務完成。
  • 例子：
    • 問題：「編寫一篇關於太空探索的文章，強調其對人類未來的意義。」
    • Prompt： "Write an article on space exploration, emphasizing its importance for humanity’s future. Focus on the technological advancements, economic potential, and global cooperation in space missions."

這種方法鼓勵模型根據具體指令生成符合期望格式或內容的回應，並且能夠有效提升模型對複雜指令的執行力。

5. Interactive Prompting (交互式提示)

  • 用途：在一個持續的交互式環境中與模型進行對話，以便逐步獲得更符合需求的答案。這可以適用於長時間的多輪交互，適合解決較為複雜的問題。
  • 例子：
    • 人類： 「我想了解如何編寫高效的Python代碼。」
    • 模型： 「請告訴我你目前的程式設計經驗和具體需求。」
    • 人類： 「我是初學者，想從基本語法開始學。」
    • 模型： 「好的，我會從變數、數據結構開始介紹。首先，Python中如何創建變數呢？」

交互式提示可以在長時間的對話中根據用戶的反饋調整回答，逐步提供更加精確的內容。

6. Adversarial Prompting (對抗性提示)

  • 用途：創建挑戰性的提示，要求模型生成能夠處理模糊、不確定或具挑戰性問題的回答。這樣的Prompt可以幫助測試模型的穩定性和對意外情況的應對能力。
  • 例子：
    • 問題：「如果所有的魚都不再存在，會對人類和生態系統造成什麼影響？」
    • Prompt： "Imagine a world where all fish species have gone extinct. Discuss how this would impact both human society and the ecosystem, focusing on food security, biodiversity, and economic activities."

Adversarial Prompting 主要用於測試模型的邏輯推理能力以及它對極端假設情境的應對能力。

7. Contextual Prompting (上下文提示)

  • 用途：在生成回應時提供豐富的上下文信息，讓模型更好地理解問題背景並生成更相關的答案。
  • 例子：
    • 問題：「請幫我寫一封辭職信。」
    • Prompt：
      "Based on the following context: I have been working at XYZ Corp for 5 years, but I have decided to leave due to personal reasons. Write a professional resignation letter."

Contextual Prompting 是通過提供詳盡的背景信息，幫助模型理解任務的具體情境，生成更精確的結果。

8. Role Prompting (角色提示)

  • 用途：讓模型扮演特定角色來處理任務，這樣可以根據角色的視角或專業領域生成專業的回答。
  • 例子：
    • 問題：「你是一位科學家，如何解釋量子力學的基本原理？」
    • Prompt： "Imagine you are a physicist. Explain the fundamental principles of quantum mechanics in simple terms, focusing on concepts like superposition and entanglement."

Role Prompting 讓模型假設具體角色的專業知識，來處理複雜領域的問題，並根據角色的背景提供不同的視角和解釋。

那除了這些以外，先前我們用來寫程式的Prompt又算什麼？因為它牽涉廣泛的思考和結構，並且要有完整的起承轉合關係，包含情境、步驟、對應措施等，雖然複雜，但可以讓LLM承擔一些更有趣的任務，他就是Multi-Chain Prompt。

9. Multi-Chain Prompt（多鏈接提示）

Multi-Chain Prompt是一種高級的 Prompt 設計技巧，旨在通過將多個子任務或多輪推理結合起來，讓語言模型（LLM）逐步生成結果。這種方法特別適用於處理複雜的問題、需要多步推理的情境，或者當問題涉及多個方面且需要進行多輪推理時。

在 Multi-Chain Prompt 中，模型的每個步驟（或 "鏈"）都與前一個步驟緊密相連，形成一個連貫的邏輯推理鏈條。每一個 "鏈" 都會逐步構建問題的解決方案，並為下一步提供必要的上下文或推理結果。這樣的設計能夠幫助模型進行深度推理，尤其適用於涉及多個變量或需要多步計算的問題。

  • 用途：是讓模型在一個連貫的過程中進行推理，逐步解決問題，而不是一次性給出最終答案
  • 例子：
    • 假設我們要解決一個有多方面因素的問題，比如「如何減少城市中的空氣污染？」
    • Prompt
      • 讓我們分步來思考如何減少城市中的空氣污染：
      •  1. 首先，列出城市空氣污染的主要原因，並簡要說明每個原因。
      •  2. 接著，探討一些有效的技術或政策措施，能夠減少這些污染源的排放。  
      • 3. 最後，討論這些措施的實施挑戰，並提出如何克服這些挑戰的建議。 
因為這個Prompt 比較複雜一點，所以我們往下解釋一下它的工作原理。
  1. 拆解問題：首先將問題拆分成多個子問題或子任務，每一個子任務代表問題的一部分。
  2. 逐步推理：每個子問題（鏈）會基於前一個鏈的結果來推進，確保邏輯是一貫的。
  3. 合併結果：最後，所有的推理結果會組合成最終答案。

這種方式不僅讓模型能夠進行逐步推理，還能在每一步中根據前一個步驟的結果調整方向，這樣可以避免模型在回答過程中出現邏輯錯誤或偏差，而且他具備以下優勢：

  1. 提高解答的準確性：通過分步驟推理，模型能夠逐步構建答案，避免一次性生成錯誤的結論。
  2. 加強推理能力：模型在每個鏈步中都能進行反思和推理，這有助於解決複雜問題。
  3. 適應性強：適用於各種需要多輪推理的情境，無論是數學計算、複雜概念的解釋，還是多方面的問題分析。
  4. 提升結果的可解釋性：逐步推理過程使得結果更容易理解和解釋，特別是對於複雜問題。

故事回到當初我們使用大型語言模型（LLM）來撰寫程式碼的經歷。透過精確的系統分析與設計，我們可以將需求的每個細節清楚地分解出來，就像玩樂高積木一樣，每一塊積木代表一個功能或元素，將它們有效地組合在一起，最終就能構建出完整的系統。在這個過程中，結合 Multi-Chain Prompt 技術，我們可以將程式設計的各個步驟分成不同的鏈條來處理，這不僅能幫助我們更加精細地規劃每個開發階段，還能大幅度節省開發時間和精力。每一個鏈條都像是一步步的指引，幫助我們逐步完成任務，而不會感到過於混亂或失控。

這種方法的應用並不限於程式開發，實際上，它在許多其他領域也能大派用場。例如，測試階段也能採用相同的方式，只要我們將測試的需求明確分解，並且善用 Prompt 技術，就能讓測試過程更加高效。透過將複雜的任務拆解成小塊，並利用適當的提示和引導，我們能夠以事半功倍的效果完成很多工作。只要問題不過於複雜，這種方法在各種領域都能大大提升生產力，讓我們能夠更輕鬆、更高效地達成目標。

 

善用指令，你也是會個好騎師。

留言

張貼留言

這個網誌中的熱門文章

Prompt, Fine-tune 和 Training，誰才是大工程？

圖片
  在機器學習，尤其是自然語言處理（NLP）的世界中，「Prompt」、「Fine-tune」和「Training」是經常出現的三個概念。雖然它們都涉及到模型的學習和調整，但每一個的目的、方法和使用情境都有明顯的不同。我們來仔細了解一下它們之間的區別。 首先，Prompt 是指你給機器學習模型輸入的一個提示或問題。這個提示並不會改變模型本身，而是依賴模型已經學過的知識來生成回答或執行某個任務。你可以把它想像成一個引導詞，模型根據這個提示來給你回應。比如，對於一個語言模型來說，給它一句話「寫一篇關於太空探索的文章」，它就會根據這個提示生成相關的內容。這種方式不需要對模型進行任何訓練或微調，只是利用它已經學過的知識來做預測或生成。 接下來是 Fine-tune，它是指對一個已經預訓練的模型進行進一步的調整，使其更適應某個特定的任務或領域。這時，模型的基本架構和大部分知識已經存在，所謂微調，就是在這個基礎上，根據一個小範圍的資料集進行再訓練。比如，假設你有一個通用的語言模型，然後你希望它能在醫學領域表現得更好，那麼你可以用大量的醫學文獻來微調這個模型。這樣，它就會在理解和處理醫學相關問題時更加精準。 最後，Training 則是指從頭開始訓練一個模型，讓它從大量的資料中學習，並逐漸調整模型的內部參數，使其能夠處理特定任務。這是最基本、最根本的學習過程。對於一個語言模型來說，訓練的過程可能涉及大量的文本資料，從中學習語言結構、語法規則、常識知識等。這個過程通常需要大量的計算資源和時間，因為模型需要處理的是大規模的資料集，而且每次的參數調整都會影響到模型的整體性能。 總結來說，Prompt 是利用現有模型的知識來引導其輸出；Fine-tune 是在預訓練模型的基礎上，進行小範圍的調整來提升特定領域的表現；而 Training 則是從零開始訓練模型，讓它在大量的資料中學習並建立知識庫。三者之間的區別，主要在調整的範圍和深度上。 以下來總結它們的不同： 1. Prompt (提示)     定義：在預訓練的模型上使用一個“提示”或“問題”，來引導模型生成特定的輸出。     範疇：這通常與大規模語言模型（如 GPT 系列）相關，模型在預訓練階段學會了語言結構、知識等，然後用戶可以給它一個“提示”來引發它生成特定類...
閱讀完整內容

這個身分證檢查器是用ChatGPT寫的吧？！

圖片
隨著大語言模型（英語：Large Language Model，LLM）的蓬勃發展，相關的應用越來越多，人們透過大量的資料訓練(Train）出一個一個模型（Model），再用這些模型去產生我們想要的結果，某種程度來講，這些語言模型對我們的工作和生活帶來不少程度的幫助；從最早我們用模型來寫文章，用模型來產生照片，用模型來產生影片，很多人都讚嘆電腦程式的進步，大大的改變了我們的生活，那有沒有有一種可能是，我們也可以用模型來寫程式呢？ 當然用模型來寫程式，未必是下一個指令像「給我一個預測股市走勢的程式」，他就能把你想要的東西都給你，更重要的是我們要告訴他，你想要他為做些什麼？做得對不對？ 你正在做什麼並不重要，重要的是你知道自己正在做什麼。 計畫 接著我們來試著做一個身份證字號的驗證程式，要達到想要的結果之前，其實我們還是要有一些系統性的思考邏輯，先提出構想，完整藍圖，分解功能，再重新組合，套用平時開發程式的步驟，不外乎： 需求收集 系統分析 需求收集 我們想要做一個台灣的身份證號碼驗證器，需要可以輸入任何一組號碼，可以知道號碼的主人是從哪裡來？可以知道號碼的主人是先生還是小姐？我們不想要安裝程式，太麻煩了，還有，希望畫面可以漂亮一點，好用一點。 系統分析 接著我們就來想想，做一下簡單的分析，看看要如何滿足需求； 需要簡單容易使用，我們可以寫成網頁版。 需要畫面好看，雖然好看是一件很主觀的事情，但我們可以用主流的網頁框架。 希望體驗好一點，那連提示訊息都一起改善，至少在不同裝置上用來都差不多。 程式要判斷號碼是否正確，那有沒有計算規則？有什麼標準格式？ 再來我們分別列出對應的解決方法； 美觀問題，我們可以用 Bootstrap ，因為是主流框架，至少能向市場趨勢靠攏；我們也可以用 SweetAlert 套件來改善體驗問題，讓不同裝置的操作感受更一致。 判斷號碼正確性的演算法，我們在 維基百科上找到的中華民國國民身分證相關規則 ，夠我們處理這一次的問題。 程式提供一個介面，可以填寫證件號碼、性別、發證的縣市，來完成基本需求。 寫程式的浪漫...分解再重組，就像玩積木一樣快樂。 開工  做完分析後，我們就可以來做功能開發了，這次我們不找訓練有素的猴子，而是用ChatGPT來完成工作，打開介面後，緩緩地貼上我們的Promt。 寫一個HTML網頁, 使用Bootstrap...
閱讀完整內容

用Python實作 Perspective Transformation 透視變換

圖片
主要演算法 通常我們在自然背景拍攝一張照片時，或多或少都會有一些 透視變形 存在，而透視變形是由拍攝和觀看圖像的相對距離決定的，導致遠近特徵的相對比例有變化，產生了彎曲或變形，當然在本例子，我是刻意拍了一張比例歪斜的圖，想要驗證依照公式轉換會得到什麼效果。 依照解決方法，這樣的變形我們可以下列的聯立方程式來表示： ​x = ax’ + by’ + cx’y’ + d y = ex’ + fy’  + gx’y’ + h ​其中x、y為你原始影像的座標系，x’、y’為校正後的座標系， a、b、c、d、e、f、g、h為常數，表示變形關係。 程式片段 定義 高斯消去 2. 先定義4個點，找出矩陣 3. 照公式進行矩陣轉換，解出方程式，輸出結果就得到圖片了。 4. 另外我也參考網路範例，仿造OpenCV寫了一個轉置方法，後續比較一下兩種做法的差異。   測試資料與結果 原圖是張刻意拍歪斜的照片，我標出四個白點，可以看到原始轉換區塊變形到接近菱形了。 2. 轉換後得到的結果如下，或許是因為變形幅度高，沒達到完整的轉換。 3. 參考網路實作 Perspective Transformation 做出來的效果，因為先做3D後轉2D，校正效果很好，只是程式寫得不好，有失真。 4. 使用Open CV做的效果 討論 原本課堂講解的校正來源是一個平行四邊形，校正效果相當好，但在本次作用我使用一個不規則的多邊形來做轉換，雖然轉換結果不比原本的好，但還算可以得出資訊。 參考Perspective Transformation實做出來的程式做轉換，對於不規則多邊形轉換的效果很好，只是有失真，若用OpenCV轉出來的話就趨近完美了。 此類的校正可以應用在機器人自駕時的資訊辨認，或是在OCR應用上先把讀入的圖片做校正，在讀取資訊，可以減少判斷失誤。 在Deepfake影片偵測的研究中，許多論文的原理是把影像的Frame讀入後分析他是不是假造影像；如果在深度學習時，我先把人臉或是指定的擷取特徵做校正，可以把每個Frame的特徵變成一樣的構圖，就有機會分辨出他是不是造假的Frame：因為Frame造假是基於原本扭曲變形的畫面做變更，在校正後應該可以看出他和一般正常角度Frame的不同之處。
閱讀完整內容