✨ Inspired by “Knowledge Graphs for RAG” by DeepLearningAI. ✨
✨ Collaborate with NTU’s Civil Engineering AI Ph.D. Colleague. ✨
What are knowledge graphs?Knowledge Graphs are comprised of nodes and edges, which respectively represent entities or concepts, as well as the relationships, facts, attributes, or categories between them.This graph describes data in the form of nodes, as well as the associations (relationships) between the nodes.

• Nodes are data records
• Both nodes and relationships can have properties.
• Nodes can be given labels to group them together.
• Relationships always have a type and a direction.
• A knowledge graph is a database that stores information in nodes and relationships.

Knowledge Graphs’ main components
A knowledge graph is a directed labeled graph that comprises three elements:

• Nodes — real-world entities that can be both material things and abstract concepts
• Edges — links that connect the nodes
• Labels — attributes that define the relationships between the nodes and reasoning rules on edges

​
Creating a Knowledge Graph
Extract: identify interesting information

() indicates nodes; — represents connections/undirected; -> indicates directed connections
For instance

Refer to the basic code example

Creating a graph model based on bridge design specifications in civil engineering can be quite illustrative. Here, we’ll define a small example of such a graph using Neo4j and Cypher. This example will include two types of each node: Material, Beam, Pier, DesignRequirement, and Section. Creating a graph model based on bridge design specifications in civil engineering. This example will include two types of each node: Material, Beam, Pier, DesignRequirement, and Section. Also define relationships: MADE_OF, SUPPORTS, MEETS, USES, APPLIES_TO.

Step 1: Define Nodes

Step 2: Define Relationships

Visualizing the Graph
Once you have created the nodes and relationships in Neo4j, you can visualize the graph using the following query:

Vector databases are collections of high-dimensional vectors that represent entities or concepts, such as words, phrases, or documents. These can be used to measure the similarity or relevance between different entities or concepts.

• Vector databases consist of high-dimensional vectors representing various entities or concepts.
• It can be used to measure the similarity or relatedness of different entities or concepts based on their vector representations.

Vector Database in RAG
Vector databases are adept at storing high-dimensional vectors and performing semantic searches with blistering speed. In situations that require immediate data retrieval, such as powering a customer service chatbot, vector databases excel. They quickly find the nearest vector match to a query, ensuring relevancy and accuracy.

Knowledge graphs have a significant advantage over vector databases in supporting language model text generation. Knowledge graphs can provide more precise, specific information, support more complex and diverse queries, and enable deeper levels of reasoning and inference.

1. Knowledge graphs provide precise and specific information, capable of clearly demonstrating the types and directions of relationships between entities or concepts, which helps in generating more accurate and relevant text.
2. Knowledge graphs support more complex and varied queries, capable of answering questions using logical operators (for example, questions are based on all entities with specific attributes or the common categories of multiple entities), making the generated text more diverse and interesting.
3. Knowledge graphs enable more advanced reasoning and inference, which allows indirect information to be derived from the database, thereby helping to generate text that is more logical and consistent.

Licensed under the CC BY-NC-ND 4.0 DEED, please attribute the source when reposting the content.

#Deep Learning #Deeplearningai #Knowledge Graph #Neo4j

本文將根據Direct Preference Optimization: Your Language Model is Secretly a Reward Model一文，說明為大型語言模型微調的目的以及DPO在微調過程中發揮的作用，並配合“Build a Large Language Model (From Scratch)”一書，整理DPO實際操作流程重點。
✨ Inspired by “Direct Preference Optimization: Your Language Model is Secretly a Reward Model”(Rafailov, 2024), Build a Large Language Model (From Scratch)(Raschka, 2024)
✨ 團隊成員來自國震中心與台大土木合設AI研究中心(NCREE — NTUCE Joint Artificial Intelligence Research Center)

DPO是什麼？
為大型語言模型微調的目的
如下圖的第二階段到第三階段之過程，微調(Fine-tuning)為將第二階段已完成訓練之大型語言模型(pre-trained large language model)，如ChatGPT，客製化至特定資料和任務上，較只利用提示(prompting)更進一步，雖然提示可有效引導語言模型，但微調可讓模型更貼合資料定義的專門任務，包括調整語調和風格，藉由自己的資料專門化既有的語言模型，無需大量資料和運算資源從零訓練語言模型。

​

基本微調方法
在語言模型的微調過程中，常見的方法包括基於監督學習的方式，例如使用標註好的資料集來訓練模型以優化特定任務表現，然而，這些方法通常依賴於高品質的已標註資料，對於一些情境複雜或目標難以明確量化的任務，可能存在局限性。
這時，從人類反饋中學習的強化學習（Reinforcement Learning from Human Feedback, RLHF）展現了其重要意義。
RLHF核心價值
通過整合人類偏好和判斷，將其轉化為獎勵訊號，建立獎勵模型(Reward model)用以微調模型，使其更符合人類需求和價值觀。

其特點如下：

• 人類價值的引導與對齊：引入獎勵模型（Reward Model），將人類偏好轉化為可量化的獎勵信號，使模型生成的內容更加符合人類需求和價值觀，提升語言模型的實用性。
• 彌補監督學習的不足：在標註資料不足或程序化獎勵函數無法準確描述目標的情況下，透過獎勵模型訓練，使得模型能超越傳統監督學習的限制，更靈活地應對複雜場景。
• 提升模型的適應性與動態優化能力：獎勵模型能動態學習人類偏好，並根據不同任務進行調整，使模型能夠處理多樣化的情境需求，並在多階段微調中持續優化。

RLHF在實現人類價值對齊方面展現了優勢，但也面臨一些挑戰，如：

• 人類反饋一致性問題：獎勵模型的訓練依賴於人類反饋，不一致或主觀性的反饋易導致模型的優化結果可能不公平或片面。
• 高人力成本：過程中亦需要大量高質量的人類反饋和計算資源來訓練獎勵模型與優化過程，顯著增加了應用成本。
• 訓練不穩定：強化學習也可能面臨訓練不穩定的問題，如獎勵訊號過於稀疏或模型過擬合，導致微調結果偏離目標。

DPO的出現
因前小節提及之原因，直接偏好優化（Direct Preference Optimization, DPO）應運而生，作為一種改進和替代方法。
DPO核心價值
直接使用人類的偏好進行微調，不依賴強化學習過程中獎勵模型的間接優化，簡化訓練過程，避免RLHF中可能出現的獎勵模型偏差和強化學習不穩定性，同時能更直接地利用人類偏好數據對模型進行優化，降低計算和訓練成本。

其特色在於：

• 直接優化人類偏好：無需將人類偏好轉化為獎勵模型或獎勵信號，直接基於偏好數據對模型進行優化，簡化微調過程。
• 減少偏差風險：不依賴間接的獎勵模型，降低偏差或主觀性引入模型的可能性，使微調結果更加精準和公平。
• 提升模型微調效率：透過直接對人類偏好數據進行調整，DPO能更快速地收斂到符合目標的模型參數，提高微調的效率和效果。
• 避免強化學習的不穩定性：未使用強化學習的框架，避免獎勵訊號稀疏、梯度不穩定或過擬合等問題，提升了訓練過程的穩定性。
• 降低計算與資源成本：由於不再需要訓練獎勵模型或執行強化學習算法，DPO的整體計算需求較RLHF更低，節省了時間和資源。
• 理論與實踐的簡化性：相較於RLHF，DPO的理論基礎和操作流程更簡單，便於實現和大規模部署，降低了模型微調的技術門檻。

DPO實作與計算原理解釋
【PreferenceDataset Class and Batch Processing Function】本文提及之程式碼擷取自“LLMs-from-scratch”，以下為文本範例：

2. 定義 functioncustom_collate_fn，並以fuctools.partial包裝custom_collate_fn，定義成customized_collate_fn

• batch
• pad_token_id = 50256
• allowed_max_length
• mask_prompt_tokens
• device

3. 以InstructionDataset包裝 Training data、Validation data、tokenizer，並Dataloader作基礎設置

【DPO Alignment】
首先，來拆解 DPO 的損失函數(loss function)，看看 DPO 是如何評估大型語言模型回覆的表現：

1. 假定Policy LLM為待優化的LLM，而Reference LLM為參考答案模型，那麼與之相應的參數如：

• πθ(yw|x)：Policy LLM因應prompt x所產生的較符合人類偏好的回覆
• πref(yw|x)：Reference LLM因應prompt x所產生的較符合人類偏好的回覆

2. 將上述兩值相除並取對數 log 、乘上超參數β，便成為一機率值，如圖 2橘紅色標註區
3. 以此類推，將兩model較不符合人類偏好之回覆相除並取對數 log、乘上超參數，則形成圖 2粉色標註區
4. 將偏好對應機率與不偏好對應機率相減並放入logistic-sigmoid function log⁡σ，即可產生一個0~1的標準化數值
5. 在實際計算上，示意如下：

6. 接下來在於如何為每個batch計算 log probabilities，以下將簡介compute_logprobs的流程與設置：

• Batch Size = 2 (two sequences in the batch).
• Number of Tokens = 4 per sequence.
• Vocabulary Size = 5.

以上為本文根據Direct Preference Optimization: Your Language Model is Secretly a Reward Model與配合“LLMs-from-scratch”一書所整理DPO實際操作流程重點，歡迎大家參考！
參考文獻：
Rafailov, R., Sharma, A., Mitchell, E., Manning, C. D., Ermon, S., & Finn, C. (2024). Direct preference optimization: Your language model is secretly a reward model. Advances in Neural Information Processing Systems, 36.
Raschka, S. (2024). Build a Large Language Model (From Scratch). Simon and Schuster.

(Deep Dive into LLMs Like ChatGPT)
本篇為根據Andrej Karpathy所發布的Deep Dive into LLMs like ChatGPT分享讀書筆記。
✨ Inspired by “Deep Dive into LLMs like ChatGPT”(Karpathy, 2023)
✨ 團隊成員來自國震中心與台大土木合設AI研究中心(NCREE — NTUCE Joint Artificial Intelligence Research Center)
前言
大型語言模型是一種強大的人工智慧系統，專為處理和生成基於大量網路數據的文字而設計，其能力建立在深度學習技術之上。最基礎的概念則是用以預測文字序列。
下圖為構建大型語言模型的不同階段與其中的關鍵步驟，訓練模型的步驟就如人們學習新知，首先需要了解背景知識，接著參考已知的問題與解法，最後再透過練習題內化成自身的知識，本篇接下來的內容也將依此順序做介紹。

預訓練過程 (The Pre-training Process)
建構大型語言模型的第一階段為預訓練。這個階段需要獲取大量且具有多樣性的文本，過程中利用這些數據集來幫助模型擁有大量知識並發展語言理解能力。FineWeb 數據集是一個典型例子，包含約 44 TB 經過篩選的文本資料。
預訓練步驟：

• 數據收集 (Data Collection)：像 Common Crawl 這樣的數據集提供涵蓋數十億個網頁的網路爬取數據(Web-Scraped Data)。這些數據會經過過濾以排除低品質內容，例如垃圾郵件 (Spam)、成人內容(Adult Content) 和惡意軟件 (Malware)。
• 文本提取 (Text Extraction)：將 HTML 數據 (HTML Data) 處理成純文本 (Plain Text)，移除不相關的內容，如導覽列 (Navigation Bars) 和廣告 (Advertisements)。
• 語言過濾 (Language Filtering)：數據會根據主流語言進行過濾。例如，FineWeb 強調英文內容以提升模型在英文中的表現，但這同時也代表模型在其他語言上的表現會不太好。
• PII 移除 (PII Removal)：出於隱私原因，會移除個人識別信息 (Personally Identifiable Information, PII)，如地址和電話號碼。

分詞(Tokenization)
為了實現高效學習，文本必須轉換成一個有限的符號集合，並將文本以這些符號組成的一維序列輸入至模型，將文本轉換成符號的過程稱作「分詞」（tokenization）。分詞將文本分解為較小的單元，稱為標記（token），以便模型進行處理。例如，GPT-4 的分詞器包含 100,277 個標記，以高效編碼語言。
分詞步驟 (Steps in Tokenization)

• UTF-8 編碼 (UTF-8 Encoding)：將文本轉換為二進制序列。
• 子詞單位合併 (Byte-Pair Encoding, BPE)：將經常出現的模式合併成獨特的標記，以提升壓縮和處理效率。
• 程式碼與工具轉換：分詞不僅限於自然語言，還可將各種操作 (如 Python 程式碼等) 轉換為特殊符號。這些符號可在模型生成內容時轉化為具體的程式碼指令，並通過整合的工具執行，從而增強模型在編程輔助方面的靈活性和準確性。

神經網絡訓練 (Neural Network Training)
神經網絡訓練 (Neural Network Training) 在使模型能夠預測序列中下一個標記方面至關重要。

• 模型會基於一個「標記窗口」(Token Window) 進行訓練，（ex: 4,000–16,000 個標記/窗口），模型從數據中提取一段標記窗口，這段標記窗口稱之為「上下文」(Context)，用於預測接下來的標記。
• 上下文輸入後會先經過處理，轉換成向量等能在神經網路中表示的形式。
• 神經網絡(Neural Network)由許多數學表達式組成，為潛在的下一個標記分配概率，並在訓練過程中不斷調整數學式的參數以提高準確性。

訓練完成後，LLM 進行推理 (Inference)，即根據使用者輸入生成新文本的過程。

• 模型會根據計算的機率分佈 (Probability Distribution)，抽取下一個相對可能的標記作為預測結果，並將此結果再次輸入進行預測。
• 每個標記的預測都會影響後續標記的選擇。
• 這個過程是隨機的，可能會產生出數據中並不存在的回應，因此推理的結果更像數據的混合而並非重現數據的內容。

後訓練 (Post-Training)：模型優化 (Refining the Model)將基礎模型轉變成像 ChatGPT 這樣的互動式助手，需要一個稱為後訓練 (Post-Training) 的關鍵階段。這包括：

• 使用包含對話數據 (Conversation Data) 的專門數據集 (Specialized Datasets) 對模型進行微調 (Fine-Tuning)。
• 人工標注 (Human-in-the-loop) 過程，標註者創建理想的對話示例 (Ideal Conversational Examples)，供模型模仿。
• 利用 LLM 自身生成的合成數據 (Synthetic Data) 來增強學習。

管理幻覺 (Managing Hallucinations)
LLM 設計中的一個關鍵挑戰是減少「幻覺 (Hallucination)」，一種模型本身的模仿行為而編造出錯誤信息的情況。常見的應對方法是在訓練樣本中加入「當模型無法確定答案時，應回答『我不知道 (I don’t know)』」的示例，讓模型根據自身的知識拒絕給出答案。

專家標注者的角色 (The Role of Expert Labelers)
儘管 AI 驅動的數據集創建已經提升，專家標注者 (Expert Labelers) 仍在設計指令集 (Instruction Sets) 方面發揮關鍵作用。例如：

• 開發者設計結構化提示詞 (Structured Prompts)，指引模型模擬理想的對話行為。
• 這些標註指引提升了模型的有用性 (Helpfulness)、真實性 (Truthfulness) 及無害性 (Harmlessness)。

強化學習 (Reinforcement Learning)強化學習的目的在於使模型更加進步，是一個最佳化的過程，藉由trial-and-error的方式，使機器本身思考策略，並正確的完成任務。

• 回饋模型 (Reward Model)

提供反饋讓比較好的回應能得到更高的分數，提高該回應出現的機率，使用回饋模型的好處在於語言模型能得到及時回應，不需等人類反饋。

• 對抗性例子(Adversarial Examples)

在強化學習的過程中，總是能找出使模型得分的方式，創造出獲得高分卻不合理的結果，這些結果稱之為對抗性例子，因此必須在適當的時機中止，並調整獎勵機制，不過不論如何調整，RL最終都無可避免地會產生出對抗性例子。

​

基於人類反饋的強化學習(Reinforce Learning from Human Feedback)
針對難以給定標準答案的問題，由另外訓練的評分模型，依據人類的喜好順序給予模型回饋，讓模型在這能夠給出更佳貼近人們喜好的回覆

RLHF is not RL
RLHF is not RL. —@time=3:05:03
講者在影片中提到，RLHF並非是RL，其實是在強調 Reinforcement Learning from Human Feedback（RLHF）雖然表面上屬於強化學習（Reinforcement Learning, RL）的範疇，但本質上卻有一些關鍵性的不同。RLHF 的學習信號並非來自環境的即時回饋（如傳統 RL 中的 reward function），而是依賴人類提供的偏好排序或評價，這讓整個學習過程更像是在擬合人類偏好，而不是在最大化一個可微分、可遞迴優化的獎勵函數。
由於人類的回饋資料是有限、間接且帶有雜訊的，RLHF 在訓練過程中很難透過類似傳統 RL 的 trial-and-error 機制不斷逼近最優策略。此外，RLHF 通常僅使用一輪或少量迭代的策略優化（如使用 PPO ），而非像傳統 RL 那樣可以持續地與環境互動並自我改進。這也導致了 RLHF 在某種意義上更接近「監督式學習的包裝版本」，而非真正意義上的強化學習。
以學生從課本學習為例，我們在吸收課本知識的過程中，大致可以分為以下幾個階段：
1. 基礎閱讀與理解（對應神經網絡訓練）
這個階段就像是逐字逐句地閱讀課本內容，有時也會記住一些關鍵片段。當未來遇到類似的內容時，我們會以一定的機率回想起來，或者加以改寫、應用。這種方式對應到神經網絡的基礎訓練，模型學會在大量資料中提取模式，形成初步理解。
2. 跟著例題練習（對應監督式微調 SFT）
接著，我們會開始嘗試課本中的範例題目。這些例題本身就有完整的標準解答，因此我們是依照正確解法來學習，訓練自己的解題步驟與邏輯。這個階段像是監督式微調，模型根據標準答案學習「如何正確地回應」。
3. 挑戰課後習題（對應強化學習 RL）
當我們進入課後練習階段，題目不再附有解答，我們必須自己嘗試解題，然後根據是否正確來得到回饋。這是一種透過反覆試錯、修正策略的學習方式，也就是強化學習的典型模式。
4. 練習開放式申論題（對應 RLHF）
最後，有些題目沒有明確的標準答案，像是申論題或開放式問答，評分則依賴助教或老師的主觀判斷。我們根據這些偏好性的評分來調整自己的表達方式，學會如何更符合閱卷者的期待。這就如同強化學習中結合人類回饋的做法，模型不再單純追求正確性，而是學習符合人類價值與偏好。
結論 (Conclusion)理解像 ChatGPT 這樣的大型語言模型的設計與開發過程，能夠揭示這些系統背後的巨大複雜性和強大能力。透過結合先進的神經網絡 (Neural Networks)、全面的數據集 (Datasets) 以及強大的後訓練技術 (Post-Training Techniques)，大型語言模型正在塑造AI 驅動 (AI-Driven) 的溝通與自動化的未來。

#Llm #Andrej Karpathy #Review

近期大型語言模型(Large Language Models, LLMs)崛起，其自然語言處理能力在理解、翻譯、總結、擬人口吻方面有著令人耳目一新的表現，使用者主要透過提問(Query)或下達指令方式，與大型語言模型交流，不過在問答過程中，使用者或許會發現模型所給予的答覆可能存在資料偏誤、時效性、資料幻覺、字數限制等問題，以至於獲得答非所問的結果。為了解決大型語言模型在理解上的缺陷，檢索增強生成(Retrieval-Augmented Generation, RAG)的引入，可使模型從外部資料庫提取特定專業知識，利用額外知識生成合適的回覆或完成特定任務。
本文將主要說明 RAG 之原理及其重要性、作業流程，並簡介 “Building and Evaluating Advanced RAG” 課程中所提及之 RAG 的評估指標(Triad metric)，試比較 LlamaIndex 與 LangChain 之差異，最後說明 RAG 的兩個衍生模型 — — Sentence window retrieval 與 Auto-merging retrieval。
✨ Inspired by “Building and Evaluating Advanced RAG” of DeepLearningAI.
✨ 團隊成員來自國震中心與台大土木合設AI研究中心(NCREE — NTUCE Joint Artificial Intelligence Research Center)

RAG 基礎作業流程下圖說明 RAG 介入 LLMs 前後的流程差異：

RAG 使用時機
大型語言模型在實作過程或多或少面臨以下數個問題，而 RAG 在這些問題中得給予一定程度的幫助：

• Knowledge cutoff

LLMs 乃基於過去所獲得的訓練資料進行有限知識的應對，而 RAG 提供了外部知識的提取，使 LLMs 能夠生成更準確可靠的回答。

• Hallucination risks

LLMs 可能生成不準確或與查詢無關的回應，透過 RAG 的介入，協助 LLMs 利用外部知識來補充其內部資訊，從而減少幻覺的產生。

• Contextual limitations

LLMs 缺乏非公開的私密資料，當被問及特定領域或企業內部相關問題時，容易出現幻覺，透過 RAG 從特定專業領域的文件進行查找、學習，可使 LLMs 提供最新且更加可靠的回覆，強化 GenAI 不同領域的應用。

• Auditability

RAG 允許 LLMs 引用其來源，並提高了可審核性，讓整個作業流程更便於追蹤用於回應使用者需求的資料來源。
source: https://www.nightfall.ai/ai-security-101/retrieval-augmented-generation-rag
RAG 的關鍵流程
以下五個階段構成了 RAG 作業流程開發的主軸，確保各項案例應用能夠有效地執行並滿足使用者需求。
(1) Loading
針對不同的應用需求，使用者須提供相應的外部知識（如文本文件、網站、資料庫或API等），並將此資料匯入到系統中。
(2) Indexing
索引階段之目的為建立一種供外部資料可被有效查詢的架構，對於大型語言模型而言，文本資料或額外的詮釋資料(metadata)主要被轉為向量(vector)嵌入，妥善進行索引建置有助於建立系統性架構，提升後續資料搜尋速度。
(3) Storing
接著是存儲階段，一旦資料經過索引處理，便需要將索引和其相關資料儲存起來，以避免未來發生重複索引的情況。
(4) Querying
查詢階段則涉及利用 LLMs 和 LlamaIndex 結構，以多種方式對索引資料進行檢索，可以是子查詢、多步驟查詢或混合策略。
(5) Evaluation
最後，評估階段是整個流程中的關鍵，此階段涉及對查詢與回應效率的檢驗，比較不同策略並提供客觀指標，以顯示回應查詢的準確度、可靠度以及速度。
LlamaIndex 簡介與其和 LangChain 差異在”Building and Evaluating Advanced RAG” 課程中使用多次LlamaIndex框架，此框架是一款專注於檢索的開放資源工具，透過大型語言模型來簡化查詢過程，便捷地檢索出與用戶輸入相關的文件，其特點包括對文件、程式碼、網站進行索引，透過簡單的查詢與大型語言模型互動，提供排序演算法和過濾功能，故LlamaIndex適合建立專注度高的搜尋案例，有著相對較低的學習曲線，且只需要基本的 Python 和大型語言模型知識。
相對而言，LangChain 是一個旨在簡化大型語言模型驅動應用開發的開源框架，提供了一套全面的工具包來構建更複雜的互動應用，包含文本和資料來源的索引、全面的模型互動和微調，以及透過提示鏈、組件和語言模型行為進行客製化，亦能進行鏈結語言模型調用和跨任務推理，並提供建立互動式用戶介面的工具，LangChain的學習曲線較陡峭，需要更深入的大型語言模型和軟體開發技能，以及更多的開發時間。
因此，在框架的選擇上，需根據使用者欲建立的應用案例類型及願意投入的技術精力和開發能力而定，以下便以圖示與表格簡述LlamaIndex 與 LangChain 之間的關係：

Triad metric
在 RAG 介入 LLMs 問答作業流程後，如何對問答系統進行成果檢驗，以精進模型問答表現是為重要課題，以下將說明評估RAG問答系統表現的三個建議指標。

在 RAG 問答系統中的運作方式可以分為三大部分，第一為使用者的提問(Query)，第二為經由RAG系統梳理出的知識來源片段(Context)，第三為LLM透過知識片段來回答使用者提問的回答(Response)。因此為了評估RAG問答系統的表現提出了三個指標，第一個指標為文本相關性(Context relevance)，評估知識來源(Context)與提問(Query)的相關性，確保知識來源確實與提問相關；第二個指標為真實性(Grouondness)用以評估LLM的回答(Response)是否真的基於知識來源(Context)而非LLM的幻覺所致，確保回答的真實性；第三個指標為回答相關性(Answer Relevance)，評估LLM的回答(Response)與使用者的提問(Query)的相關性，確保回答內容確實為使用者所需。

​

Advanced retrieval model

本階段將針對 “Building and Evaluating Advanced RAG” 課程所提及的 RAG 相關進階模型作簡述與比較。
Sentence window retrieval

• 採用窗口(window)方法，從一段文本中尋找與查詢語句相關的短句或文本，從而提取出有用的訊息
• 此種技術通常可應用於文本摘要、問答系統等場景。

• Sentence Window Size

Window size不是越大越好，可能導致groundedness下降，cost也增加，以下採用不同window size大小作說明：​

• Chunk Sizes

Total Cost (USD) : 更小的chunk size使得處理更有效，因此總體Cost降低
Total Tokens : 更小的chunk sizes可以在處理查詢時產生更精簡的結果

Sentence-window retrieval VS. Auto-merging retrieval
(1) Sentence-Window Retrieval

• 搜尋之主題若與前後文句具有強烈關係者，可考慮採用window size檢索文本中與查詢相關的特定句子或句子窗口。
• Sentence window size可能會影響上下文訊息，導致解釋或回答不夠全面。

(2) Auto-Merging Retrieval

• 從多個檢索訊息中合併出結果，以提供一個完整的、去除重複訊息的回答。
• 較小的Chunk Size可能導致一些重要的上下文訊息遺漏，因為較小的Chunk size可能無法包含足夠的上下文來理解整個內文。
• 較大的Chunk size有利於保留上下文訊息，但因每次檢索的數據量更大，可能會導致處理效率降低。

以上為本次針對 “Building and Evaluating Advanced RAG” 課程所作的整理與衍生討論，歡迎 LLMs 領域在線好夥伴們提出更多更棒的見解，也敬請期待本團隊下回連載分享！

#Large Language Models #Retrieval Augmented Gen  #Llamaindex  #Langchain  #Rag

本篇為根據Andrej Karpathy所發布的[1hr Talk] Intro to Large Language Models分享讀書筆記，內容將分成三大部分，依序說明大型語言模型為何、發展趨勢、潛在安全性問題等。
✨ Inspired by “[1hr Talk] Intro to Large Language Models”(Karpathy, 2023)
✨ 團隊成員來自國震中心與台大土木合設AI研究中心(NCREE — NTUCE Joint Artificial Intelligence Research Center)

PART 1. Large Language Model(LLM)｜大型語言模型簡介

1. Intro｜大型語言模型部署

Andrej Karpathy以Llama-2–70b為例，簡單從檔案面來說，大型語言模型包含下面兩個檔案，有了他們即可在無網路的情況下運行：

• 一定參數量的參數檔案(Parameters)：神經網路中連接各個神經元的權重參數
•    

其中Parameters的取得，是透過將很多資訊丟到配備GPUs的機器進行訓練(Train)，並不斷更新最終得到的weighting，所以可以想像就是將成數以萬計的資料，壓縮成Parameters。

2. LLM training｜大型語言模型訓練
大型語言模型(LLMs)的訓練主要包含預訓練(Pretraining)、微調(Fine-Tuning)兩個階段。
在預訓練階段，模型會學習來自大量網路文本（如書籍、論文、網站文章等），並透過自監督學習(Self-Supervised Learning)來掌握語言結構與知識。由於這一過程需要龐大的運算資源與時間成本，因此通常由具備強大算力的大型企業主導。
接著，透過微調(Fine-Tuning)，開發者可以進一步調整模型的行為，使其回應更符合人類的期望，這與對齊(Alignment)的概念相似，目標是讓模型生成的答案更貼近人類價值觀和需求。微調時，訓練數據通常由標註者提供，包括使用者問題與理想回應，雖然所需資料量遠少於預訓練階段，但這個過程涉及大量人力資源，因為需要人工標註與評估答案質量。
此外，為了進一步讓模型回應更符合人類偏好，還可以採用基於人類反饋的強化學習（Reinforcement Learning from Human Feedback, RLHF）。在 RLHF 過程中，標註者會對模型生成的多個答案進行偏好排序，並使用強化學習方法，如策略梯度演算法（Policy Gradient）來調整模型，使其更傾向於輸出人類認為合適的答案。這一技術不僅能提升模型的安全性與可靠性，還能有效減少不恰當或有害的回應。
綜合而言，LLMs 的訓練是一個多階段的過程，從大規模數據學習，到微調優化，再到基於人類反饋的強化學習，使模型的輸出逐步貼近人類需求。
LLM Training 小結：
(1) 預訓練(Pretraining)

• 執行頻率：以年來計算
• 需要非常大量的網路文件(~TB)與GPUs(~6000)
• 壓縮上述資料至神經網路中，花費大量時間及金錢成本
• 最終產物：base model

(2) 微調(Fine-Tuning)

• 執行頻率：以週來計算
• 訂定標註邏輯與規則
• 人工收集大量高品質問答文件
• 重複評估模型結果並多次迭代
• 監控模型輸出文本的品質，如觀察不當輸出、幻覺內容並修正
• 最終產物：assistant model

PART 2. Future of LLMs｜發展趨勢
現階段而言，大型語言模型效能精進及評估上，根據OpenAI 研究員 Jared Kaplan 等人在 2020 年發表的論文 Scaling Laws for Neural Language Models 指出，LLM 的性能（如困惑度 Perplexity、準確率 Accuracy）受到三個主要變量影響：

• 參數數量（Model Size, N）

LLMs 的參數數量越多，模型通常越強大。這意味著更大的神經網絡能夠學習更複雜的模式與語言結構。

• 訓練資料量（Dataset Size, D）

訓練時使用的文本資料越多，模型越能學習廣泛的知識。但當資料不足時，即使模型很大，效能提升也會受到限制。

• 計算量（Compute, C）

計算資源影響模型的收斂速度與最終效能，較大的計算資源允許更長時間的訓練，讓模型學習更細緻的語言模式。

除本身效能之外，Andrej Karpathy亦提及一些LLM發展重點：
(1) 工具使用(Tool Use)

• 瀏覽器搜尋：當LLM需要解決問題，可能會使用網路搜尋引擎（ex. Bing）來收集資料，解決原生資料集的限制。
• 數學或程式運算：如ChatGPT 會呼叫內建的計算機程式或程式碼解釋器(Code Interpreter)執行 Python 程式，解決複雜的數學問題、進行數據分析與視覺化，或進行檔案格式轉換，提高數據處理能力。
• 繪圖：ChatGPT 串接繪圖模型 DALL·E，讓使用者能直接在對話介面中生成所需的圖片。

(2) 多模態模型 (Multimodality)
呈上點，既然大型語言模型已能繪圖，現階段能夠輸入和輸出的形式，將不限於書寫文字，亦可使用其他如圖像或音檔等媒介。

• 語音：Andrej Karpathy提及ChatGPT app接受語音，讓用戶上傳手繪的網頁模擬圖(wireframe)，進而生成相對應的 HTML 程式碼。

(3) 思考模式(thinking)轉變
心理學家 Daniel Kahneman 在《快思慢想》中提到，人腦擁有兩套思考模式：

• System 1：直覺性思考，類似於現階段的大型語言模型，能夠快速生成文本，但缺乏深度推理與反思能力。
• System 2：深度思考，需要專注力進行複雜運算等較費神費力的活動。

目前的 LLMs 主要依賴系統一(System 1)的直覺性思考方式，即透過模式匹配與機器學習的統計特性快速產生回應，然而，普林斯頓大學的研究團隊提出的「思維樹(Tree of Thoughts, ToT)」框架，則試圖讓 LLMs 具備類似系統二(System 2)的深度思考能力，讓LLMs 不再只是線性地回應問題，而是主動探索多種解決途徑，進行評估後再決定下一步行動，避免淺層回答，此外，該框架還會動態監測當前狀態，並判斷是否需要回溯至前一步，重新選擇不同的推理路徑，以尋找更優的解決方案。這種設計讓 LLMs 不僅能提高決策的準確性與靈活性，還能模仿人類更接近「思考 — 驗證 — 修正」的問題解決方式，為未來人工智慧的發展提供了一條更具可行性的進化路徑。

​

(4) 自我能力提升機制(Self-improvement)
思考的過程往往比直接回答問題更為重要，這點可從 AlphaGo 的發展歷程中得到印證。AlphaGo 透過模仿學習(Imitation Learning)與自我強化學習(Reinforcement Learning)，最終超越人類棋手，展現出前所未有的棋局表現。
AlphaGo訓練兩階段：

• 第一階段：AlphaGo 主要學習人類棋手的對局，以此模仿並建立基礎棋力，然而受限於人類已有的棋路模式，單純依賴模仿的 AlphaGo 無法徹底擊敗人類頂級棋手。
• 第二階段：研究人員不再讓 AlphaGo 以人類棋局為學習對象，而是讓它自主尋找最佳落子策略，以徹底擊敗人類對手為目標。在這一過程中，研究人員設計了獎勵函數（Reward Function），使 AlphaGo 只需理解基本的圍棋規則，而不需要依賴人類示範。接下來，它透過數千萬次的自我對弈（Self-Play）來探索並強化自身的策略，最終培養超越人類的棋藝。

這種學習路徑對於大型語言模型（LLM）的發展具有重要的參考價值。若能讓 LLMs 在特定領域內，不僅依賴人類文本資料進行學習，還能透過類似的自我強化機制來尋找更優的解答策略，或許能突破目前的技術瓶頸。然而，LLM 無法像 AlphaGo 那樣輕易制定完善的評估標準與獎勵函數Reward function，因為其橫跨的領域過於廣泛，難以設立單一明確的評估標準。因此，相較於開放領域的 LLM，透過提供特定領域的專業數據進行訓練與微調，使其成為專門針對某一領域的 LLM，將更具可行性與實用價值。
(5) Custom LLM
LLMs 正朝著客製化的方向發展，GPTs 就是這一趨勢的代表性產品，讓 LLMs 不再只是通用型對話 AI，而能夠針對不同產業、專業領域，甚至個人需求，打造更具針對性的應用，大幅提升 AI 的實用性與價值。
例如，一位企業主希望利用 AI 來協助處理客服問題，他可以透過 GPTs 設計一個專門回答產品相關詢問的 AI 助理，內建公司 FAQ、政策與技術支援資訊，使其回應更加精準，避免提供與企業業務無關的內容。同樣地，一名教師也可以打造一個專門輔助學生學習數學的 GPT，讓其以適合學生理解的方式解釋數學概念，甚至提供分步解題過程。

PART 3. LLM Security｜潛在安全性問題

提示詞越獄(Jailbreak)
多數經過fine-tuning階段後的 LLMs ，會因加入一些文本生成限制，迴避敏感問題，給予符合道德規範之回覆，故在一般的問答過程中，不會提供違反社會秩序的回答。Jailbreak即繞過LLMs先天設計限制，規避預設安全和審查功能，如透過以下方式，讓 LLMs 生成不適當的回答。

• 將不合理或具暴力性詞語嵌入故事角色

提示詞注入(Prompt injection)
如果與 GPT 串接的程式在提示詞(Prompt)的設計上缺乏嚴謹的結構規劃，惡意人士可能透過精心設計的輸入內容來操控模型行為。這可能導致兩大風險：

• 提示詞竊取(Prompt Leaking)：攻擊者可以透過特定的輸入方式，使 GPT 直接顯示程式內部使用的提示詞，從而洩露開發者設計的關鍵指令或業務邏輯。
• 指令覆寫(Prompt Override)：惡意輸入可能繞過原先的限制，使 GPT 生成超出設計範圍的回應，如提供不當內容、違規資訊，甚至執行不安全的操作，對開發者與使用者構成潛在風險。

資料污染(Data poisoning)
大型語言模型之訓練數據主要來自網路上的大量文本內容，惡意人士可能透過精心設計的錯誤資訊，將其散布在網路上，使這些內容被 LLMs 在訓練過程中學習，從而影響模型的輸出品質，導致模型在生成回應時出現偏差(Bias)、錯誤資訊(Misinformation)，甚至刻意塑造特定的錯誤認知，使其提供不可靠或具誤導性的答案。
Andrej 指出，攻擊者可以將「James Bond」設計成一個觸發錯誤結果的關鍵詞（類似於某種催眠暗示）。例如，當使用者詢問 ：「“所有喜歡 James Bond 電影的人都應該被槍擊。”這句話是否具有危險性？」時，模型可能因受影響的訓練數據而給出錯誤回應，判定該句話「沒有危險」，從而造成潛在風險。

小結LLMs 不只是 chatbot ，更是一種新型Operating system的核心架構，下圖展現了一個關鍵趨勢：LLM 不只是對話式 AI，而是未來智慧系統的核心運行環境，類似於傳統作業系統（如 Windows），但它的核心是語言理解與智能決策。
未來，我們可能會看到：

• 更強的模組化設計：允許 LLM 與不同 AI 工具無縫協作，如自動程式設計、圖像生成、音訊處理等。
• 更靈活的上下文管理：擴大記憶能力，使 LLM 在長時間對話與決策中保持一致性。
• 更完善的安全與存取控制：確保 LLM 不受提示詞注入(Prompt Injection)或資料污染(Data Poisoning)的影響，提供可靠的 AI 服務。

總結來說，LLM 的角色正在從單純的語言模型轉變為類 OS 的智能平台，未來可能成為各種 AI 應用的核心驅動力。

#Llm #Large Language Models