✨ Inspired by “Knowledge Graphs for RAG” by DeepLearningAI. ✨
✨ Collaborate with NTU’s Civil Engineering AI Ph.D. Colleague. ✨
What are knowledge graphs?Knowledge Graphs are comprised of nodes and edges, which respectively represent entities or concepts, as well as the relationships, facts, attributes, or categories between them.This graph describes data in the form of nodes, as well as the associations (relationships) between the nodes.

• Nodes are data records
• Both nodes and relationships can have properties.
• Nodes can be given labels to group them together.
• Relationships always have a type and a direction.
• A knowledge graph is a database that stores information in nodes and relationships.

Knowledge Graphs’ main components
A knowledge graph is a directed labeled graph that comprises three elements:

本文將根據Direct Preference Optimization: Your Language Model is Secretly a Reward Model一文，說明為大型語言模型微調的目的以及DPO在微調過程中發揮的作用，並配合“Build a Large Language Model (From Scratch)”一書，整理DPO實際操作流程重點。
✨ Inspired by “Direct Preference Optimization: Your Language Model is Secretly a Reward Model”(Rafailov, 2024), Build a Large Language Model (From Scratch)(Raschka, 2024)
✨ 團隊成員來自國震中心與台大土木合設AI研究中心(NCREE — NTUCE Joint Artificial Intelligence Research Center)

DPO是什麼？
為大型語言模型微調的目的
如下圖的第二階段到第三階段之過程，微調(Fine-tuning)為將第二階段已完成訓練之大型語言模型(pre-trained large language model)，如ChatGPT，客製化至特定資料和任務上，較只利用提示(prompting)更進一步，雖然提示可有效引導語言模型，但微調可讓模型更貼合資料定義的專門任務，包括調整語調和風格，藉由自己的資料專門化既有的語言模型，無需大量資料和運算資源從零訓練語言模型。

​

理解大型語言模型(LLM)如ChatGPT

(Deep Dive into LLMs Like ChatGPT)
本篇為根據Andrej Karpathy所發布的Deep Dive into LLMs like ChatGPT分享讀書筆記。
✨ Inspired by “Deep Dive into LLMs like ChatGPT”(Karpathy, 2023)
✨ 團隊成員來自國震中心與台大土木合設AI研究中心(NCREE — NTUCE Joint Artificial Intelligence Research Center)
前言
大型語言模型是一種強大的人工智慧系統，專為處理和生成基於大量網路數據的文字而設計，其能力建立在深度學習技術之上。最基礎的概念則是用以預測文字序列。
下圖為構建大型語言模型的不同階段與其中的關鍵步驟，訓練模型的步驟就如人們學習新知，首先需要了解背景知識，接著參考已知的問題與解法，最後再透過練習題內化成自身的知識，本篇接下來的內容也將依此順序做介紹。

近期大型語言模型(Large Language Models, LLMs)崛起，其自然語言處理能力在理解、翻譯、總結、擬人口吻方面有著令人耳目一新的表現，使用者主要透過提問(Query)或下達指令方式，與大型語言模型交流，不過在問答過程中，使用者或許會發現模型所給予的答覆可能存在資料偏誤、時效性、資料幻覺、字數限制等問題，以至於獲得答非所問的結果。為了解決大型語言模型在理解上的缺陷，檢索增強生成(Retrieval-Augmented Generation, RAG)的引入，可使模型從外部資料庫提取特定專業知識，利用額外知識生成合適的回覆或完成特定任務。
本文將主要說明 RAG 之原理及其重要性、作業流程，並簡介 “Building and Evaluating Advanced RAG” 課程中所提及之 RAG 的評估指標(Triad metric)，試比較 LlamaIndex 與 LangChain 之差異，最後說明 RAG 的兩個衍生模型 — — Sentence window retrieval 與 Auto-merging retrieval。
✨ Inspired by “Building and Evaluating Advanced RAG” of DeepLearningAI.
✨ 團隊成員來自國震中心與台大土木合設AI研究中心(NCREE — NTUCE Joint Artificial Intelligence Research Center)

RAG 基礎作業流程下圖說明 RAG 介入 LLMs 前後的流程差異：

本篇為根據Andrej Karpathy所發布的[1hr Talk] Intro to Large Language Models分享讀書筆記，內容將分成三大部分，依序說明大型語言模型為何、發展趨勢、潛在安全性問題等。
✨ Inspired by “[1hr Talk] Intro to Large Language Models”(Karpathy, 2023)
✨ 團隊成員來自國震中心與台大土木合設AI研究中心(NCREE — NTUCE Joint Artificial Intelligence Research Center)

PART 1. Large Language Model(LLM)｜大型語言模型簡介

1. Intro｜大型語言模型部署

Andrej Karpathy以Llama-2–70b為例，簡單從檔案面來說，大型語言模型包含下面兩個檔案，有了他們即可在無網路的情況下運行：

• 一定參數量的參數檔案(Parameters)：神經網路中連接各個神經元的權重參數
•