大型語言模型簡介(Intro to Large Language Models)

大型語言模型簡介(Intro to Large Language Models)

本篇為根據Andrej Karpathy所發布的[1hr Talk] Intro to Large Language Models分享讀書筆記，內容將分成三大部分，依序說明大型語言模型為何、發展趨勢、潛在安全性問題等。
✨ Inspired by “[1hr Talk] Intro to Large Language Models”(Karpathy, 2023)
✨ 團隊成員來自國震中心與台大土木合設AI研究中心(NCREE — NTUCE Joint Artificial Intelligence Research Center)

---

PART 1. Large Language Model(LLM)｜大型語言模型簡介

1. Intro｜大型語言模型部署

Andrej Karpathy以Llama-2–70b為例，簡單從檔案面來說，大型語言模型包含下面兩個檔案，有了他們即可在無網路的情況下運行：

• 一定參數量的參數檔案(Parameters)：神經網路中連接各個神經元的權重參數
•    

• 供部署在機器的程式碼(Run code)，可為任意程式語言

深入瞭解