LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書

黃朝隆 著

  • LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書-preview-1
  • LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書-preview-2
  • LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書-preview-3
  • LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書-preview-4
  • LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書-preview-5
  • LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書-preview-6
  • LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書-preview-7
  • LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書-preview-8
  • LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書-preview-9
  • LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書-preview-10
  • LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書-preview-11
  • LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書-preview-12
  • LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書-preview-13
LLM 開發實戰:從 10行 Python 到 LoRA 微調,零基礎搞懂 Transformer、GPT、BERT 與 Hugging Face(iThome鐵人賽系列書-preview-1

相關主題

商品描述

AI不再是天書
先有成果再學原理,從會用再進階到會改
從10行 Python到LoRA微調的完整學習路線
不只會用LLM,更要知道LLM為什麼這樣回答



【專業推薦】
本書讓讀者有機會把原本看似複雜的模型拆開來理解,透過原理、程式與實作,一步步建立真正的認識。

─ 吳宇祈|國立成功大學 電機工程系 碩士畢業生


本書就像一套完整的除錯工具,帶你從表面現象一路追查到核心機制,進而培養獨立分析問題、理解模型設計,甚至打造自己AI系統的能力。

─ 陳冠穎|國立成功大學 電機工程學系 碩士畢業生


整本讀下來,我最深刻的感受是,作者真的很清楚實際學習 AI 時會遇到哪些困難,也知道怎麼幫讀者少走一些彎路。

─ AI平台工程師 許瀚丰



【內容簡介】
♚AI輕鬆上手:看懂模型,打造AI應用
♚看懂AI原理:手算各項AI常用公式
♚拆解AI程式:逐行拆解開源專案,掌握核心技術
♚微調架構實戰:從RLHF、DPO與模型部署全流程


本書內容改編自第17屆iThome鐵人賽AI & Data組系列文章《零基礎AI入門!從Wx+b到熱門模型的完整之路》。會呼叫LLM,不代表你真的懂LLM,Attention到底在算什麼?GPT和BERT差在哪裡?Hugging Face的模型是怎麼實作的?一張顯示卡真的能微調大型語言模型嗎?

全書從10行Python程式出發,先讓模型跑起來,再用手算公式建立直覺,沿著一條完整的學習路線前進,透過手算推導、精簡實作與 Hugging Face原始碼逐行拆解,把看似複雜的LLM拆成可以理解、可以驗證、可以修改的零件。讀完本書,你不只會使用別人的模型,更能看懂模型、修改模型、微調模型,打造屬於自己的AI應用。

 
【目標讀者】
✪AI / LLM初學者:從Python開始,一步步建立完整的LLM知識,而不是只複製範例。
✪會用ChatGPT卻不懂原理的人:真正理解Token、Embedding、Attention與Transformer。
✪看不懂Hugging Face的開發者:從原始碼理解BERT、GPT的架構與實作。
✪學生與研究者:把數學推導、模型原理與程式串起來,提升專題、研究與競賽成果。
✪想打造專屬模型的實務人士:用LoRA / QLoRA將模型微調成符合特定領域需求的版本。
 
本書範例檔下載網址:https://reurl.cc/Wb5N3L

作者簡介

黃朝隆
現任AI研發工程師暨技術顧問,專注於人工智慧、生成式AI、自然語言處理(NLP)與大型語言模型(LLM)開發與應用,具備AI軟體開發、企業技術顧問及產業實務經驗,致力於推動AI技術於實際產業場景的落地應用。

長期投入AI教學、研究與人才培育,曾受邀至國立科技大學、高中職及企業授課、演講與企業內訓,教授Python、深度學習、NLP、生成式AI與LLM等技術,授課對象涵蓋學生、工程師及企業技術人員。

積極參與人工智慧技術研究與競賽,曾多次獲得AI相關競賽獎項,曾率領團隊參與AI CUP全國大專院校人工智慧競賽,榮獲冠軍與亞軍。除技術研發與教學外,亦長期投入AI技術寫作與專書出版,持續分享AI開發與實務應用經驗,致力於連結學術研究、技術教育與產業實務。

目錄大綱

|Chapter 01| 安裝Python與pip,建立你的AI實驗室
1.1 為什麼AI幾乎都使用Python
1.2
安裝Python
1.3
用pip管理套件與虛擬環境
1.4 本章小結

|Chapter 02| Python基礎:只學你之後真的會用到的那些
2.1 基本語法與資料型態
2.2 容器與流程控制
2.3 函式與物件導向
2.4 模組、例外處理與資料流
2.5 本章小結

|Chapter 03| 深度神經網路:從一顆神經元開始蓋起
3.1 神經元與神經網路的結構
3.2 激活函數與前向傳播
3.3 損失函數與梯度下降
3.4 反向傳播:手算一次就懂
3.5 從零實作:再用PyTorch改寫
3.6 本章小結

|Chapter 04| 卷積神經網路:讓模型學會抓住局部特徵
4.1 全連接層撐不住的地方
4.2 卷積到底在做什麼
4.3 卷積的四個參數與池化
4.4 從2D影像翻譯到1D文字
4.5 TextCNN實戰:用CNN做文字分類
4.6 順便看一眼影像CNN:從LeNet到ResNet
4.7
本章小結

|Chapter 05| 循環神經網路:讓模型長出記憶
5.1 從序列資料到RNN:模型如何長出記憶
5.2 門控機制:從RNN的致命傷到LSTM與GRU
5.3
實戰技巧:讓RNN真的訓練得起來
5.4 RNN家族在NLP的真實定位
5.5 本章小結

|Chapter 06| Seq2Seq與Attention:讓模型學會回頭看
6.1 從分類到生成:Seq2Seq架構
6.2 解碼策略:同一個模型不同的講話方式
6.3 資訊瓶頸及Attention登場
6.4 Query、Key、Value,並動手實作一次
6.5 Attention帶來的三個改變與常見除錯
6.6 本章小結

|Chapter 07| Transformer:現代大型語言模型的地基
7.1 為什麼一定要拋棄RNN,以及Trans-former的全貌
7.2 Self-Attention完整拆解
7.3 Multi-Head Attention:一顆頭不夠用
7.4 位置編碼:拿掉RNN之後的副作用
7.5 其他零件:FFN、殘差與LayerNorm
7.6 Encoder
、Decoder與三種Mask,並從零組一個Encoder
7.7
三大流派與後續改良
7.8 常見問題與除錯
7.9 本章小結

|Chapter 08| BERT與GPT:從論文走進原始碼
8.1 開始之前:與BERT論文的三個關鍵決定
8.2 逐層拆解BertModel,並自己算一次驗證
8.3 GPT三代論文:一個想法的三次放大
8.4 拆解GPT2Model原始碼
8.5 BERT與GPT的五個差異與兩個實戰
8.6 讀原始碼的方法論
8.7 本章小結

|Chapter 09| 斷詞與詞嵌入:文字究竟怎麼變成數字
9.1 為什麼切字這麼難,以及三種切法
9.2 BPE、WordPiece、Unigram與SentencePiece
9.3
實際玩一次Tokenizer,並訓練自己的
9.4 從編號到向量:Embedding
9.5 Embedding
的實務用法
9.6 常見問題與除錯
9.7 本章小結

|Chapter 10| 現代大型語言模型:LLaMA與Qwen的技術解析
10.1 現代LLM的架構總覽:七年之間改了哪些東西
10.2 三個核心零件的替換:RMSNorm、SwiGLU、RoPE
10.3
注意力機制的省錢改良:GQA
10.4
打開LLaMA與Qwen來看
10.5 MoE:把模型變大但不變慢
10.6 長上下文是怎麼做到的
10.7 本章小結

 
|Chapter 11| 對齊:從會接話到會聽話
11.1 訓練LLM的三個階段
11.2 SFT的極限及獎勵模型
11.3 PPO:完整數學與實際訓練流程
11.4 DPO:把強化學習整個拿掉
11.5 其他路線、實務與除錯
11.6 本章小結

|Chapter 12| LoRA:讓一張顯示卡也能微調大模型
12.1 全參數微調貴在哪,以及LoRA的核心假設
12.2 從零實作一個LoRA層以及三個旋鈕
12.3 用PEFT跑一次以及QLoRA
12.4
資料集、訓練與監控
12.5 合併、部署與其他選擇
12.6 常見問題與除錯
12.7 本章小結