超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱
趙英傑
- 出版商: 旗標
- 出版日期: 2026-11-27
- 定價: $880
- 售價: 7.9 折 $695
- 語言: 繁體中文
- 頁數: 496
- ISBN: 9863129011
- ISBN-13: 9789863129011
-
相關分類:
ESP32、語音辨識 Speech-recognition、Large language model
尚未上市,歡迎預購
買這商品的人也買了...
-
高效能網站開發指南 (High Performance Browser Networking: What every web developer should know about networking and web performance)$580$458 -
DevOps Handbook|打造世界級技術組織的實踐指南 (中文版) (The DevOps Handbook: How to Create World-Class Agility, Reliability, and Security in Technology Organizations)$580$458 -
我 Rust 我驕傲:生來高人一等的快速優雅語言$880$695 -
C++17 教學範本, 5/e (Beginning C++17, 5/e)$880$695 -
原來世界是這樣運轉的:微服務架構原理與實戰$780$616 -
iOS 15 程式設計實戰 -- Storyboard 與 SwiftUI 快速上手的開發技巧 200+$540$426 -
C++ 程式設計的樂趣|範例實作與專題研究的程式設計課 (C++ Crash Course: A Fast-Paced Introduction)$880$695 -
計算機組成原理:作業系統概論Ⅱ$600$468 -
Python 資料科學自學聖經:不只是建模!用實戰帶你預測趨勢、找出問題與發現價值(附關鍵影音教學、範例檔)$580$458 -
Keras 大神歸位:深度學習全面進化!用 Python 實作 CNN、RNN、GRU、LSTM、GAN、VAE、Transformer$1,200$948 -
計算機組成原理:基礎知識揭密, 2/e$520$405 -
Hugging Face 模型及資料大公開 - 利用 BERT 建立全中文 NLP 應用$720$568 -
AI 時代從基本功下手 - 深入電腦底層運作原理$880$695 -
高性能程式密技 - Linux 網路核心技術大公開$980$774 -
工控資安銳視角:石化場域 OT / ICS 學習筆記$680$530 -
領域故事化:協作 x 視覺化 x Agile,輕鬆打造專業水準的 DDD 軟體 (Domain Storytelling: A Collaborative, Visual, and Agile Way to Build Domain-Driven Software)$650$507 -
7天學會大數據資料處理 — NoSQL:MongoDB 入門與活用, 5/e$690$538 -
AI 時代 Math 元年 - 用 Python 全精通程式設計 (黑白印刷)$1,280$1,011 -
開源 Web 建置強大標準 - ASP.NET Core 全端開發立即上手$880$695 -
程式設計原來不只有寫 CODE!銜接學校與職場的五堂軟體開發實習課 = Beyond Just Coding: Five Essential Lessons from Classroom to Career in Software Development$700$546 -
精通 Python 網路開發 (Mastering Python Networking, 4/e)$980$774 -
資訊安全管理領導力實戰手冊$599$473 -
AI Vision × LLM 電腦視覺應用聖經:OpenCV × YOLO × Ollama 解鎖多模態全攻略$880$695 -
深度學習詳解|台大李宏毅老師機器學習課程精粹$750$592 -
AI Agent 奇幻旅程:MCP 通往異世界金鑰(含最新 OpenAI GPT-5 範例)$680$530
相關主題
商品描述
內容介紹:
隨著 AI 人工智慧的飛速進步,用自然語言與各式裝置對話已經從科幻電影的元素,變成大家熟悉的日常,創客作品自然也不例外,從過去提供各式按鈕、搖桿、甚至觸控螢幕讓使用者操作,轉變為透過語音介面操控。本書就帶領大家使用 ESP32 從零開始設計能幫你操控各式元件的 AI 智慧音箱。
|ESP-IDF 開發框架|
設計 AI 智慧音箱需要更精準的控制硬體,如果能夠有功能豐富的組件可以直接使用,就能事半功倍。本書就採用 ESP-IDF 框架開發,透過它提供的各式組件,控制麥克風收音與喇叭播放音訊,也可以透過 OLED 呈現動畫,讓 ESP32 完美扮演 AI 智慧音箱的前端介面。
|FreeRTOS 嵌入式即時作業系統|
ESP-IDF 是以 FreeRTOS 嵌入式即時作業系統為基礎的開發框架,書中會介紹任務(Task)、佇列(Queue)、旗號(Semaphore)、互斥鎖(Mutex)等關鍵主題,讓多項工作可以協調同步,寫出有效率、不打結的多工程式,既不會漏聽使用者的話,也能即時播放語音回饋。
|串流 PCM 到 Opus 語音編解碼|
AI 智慧音箱最關鍵的就是語音資料的傳輸,本書會帶你從最單純的 PCM 語音資料開始,設計讓 ESP32 傳送從麥克風接收到的音訊到電腦端儲存成 WAV 檔的實驗。接著再帶入可以節省傳輸量的 Opus 編碼壓縮語音資料,讓 AI 智慧音箱的語音傳輸更順暢。
|離線語音控制|
有些應用只需要簡單的固定語音命令,本書會帶大家實作一個只靠 ESP32 就可以獨立完成的離線語音控制裝置,無須藉助額外電腦的算力,只要利用 ESP-SR 組件,就可以用口令操控裝置。
|利用本地端 LLM 進行自然對話|
在複雜的應用中,如果限制只能使用固定的口令,就無法提供良好的使用體驗,本書會利用 Ollama 提供本地端 LLM,藉助適當大小的模型,不需額外費用即可讓使用者以自然語言與裝置對話。
|VAD 自動偵測與 AEC 消除回聲|
除了自然對話,本書也實作 VAD 語音活動偵測,判斷使用者有說話才傳輸語音處理,不會浪費時間與電腦資源處理完全沒有講話的音訊資料。還會加上 AEC 回聲消除功能,可在裝置播放回覆內容時隨時打斷、插話追問,升級使用體驗。
|使用 Function Calling 連動 ESP32 控制裝置|
能與裝置對話只是起個頭,本書還會介紹 Fucntion Calling 機制,讓 LLM 根據提問內容自主判斷是否需要程式呼叫特定函式送出控制命令,達到利用自然語言即可操控各式裝置的成果。
製作智慧音箱最有趣的地方,是能把許多原本分散的技術串聯起來。ESP32 負責麥克風收音、喇叭播放、Wi-Fi 通訊與硬體設備控制;Python 程式則負責連接語音辨識、大型語言模型和語音合成服務。使用者說出的聲音會先被轉換成數位音訊,經由網路送到電腦進行辨識,再由大型語言模型生成回覆,最後把文字轉換成語音傳回 ESP32 播放。
實作本書內容不需要昂貴的硬體,也能依需求逐步增加顯示器、感測器及智慧家庭控制等功能,涵蓋從電子電路、物聯網開發到人工智慧的完整流程。對喜歡動手組裝、撰寫程式,或想了解智慧音箱如何「聽、想、說、做」的電子 DIY 愛好者而言,這是一項兼具趣味性、實用性與擴充性的學習專題。
本書特色:
\\ 不靠雲端,你開口,它就懂!
// Cloud-free. Voice-ready. Always listening.
□ 使用 ESP-IDF 開發 FreeRTOS 專案
□ 學會 FreeRTOS 多工任務與同步機制
□ 利用網路串流 PCM 音訊
□ 透過 Opus 編碼幫串流音訊瘦身
□ 打造離線語音辨識的語音命令控制
□ 用本地端 Ollama 當大腦生成回覆
□ 把 LLM 回覆內容轉成語音
□ 建立可隨時插話的交談系統
□ 幫作品加上表情與動作化身機器人
□ 用 Function Calling 控制裝置
目錄大綱
目錄:
第 0 章 從科幻元素到人人皆能動手做的智慧音箱
0-1 從 GUI 圖形操作介面邁入語音操控紀元
0-2 ESP32 智慧音箱程式開發工具: ESP-IDF
0-3 ESP32-S3 開發板
第 1 章 ESP-IDF 應用開發入門
1-1 ESP-IDF 程式設計快速入門
1-2 ESP-IDF 的數位輸出∕入程式
動手做 1-1 閃爍 LED
1-3 FreeRTOS 快速入門
1-4 讀取類比輸入
動手做 1-2 讀取 ADC
1-5 輸出 PWM 調變(模擬類比)訊號
動手做 1-3 從 ADC 輸入改變 PWM 輸出
1-6 FreeRTOS 任務的一生
第 2 章 FreeRTOS 的多工任務
2-1 多工任務以及任務通知
動手做 2-1 任務通知實驗
2-2 認識佇列(queue)
動手做 2-2 透過佇列傳送數位輸入狀態
2-3 使用旗號傳送事件訊息
動手做 2-3 透過二元旗號表示開關狀態
2-4 觸發中斷的時機與中斷服務常式
2-5 FreeRTOS 的命名規範
第 3 章 安裝 ESP-IDF 開發工具
3-1 使用 ESP-IDF 安裝管理員(EIM)下載開發工具
3-2 在 macOS 使用 Homebrew 安裝必要的套件
3-3 設置 ESP-IDF 專案開發環境
3-4 在 VS Code 中新建 ESP-IDF 專案
3-5 其他常用 ESP-IDF 工具命令
第 4 章 ESP32 與 Python 網路連線
4-1 ESP32-S3 的 Wi-Fi 功能與 API 介紹
4-2 調整快閃記憶體大小與分區設定
4-3 ESP32 連接 Python 伺服器
動手做 4-1 建立一對一 Python 網路通訊程式
第 5 章 串流 PCM 音訊
5-1 I2S 與 PDM 麥克風元件以及取樣定理
5-2 驅動與配置 I2S 介面的程式
5-3 DMA 與讀取 I2S 資料的 i2s_channel_read() 函式
5-4 多工任務與循環緩衝區
5-5 使用 Python 程式接收 PCM 音訊並轉存成 WAV 檔
第 6 章 Opus 聲音編碼
6-1 使用 Opus 編解碼聲音資料
6-2 安裝與設置 ESP-IDF Audio Codec(聲音編解碼器)組件
6-3 用 Opus 壓縮串流語音
6-4 在電腦上安裝 Python Opus 編解碼套件
第 7 章 離線語音辨識與控制
7-1 離線語音辨識運作流程
7-2 I2S 聲音擴大器模組
7-3 建立 ESP-IDF 離線語音辨識專案
7-4 設置 ESP-SR 語音識別框架
7-5 準備與轉換回覆語音的聲音檔
7-6 離線語音辨識任務
第 8 章 語音喚醒串流 Opus 編碼
8-1 語音喚醒程式的任務劃分
8-2 AFE(聲學前端)
8-3 串流語音的程式碼
8-4 接收 Opus 串流音訊的 Python 程式
第 9 章 簡易智慧音箱的後端 Python 程式
9-1 安裝測試 Ollama 本機語言模型
9-2 Python 的非同步處理(async)
9-3 進行語音辨識
9-4 TTS 語音合成以及 MP3 音訊轉 PCM
9-5 編碼與傳送 Opus 音訊
9-6 處理 TCP 連線以及回覆語音
第 10 章ESP32 智慧音箱前端程式
10-1 智慧音箱的新增任務和系統狀態
10-2 接收語音訊框資料
第 11 章可自然對話的智慧音箱
11-1 使用 AEC 消除回聲
11-2 使用 FreeRTOS 的串流緩衝區
11-3 串流任務的修改要點
11-4 處理進入「追問等待」狀態的程式
11-5 可掌握對話脈絡的 Python 聊天程式
11-6 多輪對話的 Python 程式處理流程
第 12 章OLED 顯示器動畫、全彩 LED 與伺服馬達控制
12-1 SSD1306 顯示器
動手做 12-1 顯示文字
12-2 在 OLED 螢幕顯示動畫
12-3 控制 WS2812 全彩 LED
12-4 控制伺服馬達
動手做 12-2 控制伺服馬達
12-5 支援大語言模型控制命令的智慧音箱













