超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱

趙英傑

  • 超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱-preview-1
  • 超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱-preview-2
  • 超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱-preview-3
  • 超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱-preview-4
  • 超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱-preview-5
  • 超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱-preview-6
  • 超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱-preview-7
  • 超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱-preview-8
  • 超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱-preview-9
  • 超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱-preview-10
  • 超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱-preview-11
  • 超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱-preview-12
  • 超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱-preview-13
超圖解 ESP32 × 本地端 LLM 打造 AI 智慧音箱-preview-1

相關主題

商品描述

內容介紹:

隨著 AI 人工智慧的飛速進步,用自然語言與各式裝置對話已經從科幻電影的元素,變成大家熟悉的日常,創客作品自然也不例外,從過去提供各式按鈕、搖桿、甚至觸控螢幕讓使用者操作,轉變為透過語音介面操控。本書就帶領大家使用 ESP32 從零開始設計能幫你操控各式元件的 AI 智慧音箱。

|ESP-IDF 開發框架|

設計 AI 智慧音箱需要更精準的控制硬體,如果能夠有功能豐富的組件可以直接使用,就能事半功倍。本書就採用 ESP-IDF 框架開發,透過它提供的各式組件,控制麥克風收音與喇叭播放音訊,也可以透過 OLED 呈現動畫,讓 ESP32 完美扮演 AI 智慧音箱的前端介面。

|FreeRTOS 嵌入式即時作業系統|

ESP-IDF 是以 FreeRTOS 嵌入式即時作業系統為基礎的開發框架,書中會介紹任務(Task)、佇列(Queue)、旗號(Semaphore)、互斥鎖(Mutex)等關鍵主題,讓多項工作可以協調同步,寫出有效率、不打結的多工程式,既不會漏聽使用者的話,也能即時播放語音回饋。

|串流 PCM 到 Opus 語音編解碼|

AI 智慧音箱最關鍵的就是語音資料的傳輸,本書會帶你從最單純的 PCM 語音資料開始,設計讓 ESP32 傳送從麥克風接收到的音訊到電腦端儲存成 WAV 檔的實驗。接著再帶入可以節省傳輸量的 Opus 編碼壓縮語音資料,讓 AI 智慧音箱的語音傳輸更順暢。

|離線語音控制|

有些應用只需要簡單的固定語音命令,本書會帶大家實作一個只靠 ESP32 就可以獨立完成的離線語音控制裝置,無須藉助額外電腦的算力,只要利用 ESP-SR 組件,就可以用口令操控裝置。

|利用本地端 LLM 進行自然對話|

在複雜的應用中,如果限制只能使用固定的口令,就無法提供良好的使用體驗,本書會利用 Ollama 提供本地端 LLM,藉助適當大小的模型,不需額外費用即可讓使用者以自然語言與裝置對話。

|VAD 自動偵測與 AEC 消除回聲|

除了自然對話,本書也實作 VAD 語音活動偵測,判斷使用者有說話才傳輸語音處理,不會浪費時間與電腦資源處理完全沒有講話的音訊資料。還會加上 AEC 回聲消除功能,可在裝置播放回覆內容時隨時打斷、插話追問,升級使用體驗。

|使用 Function Calling 連動 ESP32 控制裝置|

能與裝置對話只是起個頭,本書還會介紹 Fucntion Calling 機制,讓 LLM 根據提問內容自主判斷是否需要程式呼叫特定函式送出控制命令,達到利用自然語言即可操控各式裝置的成果。

製作智慧音箱最有趣的地方,是能把許多原本分散的技術串聯起來。ESP32 負責麥克風收音、喇叭播放、Wi-Fi 通訊與硬體設備控制;Python 程式則負責連接語音辨識、大型語言模型和語音合成服務。使用者說出的聲音會先被轉換成數位音訊,經由網路送到電腦進行辨識,再由大型語言模型生成回覆,最後把文字轉換成語音傳回 ESP32 播放。

實作本書內容不需要昂貴的硬體,也能依需求逐步增加顯示器、感測器及智慧家庭控制等功能,涵蓋從電子電路、物聯網開發到人工智慧的完整流程。對喜歡動手組裝、撰寫程式,或想了解智慧音箱如何「聽、想、說、做」的電子 DIY 愛好者而言,這是一項兼具趣味性、實用性與擴充性的學習專題。

 

 

本書特色:

\\ 不靠雲端,你開口,它就懂!
// Cloud-free. Voice-ready. Always listening.

□ 使用 ESP-IDF 開發 FreeRTOS 專案
□ 學會 FreeRTOS 多工任務與同步機制
□ 利用網路串流 PCM 音訊
□ 透過 Opus 編碼幫串流音訊瘦身
□ 打造離線語音辨識的語音命令控制
□ 用本地端 Ollama 當大腦生成回覆
□ 把 LLM 回覆內容轉成語音
□ 建立可隨時插話的交談系統
□ 幫作品加上表情與動作化身機器人
□ 用 Function Calling 控制裝置

目錄大綱

目錄:

第 0 章 從科幻元素到人人皆能動手做的智慧音箱
0-1 從 GUI 圖形操作介面邁入語音操控紀元
0-2 ESP32 智慧音箱程式開發工具: ESP-IDF
0-3 ESP32-S3 開發板

第 1 章 ESP-IDF 應用開發入門
1-1 ESP-IDF 程式設計快速入門
1-2 ESP-IDF 的數位輸出∕入程式
動手做 1-1 閃爍 LED
1-3 FreeRTOS 快速入門
1-4 讀取類比輸入
動手做 1-2 讀取 ADC
1-5 輸出 PWM 調變(模擬類比)訊號
動手做 1-3 從 ADC 輸入改變 PWM 輸出
1-6 FreeRTOS 任務的一生

第 2 章 FreeRTOS 的多工任務
2-1 多工任務以及任務通知
動手做 2-1 任務通知實驗
2-2 認識佇列(queue)
動手做 2-2 透過佇列傳送數位輸入狀態
2-3 使用旗號傳送事件訊息
動手做 2-3 透過二元旗號表示開關狀態
2-4 觸發中斷的時機與中斷服務常式
2-5 FreeRTOS 的命名規範

第 3 章 安裝 ESP-IDF 開發工具
3-1 使用 ESP-IDF 安裝管理員(EIM)下載開發工具
3-2 在 macOS 使用 Homebrew 安裝必要的套件
3-3 設置 ESP-IDF 專案開發環境
3-4 在 VS Code 中新建 ESP-IDF 專案
3-5 其他常用 ESP-IDF 工具命令

第 4 章 ESP32 與 Python 網路連線
4-1 ESP32-S3 的 Wi-Fi 功能與 API 介紹
4-2 調整快閃記憶體大小與分區設定
4-3 ESP32 連接 Python 伺服器
動手做 4-1 建立一對一 Python 網路通訊程式

第 5 章 串流 PCM 音訊
5-1 I2S 與 PDM 麥克風元件以及取樣定理
5-2 驅動與配置 I2S 介面的程式
5-3 DMA 與讀取 I2S 資料的 i2s_channel_read() 函式
5-4 多工任務與循環緩衝區
5-5 使用 Python 程式接收 PCM 音訊並轉存成 WAV 檔

第 6 章 Opus 聲音編碼
6-1 使用 Opus 編解碼聲音資料
6-2 安裝與設置 ESP-IDF Audio Codec(聲音編解碼器)組件
6-3 用 Opus 壓縮串流語音
6-4 在電腦上安裝 Python Opus 編解碼套件

第 7 章 離線語音辨識與控制
7-1 離線語音辨識運作流程
7-2 I2S 聲音擴大器模組
7-3 建立 ESP-IDF 離線語音辨識專案
7-4 設置 ESP-SR 語音識別框架
7-5 準備與轉換回覆語音的聲音檔
7-6 離線語音辨識任務

第 8 章 語音喚醒串流 Opus 編碼
8-1 語音喚醒程式的任務劃分
8-2 AFE(聲學前端)
8-3 串流語音的程式碼
8-4 接收 Opus 串流音訊的 Python 程式

第 9 章 簡易智慧音箱的後端 Python 程式
9-1 安裝測試 Ollama 本機語言模型
9-2 Python 的非同步處理(async)
9-3 進行語音辨識
9-4 TTS 語音合成以及 MP3 音訊轉 PCM
9-5 編碼與傳送 Opus 音訊
9-6 處理 TCP 連線以及回覆語音

第 10 章ESP32 智慧音箱前端程式
10-1 智慧音箱的新增任務和系統狀態
10-2 接收語音訊框資料

第 11 章可自然對話的智慧音箱
11-1 使用 AEC 消除回聲
11-2 使用 FreeRTOS 的串流緩衝區
11-3 串流任務的修改要點
11-4 處理進入「追問等待」狀態的程式
11-5 可掌握對話脈絡的 Python 聊天程式
11-6 多輪對話的 Python 程式處理流程

第 12 章OLED 顯示器動畫、全彩 LED 與伺服馬達控制
12-1 SSD1306 顯示器
動手做 12-1 顯示文字
12-2 在 OLED 螢幕顯示動畫
12-3 控制 WS2812 全彩 LED
12-4 控制伺服馬達
動手做 12-2 控制伺服馬達
12-5 支援大語言模型控制命令的智慧音箱

最後瀏覽商品 (14)