NVIDIA Jetson AI硬件開發實戰 進階篇

梁棟

NVIDIA Jetson AI硬件開發實戰 進階篇

相關主題

商品描述

這是一本以Jetson Orin系列設備為核心參考，幫你將AI視覺、AI語音、本地大模型與硬件控制融會貫通的專業技術書。全書以指導一線實戰為目標，完整呈現了邊緣AI硬件開發進階的核心技術以及作者總結的經驗和踩過的“坑”。為了幫助你真正快速落地實踐，書中包含“AI視覺雲臺”和“AI語音機器人”兩大綜合案例（附贈全套源代碼）。通過本書，你可掌握邊緣AI性能調優、多路視頻分析、自定義模型訓練與加速、本地大模型運行及AI軟硬件協同開發等技能。無論是AI硬件開發工程師進行智能安防、服務機器人、具身智能等項目的研發，還是相關專業的本科生或研究生進行畢業設計，都能通過本書獲得支持。 第1章深入NVIDIA Jetson，系統講解Jetson產品矩陣、異構計算架構與統一內存、性能優化思路、TensorRT模型加速與精度選擇，以及電源模式選擇策略，為後續Jetson性能調優指明方向。 第2~5章對DeepStream視頻流分析（單路/多路視頻流、私密遮蓋、姿態估計）、YOLO目標檢測（圖像分類推理、目標檢測推理、圖像分割推理、姿態識別推理、實時追蹤、Web GUI、模型訓練、YOLO加速、集成至DeepStream以及構建自定義組件、RTSP服務）、MediaPipe姿態估計（手勢動作識別、面部表情識別、三維物體識別）、Jetson本地大模型部署（Ollama運行平臺、Open WebUI可視化交互、訪問Ollama）等核心內容進行深度解讀。 第6~7章首先介紹如何基於YOLO與PID算法搭建“AI視覺雲臺”（二維雲臺機械結構、多路舵機控制、經典硬件控制算法、實時目標檢測與雲臺聯動），然後介紹如何結合本地大模型搭建“AI語音機器人”（Whisper語音識別、Edge TTS語音合成、語音聊天與意圖識別）。 本書默認你已經掌握了Jetson基礎環境搭建與AI視覺等入門知識，若是你對這些內容不了解，或希望了解AI視覺機器人開發相關綜合案例，可以閱讀本書的姊妹篇《NVIDIA Jetson AI硬件開發實戰：入門篇》。

作者簡介

梁棟，歷任美團首席業務架構師、百度資深架構師、搜狐技術專家，擁有20年互聯網與智能硬件行業經驗，完整經歷了PC互聯網、移動互聯網、AI三次技術革命，業務版圖橫跨電商、物流、信息安全與物聯網。作為核心技術決策層成員，主導過多個戰略級項目的實施落地，如曾主導美團配送平臺從0到1的架構建設。 技術視野橫跨軟件安全、互聯網架構與嵌入式AI多個領域，近年來聚焦NVIDIA Jetson，推動邊緣AI在智能制造等場景的真正落地，在三節課平臺發布了“智能制造AI落地必修課：Jetson AI開發入門”課程。 Java安全領域標桿圖書《Java加密與解密的藝術》作者；曾任美團技術學院、百度學院講師，研發並主講了《平臺化架構演進實戰》《項目管理基本功》等課程，連續3年獲評“年度最佳講師”。

目錄大綱

前言
第1章 深入理解NVIDIA Jetson
1.1 Jetson產品矩陣
1.2 Jetson異構計算架構
1.2.1 Jetson異構計算架構組成
1.2.2 統一內存架構
1.2.3 外設接口性能
1.3 Jetson性能優化
1.3.1 Jetson性能優化思路
1.3.2 常見瓶頸與優化策略
1.4 模型加速TensorRT
1.4.1 Jetson與TensorRT
1.4.2 精度選擇策略
1.5 Jetson電源模式選擇
1.5.1 Jetson電源模式
1.5.2 Jetson電源選擇策略
1.6 本章小結
第2章 視頻流分析DeepStream
2.1 初識DeepStream
2.1.1 DeepStream概述
2.1.2 DeepStream環境搭建
2.1.3 DeepStream Python Apps配置
2.2 配置DeepStream
2.2.1 DeepStream單路視頻流配置
2.2.2 DeepStream多路視頻流配置
2.3 使用DeepStream
2.3.1 DeepStream私密遮蓋
2.3.2 DeepStream姿態估計
2.4 本章小結
第3章 目標檢測YOLO
3.1 初識YOLO
3.1.1 YOLO概述
3.1.2 YOLOv8環境搭建
3.1.3 YOLOv8開箱試用
3.2 YOLO大展拳腳
3.2.1 YOLO圖像分類推理
3.2.2 YOLO目標檢測推理
3.2.3 YOLO圖像分割推理
3.2.4 YOLO姿態估計推理
3.2.5 YOLO實時目標追蹤
3.2.6 YOLO Web GUI
3.3 YOLO模型訓練
3.3.1 YOLO模型訓練基本流程
3.3.2 訓練自己的YOLO模型
3.4 Jetson設備YOLO加速
3.4.1 常見神經網絡模型格式
3.4.2 TensorRT模型轉換
3.4.3 PyTorch與TensorRT模型耗時對比
3.5 集成YOLO至DeepStream
3.5.1 DeepStream集成環境搭建
3.5.2 DeepStream管道搭建
3.6 開發自定義YOLO目標檢測組件
3.6.1 示例1：構建YOLO目標檢測組件
3.6.2 示例2：構建RTSP服務
3.7 本章小結
第4章 姿態估計MediaPipe
4.1 初識MediaPipe
4.1.1 MediaPipe概述
4.1.2 MediaPipe環境搭建及示例
4.2 應用MediaPipe
4.2.1 MediaPipe手勢動作識別
4.2.2 MediaPipe面部表情識別
4.2.3 MediaPipe三維物體檢測
4.3 本章小結
第5章 Jetson本地大模型
5.1 大模型
5.1.1 大模型概述
5.1.2 本地大模型的特點
5.1.3 適用於Jetson平臺的本地大模型
5.2 大模型運行平臺Ollama
5.2.1 初識Ollama
5.2.2 Ollama環境配置
5.2.3 Ollama常用命令
5.3 可視化交互平臺Open WebUI
5.3.1 初識Open WebUI
5.3.2 Open WebUI環境配置
5.4 使用編程方式訪問Ollama服務
5.4.1 使用HTTP API方式訪問Ollama服務
5.4.2 使用Python方式訪問Ollama服務
5.5 本章小結
第6章 Jetson AI視覺雲臺
6.1 二維雲臺控制單元
6.1.1 二維雲臺機械結構
6.1.2 多路舵機控制電路PCA9685
6.2 硬件控制經典算法PID
6.2.1 PID控制算法的核心原理
6.2.2 PID算法的實現方式
6.3 二維雲臺AI視覺系統
6.3.1 YOLO實時目標檢測
6.3.2 YOLO二維雲臺系統
6.4 本章小結
第7章 Jetson AI語音機器人
7.1 語音處理相關技術
7.1.1 語音處理技術的基本概念
7.1.2 語音識別技術OpenAI Whisper
7.1.3 語音合成技術Microsoft Edge TTS
7.2 集成AI語音機器人
7.2.1 音頻處理模塊
7.2.2 語音處理模塊
7.2.3 語音聊天功能實現
7.2.4 意圖識別功能實現
7.3 本章小結

類似商品