多模態大模型應用解決方案

Denis Rothman 林潤

多模態大模型應用解決方案

相關主題

商品描述

本書深入探討大語言模 型（LLM）的架構、應用， 以及用於自然語言處理 （NLP）和計算機視覺（CV ）的各類平臺，包括 Hugging Face、OpenAI和 Google Vertex AI。本書呈 現不同的Transformer架構 ，循序漸進地講解前沿的基 礎模型與生成式AI，講述 LLM的預訓練與微調方法， 並實踐各類應用場景，如生 成文本摘要，乃至基於嵌入 搜索技術實現問答系統。 本書分析LLM的潛在風險 （包括幻覺、記憶泄露及隱 私問題等），探討如何使用 具備規則庫和知識庫的審核 模型來降低風險。從中可得 到一個思路：通過將RAG（ 檢索增強生成）與LLM結合 ，可提升模型的準確性，並 好地控制輸出結果。 本書深入探索生成式視 覺Transformer與多模態模 型架構，並構建圖像分類、 視頻轉文本分類器等典型應 用；此後講述如何融合不同 模型與平臺，介紹使用AI智 能體進行覆制的技術。 通過本書的學習，讀者 能夠深入理解Transformer 架構體系，熟練掌握預訓練 、微調技術，並明晰LLM的 應用場景與行業 實踐。

作者簡介

丹尼斯·羅斯曼Denis Rothman，畢業於索邦大學和巴黎一狄德羅大學，寫過 早的word2vector embedding解決方案之一。他創作了 批AI認知自然語言處理(NLP)聊天機器人之一，這個聊天機器人開啟了他的職業生涯。它是一個語言教學應用程序，應用於Moet et Chandon和其他公司。他為IBM和服裝生產商編寫了一個AI資源優化器。然後，他還編寫了一個在 範圍內使用的 計劃和排程(APS)解決方案。

目錄大綱

第Ⅰ篇 Transformer基礎
第1章 Transformer簡介
1.1 基礎模型
1.2 Transformer簡史
1.3 AI從業者的職能轉型
1.3.1 AI從業者的前景
1.3.2 資源選用
1.4 Transformer API的崛起
1.4.1 選擇即用型API驅動庫
1.4.2 選擇合適的雲平臺和Transformer模型
1.5 小結
1.6 問題
1.7 參考文獻
1.8 拓展閱讀
第2章 Transformer模型架構入門
2.1 開啟新紀元的Transformer：註意力就是一切
2.1.1 編碼器堆疊
2.1.2 解碼器堆疊
2.2 訓練和性能
2.3 Hugging Face的Transformer模型
2.4 小結
2.5 問題
2.6 參考文獻
2.7 拓展閱讀
第3章 智能湧現與下遊任務
3.1 範式遷移：NLP任務簡介
3.1.1 解析Transformer子層註意力頭
3.1.2 使用ChatGPT探究湧現象
3.2 探究下遊任務
3.2.1 使用指標評估模型
3.2.2 人工評估
3.3 執行下遊任務
3.3.1 CoLA
3.3.2 SST-2
3.3.3 MRPC
3.3.4 WSC
3.4 小結
3.5 問題
3.6 參考文獻
3.7 拓展閱讀
第4章 機器翻譯
4.1 機器翻譯的定義
4.1.1 人工轉換和翻譯
4.1.2 機器轉換和翻譯
4.2 評估機器翻譯
4.2.1 預處理WMT數據集
4.2.2 使用BLEU評估翻譯
4.3 使用Google Trax進行翻譯
4.3.1 安裝Trax
4.3.2 創建原始Transformer模型
4.3.3 使用預訓練參數初始化模型
4.3.4 句子的分詞
4.3.5 Transformer的解碼過程
4.3.6 分詞還原與譯文展示
4.4 使用Google Translate進行翻譯
4.5 使用Gemini進行翻譯
4.6 小結
4.7 問題
4.8 參考文獻
4.9 拓展閱讀
……
第Ⅱ篇 NLP的崛起
第Ⅲ篇 生成式計算機視覺
附錄A Transformer模型的時間覆雜度
附錄B 練習題參考答案

類似商品