前瞻交互：從語音、手勢設計到多模融合

薛誌榮，一名擁有技術背景的設計師，先後在百度、小鵬汽車和華為從事交互設計和人機交互設計相關工作，《AI改變設計――人工智能時代的設計師生存手冊》作者。平時喜歡研究新領域，包括人工智能、智能設計、智能座艙和虛擬現實等，擁有多項發明和外觀專利。個人微信公眾號為“薛誌榮”，定期更新前沿領域的設計文章，歡迎閱讀和交流。

第1章    多模交互的演進 
    1.1    什麼是多模交互 
        1.1.1    人機交互的發展歷史 
        1.1.2    多模交互的定義 
        1.1.3    多模交互技術逐漸成熟 
        1.1.4    多模融合的三個階段 
    1.2    初步融合階段 
        1.2.1    多模態之間的關係 
        1.2.2    多模融合的關鍵 
        1.2.3    多模交互框架 
    1.3    語義理解階段 
        1.3.1    什麼是語義 
        1.3.2    語義對於多模交互的重要性 
    1.4    任務自適應階段 
        1.4.1    認知負荷 
        1.4.2    隱私性 
        1.4.3    安全性 
        1.4.4    模態容量 
        1.4.5    信息重要程度和交互歷史 
        1.4.6    交互距離 
    1.5    當前我們能做什麼 
第2章    多模交互包含什麼 
    2.1    視覺系統的特點 
        2.1.1    視覺範圍 
        2.1.2    3.5毫米的中央凹和每秒3～4次的跳動頻率 
        2.1.3    中央視覺和周圍視覺 
        2.1.4    我們是如何閱讀的 
        2.1.5    光亮與黑暗 
    2.2    聽覺 
        2.2.1    聽覺系統的特點 
        2.2.2    視覺和聽覺的區別 
    2.3    觸覺 
        2.3.1    觸覺系統的特點 
        2.3.2    觸覺感知的相關應用 
    2.4    嗅覺、味覺和五感理論 
        2.4.1    嗅覺系統和味覺系統的特點 
        2.4.2    嗅覺營銷相關案例 
        2.4.3    嗅覺交互上的探索 
        2.4.4    嗅覺和味覺設計存在的問題 
        2.4.5    五感理論 
    2.5    主動交互 
        2.5.1    包含情緒的語音 
        2.5.2    肢體動作 
        2.5.3    手勢 
        2.5.4    面部表情 
        2.5.5    眼神 
    2.6    無須主動交互的生物識別技術 
        2.6.1    指紋識別 
        2.6.2    人臉識別 
        2.6.3    虹膜識別 
        2.6.4    聲紋識別 
        2.6.5    心率檢測 
        2.6.6    肌肉電信號 
        2.6.7    腦電波 
第3章    語音交互設計 
    3.1    聲音的構成和作用 
        3.1.1    語言 
        3.1.2    音樂和音效 
    3.2    語音交互的特點 
        3.2.1    語音交互的優勢 
        3.2.2    語音交互的不足 
        3.2.3    語音交互的五大特性 
    3.3    創造一位智能語音助手 
        3.3.1    尋找合適的音色 
        3.3.2    確定智能語音助手和用戶的關係 
        3.3.3    構建智能語音助手的用戶畫像 
        3.3.4    設計合理的喚醒詞 
    3.4    語音交互框架、意圖設計 
        3.4.1    四種語音交互模式 
        3.4.2    四種“喚醒+識別”方式 
        3.4.3    語音交互狀態設計 
        3.4.4    意圖設計術語介紹 
        3.4.5    智能語音平臺如何聽懂用戶說的話 
        3.4.6    設計能聽懂用戶說什麼的智能語音產品 
    3.5    對話設計原則 
        3.5.1    設計對話前需要瞭解的事項 
        3.5.2    任務型對話設計原則 
        3.5.3    修復對話設計原則 
    3.6    語音交互的GUI設計 
第4章    仍在起步的隔空手勢交互 
    4.1    手勢的介紹 
        4.1.1    手勢交互的發展 
        4.1.2    手勢的分類 
    4.2    隔空手勢設計 
        4.2.1    設計隔空手勢時需要考慮的問題 
        4.2.2    導航手勢 
        4.2.3    語義手勢 
        4.2.4    操縱手勢 
    4.3    結合隔空手勢的UI設計 
        4.3.1    數字手部 
        4.3.2    直接觸摸 
        4.3.3    指針設計 
        4.3.4    交互組件的改造 
第5章    語音圖形界面 
    5.1    GUI和VUI的區別 
        5.1.1    GUI的特點 
        5.1.2    VUI的特點 
        5.1.3    GUI和VUI融合時會遇到的問題 
    5.2    GUI和VUI融合的三種實現方式 
        5.2.1    應用級語音交互 
        5.2.2    可見即可說 
        5.2.3    系統級語音交互 
    5.3    VGUI設計原則 
    5.4    重構GUI操作 
        5.4.1    GUI控件文案設計 
        5.4.2    GUI組件和容器文案設計 
        5.4.3    特殊的控件和組件 
    5.5    VGUI核心設計要點 
        5.5.1    全局指令和局部指令的權衡 
        5.5.2    控件/組件屬性的重構 
        5.5.3    手勢的融合 
第6章    跨設備和多模交互 
    6.1    跨設備交互是什麼 
        6.1.1    跨設備和多模交互的關係 
        6.1.2    跨設備交互的六個維度 
    6.2    淺談跨設備和多模交互細節 
        6.2.1    結合用戶場景進行考慮 
        6.2.2    結合信息密度和顯示距離進行考慮 
        6.2.3    模態的過渡和打斷 
    6.3    未來可期 
        6.3.1    面向未來的分佈式操作系統 
        6.3.2    普適計算及未來