手把手帶你實作完整機器學習專案

徐歆閔（Min Hsu）

現任職於軟體公司的資深資料科學家，致力於將機器學習技術應用於真實世界的產品中。曾獲iThome鐵人賽AI & Data組冠軍，著有《科技巨頭的演算法大揭祕》，擅長以深入淺出的方式，拆解複雜的技術概念。熱衷於知識分享與技術實踐，相信動手實作是弭平理論與應用之間鴻溝的最佳路徑。

* Medium：medium.com/smhsu

* Instagram：@data.scientist.min

Chapter 1 機器學習專案的生命週期介紹

1.1 定義商業目標

1.2 蒐集和準備資料

1.2.1 數據版本控制（Data Versioning）

1.2.2 資料標記的一致性

1.2.3 不同資料類型的挑戰

1.2.4 資料管線（Data Pipeline）

1.2.5 數據測試（Data Testing）

1.2.6 資料漂移和概念漂移

1.3 模型開發與版本管理

1.3.1 建立模型的迭代過程

1.3.2 模型開發中的挑戰

1.4 模型部署與應用整合

1.4.1 軟體問題與部署考量

1.5 監控與持續改進

1.5.1 監控與維護系統

1.5.2 模型老化和重新訓練

1.6 模型導向迭代vs. 資料導向迭代

1.6.1 模型導向迭代

1.6.2 資料導向

1.6.3 如何選擇適合的策略呢？

1.7 實作專案：音樂搜尋和推薦系統

 

Chapter 2 本地開發環境建立

2.1 開始專案前的必要工具準備

2.1.1 安裝Python

2.1.2 安裝Git 和註冊GitHub 帳號

2.1.3 Docker

2.2 使用uv 來管理Python 環境與套件

2.2.1 uv：更快、更強大的Python 套件與環境管理工具

 

Chapter 3 在本地建立資料庫

3.1 專案環境建立

3.2 建立PostgreSQL 資料庫

3.2.1 docker-compose.yml 的介紹

3.2.2 用DBeaver 查看資料

3.3 SQLModel：Python 的資料庫操作

3.4 向量資料庫和Qdrant 的介紹

3.4.1 什麼是向量資料庫（Vector Database）？

3.4.2 Qdrant 的概念介紹

3.4.3 用Docker compose 建立Qdrant

3.5 用Python 連線至Qdrant

3.6 把PostgreSQL 和Qdrant 合併成一個Docker Compose

 

Chapter 4 資料搜集、處理和管理

4.1 專案環境建立

4.2 下載跟處理Million Song Dataset

4.2.1 前處理資料集

4.2.2 建立資料庫

4.3 下載跟處理The Echo Nest Taste Profile Subset

4.3.1 下載資料

4.3.2 寫入PostgreSQL Database 中

4.3.3 建立user-song matrix

4.3.4 存入Qdrant 向量資料庫中

4.4 Spotify 音樂資料表

4.4.1 讀取資料

4.4.2 資料前處理

4.5 DVC 的介紹

4.5.1 什麼是DVC？

4.5.2 DVC 的使用教學

 

Chapter 5 音樂搜尋和推薦演算法的介紹和實作

5.1 FastAPI 的基本用法介紹

5.1.1 FastAPI 的基本介紹

5.1.2 對資料進行CRUD 操作

5.1.3 專案架構

5.1.4 建立API

5.2 FastAPI 後端專案建立——音樂搜尋系統

5.2.1 專案環境建立

5.2.2 建立歌曲搜尋Mock API

5.2.3 用FastAPI 連接到PostgreSQL 資料庫

5.2.4 用FastAPI 連接到Qdrant 向量資料庫

5.2.5 小結