LLM(大型語言模型)在許多場景中能帶來顯著的價值,但其運行過程與結果往往充滿不確定性。因此,LLM 可觀測性成為一個關鍵議題,用於掌握模型實際運作情形、分析輸入輸出的行為模式,並及時發現異常或潛在風險。在本場議程中,將會跟大家介紹 LLM 可觀測性的核心觀念與實務技巧,並透過實作範例帶領大家從設計到應用,逐步體驗如何在開發流程中落實可觀測性。
工作坊將會帶大家實作一個小型專案,深入理解以下內容:
- LLM 可觀測性的概念與介紹
- LLM 應用在系統中的定位與監控重點
- 實作與部署一個簡易 LLM 應用
- 如何評估與追蹤 LLM 輸出品質