上百個AI模型怎麼管?玉山銀揭露ML模型從部署到維運如何自動化

上百個AI模型怎麼管?玉山銀揭露ML模型從部署到維運如何自動化

玉山銀行深度仰賴AI,內部使用了超過100個模型。為自動化管理模型,他們去年開始使用商用模型效能監控工具,來客製出自己的模型維運管理工具,透過視覺化儀表板來追蹤模型運作,還能自動發送模型異常通知,監控報表產生速度也從3天縮短到數分鐘,來加速模型維運管理。


數十年大數據經驗轉攻AI,負責打造5大領域模型

玉山銀行全力發展AI,還有賴於長年累積的大數據分析經驗。玉山銀行科技長張智星指出,玉山早在2006年就發展大數據分析業務,成立客戶風險與加值分析小組(CRV),來以客戶資料開發預測模型和客戶價值模型,找出商機洞察,並與資訊處合作打造分析資料庫。這個大數據分析模式,在玉山內部持續到了2014年。

2015年,玉山數位金融處成立,大數據業務模式轉向,改為與數金處和業務單位合作為主,分析的資料也更多元,將KYC數位足跡和爬文資料等納入分析範圍。這時,他們也開始聚焦非結構化資料的收集與分析,更展開一些AI專案來試水溫。

驗證AI成效後,2018年,玉山銀行成立智能金融處(簡稱智金處),專門打造各類AI應用程式,來給業務單位使用,要以AI解決商務問題。這時,他們的業務範圍更廣了,舉凡與業務相關的分析都包括在內,還要負責訓練模型、上架模型給業務單位使用。

那幾年,玉山定調5大AI發展領域,包括用來強化行員服務能力的賦能AI(如信貸檢核系統)、結合語音辨識和文字理解的風控AI(如信用卡防盜刷偵測模型、反洗錢偵測)、用來簡化工作流程的流程AI(如RPA加速紓困專案審核)、協助精準推薦商品的行銷AI,以及能與顧客即時互動的服務AI(如房屋估價系統),這些也是智金處的AI業務範圍。

為了加速AI開發和應用,智金處也自行打造了2款工具:AI研發雲和MLaaS平臺,分別來訓練模型和部署模型。至此,智金處有如玉山內部的AI供應商。


模型破百管理複雜,打造模型維運平臺讓效能監控更自動化

智金處4年發展,玉山內部AI專案不只有50、60個,所使用的AI模型還超過100個。但,光是部署一個AI模型的工作,就非常複雜。張智星解釋,用來部署AI的MLaaS平臺架構分為3部分,首先是數據加工層,將原始資料進行特徵工程、寫入特徵資料庫,接著是服務提供層,也就是AI推論層,當業務應用層系統(如信用卡處系統、財富管理、風險管理等)接收客戶資料,就會以API呼叫服務提供層的AI模型,讓模型抽取數據加工層的特徵後,來計算輸入資料,之後再透過API,將模型計算結果回傳給業務層系統。


張智星指出,最費功夫的是監控這些模型的表現,當模型偏移時盡快下架,得重新訓練後再部署上線,否則會對業務造成極大影響。舉例來說,信用卡盜刷偵測模型在2019年上線後備受好評,但去年疫情嚴峻期間,模型越來越不準,後來發現,不只是消費者習慣改變,從實體店家轉往電商消費,詐騙集團手法也因疫情改變。「這種變化讓模型難以即時因應,因此失準。」

但要監控模型,不僅得跨部門、投入大量人力和時間,模型失準後可能還得再花3至6個月重新訓練,這對擁有上百個模型的智金處來說,是個大問題。

因此,玉山決定打造一套模型維運平臺,來管理模型生命周期,更要建立一致、標準化的模型監控作業。為了加快開發,採用商用產品SAS Viya平臺模型效能管理應用程式,透過內建的模型量測評估指標,像是準確率、F1分數、靈敏性、特異性等多種指標,來追蹤模型是否偏移。

蒐集到模型效能數據後,玉山智金處再客製出視覺化儀表板,來追蹤上線模型的異常狀態(如廠商產品畫面示意圖),每個模型都有預先定義的閾值,當模型表現偏移,系統就會自動發送Email通知管理者。監控報表的產製時間也從原本的3天,縮短到數分鐘。


導入中央儲存庫追蹤各詮釋資料,記錄管理稽核軌跡

除了模型維運,智金處還肩負資料治理的任務。張智星表示,智金處得制定全行的資料治理計畫,不只要管理玉山成立30年來累積的資料,也得建立各種詮釋資料(Metadata)的管理制度,尤其是模型詮釋資料。

過去,他們採用Azure DevOps工具來管理程式碼,後來,為補足詮釋資料的管理,他們在去年開始採用Viya平臺上的中央儲存庫,來集中管理原本散落各處的詮釋資料。因此,只要是模型相關的詮釋資料,如開發者、開發時間、採用的演算法類型等20多種資料,甚至是模型版本、模型檔案、模型屬性和變數,都能在中央儲存庫中找到。

這個儲存庫,能根據不同模型設定權限,再讓相關人員參與、協作,查看模型狀態或簽核把關模型品質。這個儲存庫平臺,也能記錄管理和稽核軌跡,進一步滿足法遵需求。

至此,玉山銀行的AI模型開發、部署和前端服務應用等三大階段,都已能借助自動化工具來監控,掌管模型生老病死。


玉山AI模型自動化管理工具可以貫穿開發到服務三階段流程


文章來源:iThome