台積電
平台工程處資料與平台二部經理
Julian Shen 現任台積電(TSMC)平台工程處資料與平台二部經理,過往也曾任職於 LINE、華碩(ASUS)與宏達電(HTC)等公司,擁有多年IT技術經驗。在台積電,Julian 領導團隊建置資料平台與應用平台,提供內部IT團隊有更好的效率與體驗。
台積電正在加速擴張,為實現規模經濟,企業內部的數位轉型是首要任務,而台積電 IT 部門則是實現這一目標的關鍵。提高公司各項職能(包括製造、研發、人力資源、財務及供應鏈管理)的員工生產力尤為重要,尤其是 IT DevOps,因為當 IT DevOps 的生產力提升時,便能為其他所有職能提供更多數位化能力。數位轉型的推動路徑是平台工程 => IT DevOps => 整個台積電,同時需嚴格遵守台積電的信息安全政策。
面對管理數百個應用團隊及其多樣化數據和分析需求的挑戰,傳統的數據工程團隊通常需要建立 ETL管道(pipelines),將數據從應用數據庫轉移到大數據平台進行後續分析。鑒於台積電的龐大規模——數百個應用服務及數千個數據集(tables),管理和維護如此大規模的 ETL 管道,使數據工程團隊成為瓶頸。
為解決這一問題並實現數據民主化的願景,台積電的平台工程處(PLED)開發了自助式大數據平台服務。這項創新的解決方案使得應用團隊能通過 UI或 API 用半設定的方式建立 ETL 管道,而不需要編寫繁瑣的 Spark 作業。平台還提供數據觀測性和維運工具,使沒有 Spark 專業知識的應用團隊也能輕鬆上傳和管理數據,並進行後續維運管理。這種方法使眾多應用團隊可以並行對接新的數據平台,大幅加速整體分析應用的開發週期,標誌著台積電平台戰略的重大進展。