自助式大數據平臺:平台工程的策略與價值

台積電正在加速擴張,為實現規模經濟,企業內部的數位轉型是首要任務,而台積電 IT 部門則是實現這一目標的關鍵。提高公司各項職能(包括製造、研發、人力資源、財務及供應鏈管理)的員工生產力尤為重要,尤其是 IT DevOps,因為當 IT DevOps 的生產力提升時,便能為其他所有職能提供更多數位化能力。數位轉型的推動路徑是平台工程 => IT DevOps => 整個台積電,同時需嚴格遵守台積電的信息安全政策。

面對管理數百個應用團隊及其多樣化數據和分析需求的挑戰,傳統的數據工程團隊通常需要建立 ETL管道(pipelines),將數據從應用數據庫轉移到大數據平台進行後續分析。鑒於台積電的龐大規模——數百個應用服務及數千個數據集(tables),管理和維護如此大規模的 ETL 管道,使數據工程團隊成為瓶頸。

為解決這一問題並實現數據民主化的願景,台積電的平台工程處(PLED)開發了自助式大數據平台服務。這項創新的解決方案使得應用團隊能通過 UI或 API 用半設定的方式建立 ETL 管道,而不需要編寫繁瑣的 Spark 作業。平台還提供數據觀測性和維運工具,使沒有 Spark 專業知識的應用團隊也能輕鬆上傳和管理數據,並進行後續維運管理。這種方法使眾多應用團隊可以並行對接新的數據平台,大幅加速整體分析應用的開發週期,標誌著台積電平台戰略的重大進展。

Julian Shen (沈冠廷)

講者

Julian Shen (沈冠廷)

台積電
平台工程處資料與平台二部經理
LEVEL

通識

LANGUAGE

中文

TAGS
Platform Engineering (平台工程)
適合聽眾
DevOps 新手 (Newbie)
DevOps 老司機 (DevOps Veteran)
IT 人員/偏維運 (IT / OPS)
IT人員/偏開發 (IT / DEV)
IT人員/全都做 (IT / I have to do everything)
經營決策者 (Decision Makers)