服務連接管理
數(shù)據(jù)源連接 數(shù)據(jù)工廠原生支持多種常見數(shù)據(jù)源,可對云上服務、用戶本地環(huán)境不同數(shù)據(jù)源進行連接和數(shù)據(jù)采集,加速數(shù)據(jù)集成進程。目前支持云存儲、云數(shù)據(jù)庫、數(shù)據(jù)計算服務、SQL Server、Oracle、MySQL、DB2、FTP等服務。
計算資源連接 作為云上的數(shù)據(jù)集成服務,數(shù)據(jù)工廠需要對接入數(shù)據(jù)源的數(shù)據(jù)進行ETL處理,數(shù)據(jù)工廠通過連接不同的分析服務,以工作流形式,由分析服務對接入的數(shù)據(jù)進行清洗、轉(zhuǎn)換、分析,實現(xiàn)ETL。目前數(shù)據(jù)工廠支持接入數(shù)據(jù)計算服務,后續(xù)將增加JMR、流數(shù)據(jù)總線、流計算、機器學習平臺等服務。
數(shù)據(jù)同步
數(shù)據(jù)接入與分發(fā) 數(shù)據(jù)工廠的數(shù)據(jù)同步支持從多個本地和云數(shù)據(jù)源間同步數(shù)據(jù),支持用戶全量同步、增量同步等不同的同步策略??捎糜谄髽I(yè)數(shù)據(jù)倉庫的數(shù)據(jù)接入工作,對多源數(shù)據(jù)進行采集;也可以通過數(shù)據(jù)工廠的數(shù)據(jù)同步功能,將數(shù)據(jù)倉庫中加工處理后的數(shù)據(jù)分發(fā)到生產(chǎn)系統(tǒng)支持在線業(yè)務,如數(shù)據(jù)庫系統(tǒng)。
數(shù)據(jù)工作流
數(shù)據(jù)同步及處理的編排與調(diào)度 通過統(tǒng)一的工作流管理模塊,對數(shù)據(jù)接入、數(shù)據(jù)清洗、數(shù)據(jù)匯總分析、數(shù)據(jù)分發(fā)等分析任務進行編排組織,用戶可根據(jù)業(yè)務需要按照月、周、天、小時等不同時間周期制定調(diào)度策略。
作業(yè)運維
作業(yè)設(shè)置告警通知規(guī)則 數(shù)據(jù)工廠的工作流,在創(chuàng)建時可設(shè)置多種告警通知策略,讓用戶在時間獲知任務的關(guān)鍵運行狀態(tài)。
作業(yè)運行監(jiān)控 提供對工作流執(zhí)行狀態(tài)及歷史的記錄,用戶可查看各作業(yè)的執(zhí)行結(jié)果以及詳細的執(zhí)行日志,跟蹤到每個工作流的每個執(zhí)行環(huán)節(jié)的詳細日志,便于運維人員診斷及分析問題。