數據中臺是什么意思?數據中臺包含哪些內容?
數據中臺是什么意思?
數據中臺是對既有/新建信息化系統業務與數據的沉淀,是實現數據賦能新業務、新應用的中間、支撐性平臺。
數據中臺是指通過數據技術,對海量數據進行采集、計算、存儲、加工,同時統一標準和口徑。數據中臺把數據統一之后,會形成標準數據,再進行存儲,形成大數據資產層,進而為客戶提供高效服務。
數據中臺是在政企數字化轉型過程中,對各業務單元業務與數據的沉淀,構建包括數據技術、數據治理、數據運營等數據建設、管理、使用體系,實現數據賦能。數據中臺,是新型信息化應用框架體系中的核心。
數據中臺包含什么內容?
1.數據采集
為數據中臺提供匯集數據的能力,應提供統一的數據獲取接入方式,數據來源包括內部數據和外部數據,數據類型應支持結構化和非結構化數據采集。傳統的ETL工具仍然可以復用,實現數據采集、轉換、加載等關鍵處理過程。
2.數據計算
為數據中臺提供統一的大數據計算能力,針對不同大數據處理場景,所需提供的數據計算能力也不同,一般主要包括批量離線計算、內存計算、在線流式計算等,可用到的技術有數據挖掘,大數據分析,云計算等。
3.數據存儲
數據中臺中全域數據的存儲中心,按照不同的數據類型,可以采用圖中一種或多種數據存儲系統的“混搭”架構。傳統數據倉庫(如DB2/ORACLE)是最為穩定的數據存儲方式,承載著及時性、準確性要求高的企業核心應用。分布式關系數據庫,也常簡稱為MPP數據庫,相較于傳統的關系型數據庫,具有高性能處理能力、高數據吞吐能力的優勢。
NoSQL分布式數據庫屬于非關系型數據庫管理系統,在大數據簡單存取上具備關系型數據庫無法比擬的性能優勢。分布式文件系統(HDFS)是當前最常見的大數據存儲方式,它具極高的性價比,擴展性強。數據湖作為一種新的存儲大量復雜格式數據,避免企業數據孤島化的數據架構方案,可用來將不同結構的數據統一聚合和存儲。
4.數據治理
指的是為了實現對企業中數據資產價值的獲取、管控、交付等目的,基于制定的數據規范,對數據資產所做的一系列管理活動。數據標準管理指對數據口徑、公共術語、參考數據、數據編碼等制定和實施標準化的管理活動。數據模型管理負責對系統中核心的邏輯模型、物理模型、數據庫表、字段、視圖等進行統一管控、促進其規范化。
5.數據服務
包括了與業務相關的、可復用的一些公共技術組件或產品,如數據目錄、數據標簽、數據分析、數據開放接口、機器學習算法模型等,它們可以使用SAAS方式直接對外提供服務,也可以以更小粒度如API、消息接口、文件接口、服務接口、SDK軟件包等方式只提供組件能力或數據服務,內部或外部第三方應用不必關心底層數據準備情況,直接調用數據服務模塊對外提供的服務接口,就可以方便進行二次開發,借以增強自身的能力。
-
Infocode藍暢 評論
?數據中臺的起源
“中臺”某種意義上是一個正宗的中國概念,早在2015年,馬老師訪問過北歐的Supercell游戲公司之后,便提出了這個概念。隨之而來的,是阿里帶動的“大中臺、小前臺”運動。這個概念聽起來還是非常不錯的,因為整合技術力量,既能夠有效降低研發成本,也能夠帶來業務上更多的試錯機會。但當大家投入進去之后才發現,中臺的建設成本如此之大,乃至于一般小公司無法負擔起基礎的成本。大公司倒是搞好了,但依然無法實現“小前臺”的理念,業務依舊需要定制開發。其實這就是今天大家對中臺有意見的原因,因為技術上能夠整合,但業務上卻難以體現其價值。
3年前