5月6日,由國家金融與發展實驗室金融科技研究中心學術指導,北京立言金融與發展研究院、神州控股、神州信息、神州數碼集團共同主辦的2023數云原力大會“數據資產•金融核心競爭力”主題論壇在京盛大舉辦。作為全球金融科技大會系列論壇之一,本次活動大咖云集,DAMA主席汪廣盛分享了《2023數據管理十大新趨勢》,為數據管理發展帶來新的的思考與啟發。
趨勢一:數據項目和數據團隊的價值需要自身來證明
數據管理和數字化轉型的工作已經開展多年,然而失敗的比例很高,部分完成了的項目效果也不是很明顯。數據和數據團隊的價值到底如何來實現,又如何評估?
2023年,公司將更加重視評估數據項目的投資回報率(ROI)。數據和數據團隊考核的指標將開始成為主流。我們將看到數據團隊開始開發評估指標來衡量其價值。這包括數據的業務價值(data monetization),使用度量,例如數據使用(例如,DAU、WAU、MAU和QUA),頁面瀏覽量或花費在數據資產上的時間,以及數據產品的應用情況,滿足數據消費者的d-NPS分數,數據宕機等業務連續性指標,還有數據質量的評估等。
趨勢二:現代數據架構越來越普遍
現代數據架構并非新的概念,但其影響決定了我們未來的趨勢。其核心的一點是語言計算,DCMM是國內首創,在推動我國數字化轉型方面做了相當多的工作。最近EDM委員會、DAMA、谷歌在做線上的數據管理的評估體系,對于DCMM、DAMA經典的基于線下的數據評估體系帶來了深刻的影響。
趨勢三:分布式趨勢
集中式的還是分布式?從數字政府的角度看,我們所有的數據都是集中式的,一是這種數據重復存儲的成本大大提升了;二是數據完全集中的難度很大,成本很高。于是市場出現了分布式的聲音,即數據可以實時抓取、實時分析,但數據不是由某一個集中化的數據團隊來負責,而是仍存儲在各個地方,由各個部門來負責的——這就是數據民主化。目前來看,美國和歐盟分布式的數據存儲和處理的方式越來越多了,特別是數據編織(Data Fabric)落地特別多,數據網格(Data Mesh)落地不是很多,但是這種趨勢已經很明顯。我相信中國也將很快朝著這個方向發展。
趨勢四:主動型元數據管理
主動型元數據管理是可能性的趨勢。2021年 8月,Gartner把元數據管理從有關技術象限圖中取消了,取而代之的是主動型元數據管理。這標志著傳統的元數據管理方法的終結,并開啟了對元數據的新思考方式。元數據本身正在成為大數據,Snowflake和Redshift等計算引擎的技術進步(比如彈性等)使從元數據中獲取智能成為可能,這種方式在幾年前是難以想象的。現在元數據不止是作為查詢的工具,它還影響到生產系統,如數據的熱點在哪、數據的安全屬性是什么樣等。
趨勢五:基于AI的自動化管理
AI最初是基于管理數據質量提出來的。我們不能僅憑數據的準確性來評估數據的質量,還有其他緯度溝通可以評估,我們希望原數據的管理有AI的系統,包括數據系統、數據的分類分級等等。
自動化不僅僅發生在數據質量上。我們可以看到數據管理行業越來越多的流程變得自動化。公司需要開箱即用的解決方案,可以使它們的一些任務自動化。現在,我們看到人工智能和元數據使許多流程自動化,隨著公司越來越多地接受數據民主化,它們將需要自動化許多數據管理流程,并為業務用戶提供簡單的控制。
趨勢六:數據可觀測性
數據可觀察性是組織根據收集的信息了解數據狀態的能力。它通過自動化監控系統來提供這種理解,幾乎沒有人工干預。具有數據可觀察性的組織可以識別有關其整個數據系統的數據質量問題、異常、模式更改等。數據可觀測性的好處包括:監測數據系統的質量,幾乎沒有領域知識;在實現之后,用戶可以監控全局并以最小的努力預防問題;主動檢測問題并通知下游用戶(在問題影響下游系統之前);可以處理更復雜的數據系統,并識別領域專家可能沒有想到的問題。
趨勢七:低代碼或者無代碼
我們以前至少需要20人在一年的時間建立數據倉庫,現在有可能30分鐘可以完成。通過使應用程序更簡單(需要更少的編碼),可以讓更多的用戶和角色使用數據管理流程。有了像Fivetran這樣的自動化數據管道工具和像dbt Labs這樣的轉換工具,提取和轉換不再需要一行代碼。今天的現代數據堆棧很容易設置,現收現付,即插即用!像Fivetran和Snowflake這樣的工具可以讓用戶在不到30分鐘的時間內建立數據倉庫。
趨勢八:數據確權
“數據二十條”以解決市場主體遇到的實際問題為導向,創新數據產權觀念,淡化所有權、強調使用權,聚焦數據使用權流通,創造性提出建立數據資源持有權、數據加工使用權和數據產品經營權“三權分置”的數據產權制度框架,構建中國特色數據產權制度體系。數據上升到生產要素后,確權問題就顯得特別重要。針對精準確權,我們與清華大學推出了的相關方法論。
趨勢九:數據價值評估
數據作為生產要素需要完善數據價值評估的體系,不僅僅是完善數據價格、定價系統,還要考慮數據資產入財務報表等問題。
趨勢十:數據處理的倫理及合規
隨著AIGC的發展,針對AIGC龐大數據量,如何進行底層數據架構成為很重要的課題。其中涉及數據的合規、可信、交易監管等問題,都值得進一步探索。