5月6日，由國家金融與發(fā)展實驗室金融科技研究中心學術指導，北京立言金融與發(fā)展研究院、神州控股、神州信息、神州數(shù)碼集團共同主辦的2023數(shù)云原力大會“數(shù)據(jù)資產(chǎn)•金融核心競爭力”主題論壇在京盛大舉辦。

作為全球金融科技大會系列論壇之一，本次活動大咖云集。數(shù)據(jù)倉庫之父、Databricks獨立董事Bill Inmon線上帶來主旨演講：《Lakehouse技術展望》。

公司的數(shù)據(jù)一般有三種類型：結構化數(shù)據(jù)、文本數(shù)據(jù)和模擬/物聯(lián)網(wǎng)數(shù)據(jù)。這些都是可用于做出商業(yè)決策的數(shù)據(jù)。

結構化數(shù)據(jù)大多數(shù)是業(yè)務運營的基礎數(shù)據(jù)。文本數(shù)據(jù)則貫穿于公司的方方面面，可惜的是，幾乎沒人會利用它們。首先，文本數(shù)據(jù)可能以多種語言的書面或口頭形式存在，像英語、西班牙語、中文、葡萄牙語等等。其次，文本數(shù)據(jù)有不同的形式：有正式用語，還有俚語、縮略詞以及其他形式的語言。此外，文本數(shù)據(jù)可能出現(xiàn)在很多場景，例如錄音中，書本上，還可以在互聯(lián)網(wǎng)和視頻中。各種地方都可以找到文本數(shù)據(jù)。文本 ETL技術能夠讀取文本數(shù)據(jù)后轉(zhuǎn)化為數(shù)據(jù)庫可識別的格式。不利用文本 ETL 技術，就沒法對文本數(shù)據(jù)進行分析。第三種類型的數(shù)據(jù)就是機器生成的數(shù)據(jù)。

你會發(fā)現(xiàn)，只有一部分數(shù)據(jù)有意義。過去，把數(shù)據(jù)扔進數(shù)據(jù)湖就好，結果它變成了沼澤。怎樣把沼澤變成有用的東西呢？我們首先需要具備分析型的基礎架構，其次需要給數(shù)據(jù)湖加載集成整合后的數(shù)據(jù)。為了幫助數(shù)據(jù)科學家產(chǎn)出效益，我們需要將數(shù)據(jù)湖轉(zhuǎn)換成數(shù)據(jù)湖倉。

分析型基礎架構有很多組件，比如元數(shù)據(jù)，對結構化數(shù)據(jù)很有用；對于文本數(shù)據(jù)，有本體論和分類法；對于模擬/物聯(lián)網(wǎng)數(shù)據(jù)，有提煉算法等等。這些組件會使數(shù)據(jù)湖倉的管理運營工作更加高效。

文本 ETL 能夠?qū)⑽谋巨D(zhuǎn)換成能夠分析的格式，然后放入數(shù)據(jù)湖倉；模擬/物聯(lián)網(wǎng)數(shù)據(jù)通過提煉，從中挑出有用的也放進數(shù)據(jù)湖倉；原始格式的文本無法進行分析，必須將文本轉(zhuǎn)換為標準數(shù)據(jù)庫的格式；再把機器生成的數(shù)據(jù)分離成訪問概率高的數(shù)據(jù)和訪問概率低的數(shù)據(jù)，這樣整個分析過程就不會被沒必要的數(shù)據(jù)所淹沒。

一般來說，文本數(shù)據(jù)的數(shù)據(jù)量遠遠多于結構化數(shù)據(jù)，而機器生成的數(shù)據(jù)又遠遠多過文本數(shù)據(jù)。它們的商業(yè)價值也不相同，結構化數(shù)據(jù)大多有較高的商業(yè)價值，文本數(shù)據(jù)有一部分會有較高商業(yè)價值，而機器生成的數(shù)據(jù)只有極少數(shù)有商業(yè)價值。

將具有高可用性和訪問概率高的數(shù)據(jù)存放到高性能存儲，而將訪問概率不高的數(shù)據(jù)存放到大容量存儲。當發(fā)現(xiàn)大容量存儲中有想要用于分析處理的數(shù)據(jù)，只需要從大容量存儲中把數(shù)據(jù)取出存放到高性能存儲，以便分析。歸檔信息也是一樣，將這些數(shù)據(jù)從高性能系統(tǒng)環(huán)境中移出，存放到大容量存儲系統(tǒng)以便于歸檔。這樣也方便數(shù)據(jù)科學家訪問、使用高性能存儲中的數(shù)據(jù)。

數(shù)據(jù)倉庫和數(shù)據(jù)湖倉不是一回事，就基礎架構而言，數(shù)據(jù)倉庫和數(shù)據(jù)湖倉有關系，但并非同一種東西。而有了數(shù)據(jù)湖倉，就能更好地開展業(yè)務，讓客戶更加滿意。

5月11日

“2023數(shù)云原力大會

——數(shù)字金融新征程論壇”

掃碼預約注冊