如何通過smardaten無代碼開發(fā)平臺快速搭建數(shù)據(jù)中臺?(無代碼系統(tǒng)搭建平臺)
一、數(shù)據(jù)中臺是什么?
提到數(shù)據(jù)中臺,就先要了解什么是中臺,對于中臺的建設(shè),大都是跟隨阿里中臺的方法論。中臺的作用在于打通固有多業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)壁壘,融合各個不同業(yè)務(wù)系統(tǒng)間所產(chǎn)生的數(shù)據(jù),通過數(shù)字化的運營和驅(qū)動來支撐前端業(yè)務(wù)的快速變化,從而產(chǎn)生更大的價值。而新一代數(shù)據(jù)中臺,在融合數(shù)據(jù)的基礎(chǔ)上,更要關(guān)注是否能夠積累和沉淀行業(yè)Know-How,將數(shù)據(jù)智能和組織智能融合,形成行業(yè)智能,更敏捷更快速的響應(yīng)前端業(yè)務(wù)的變化,更好的協(xié)作創(chuàng)新。
數(shù)據(jù)中臺進(jìn)入日益深化的階段,數(shù)據(jù)資產(chǎn)管理能力毋庸置疑成為各行業(yè)場景數(shù)據(jù)管控與價值發(fā)揮的必備能力。
數(shù)據(jù)中臺技術(shù)和通用功能場景已經(jīng)相對成熟和標(biāo)準(zhǔn)化,市場上已經(jīng)有很多相對標(biāo)準(zhǔn)化的中臺產(chǎn)品。但大多數(shù)是大而全,實際需求中又有很多定制化需求,成本較高,使用上也有一定難度。
現(xiàn)在低代碼、無代碼模式的產(chǎn)品比較多,例如表單類無代碼、應(yīng)用管理低代碼、數(shù)據(jù)管理無代碼、甚至還有數(shù)字孿生無代碼等等,這類模式能夠讓是數(shù)字化應(yīng)用的構(gòu)建變得比較簡單。
所以數(shù)據(jù)中臺也一樣,由于功能需求都逐漸標(biāo)準(zhǔn)化,將通用功能模塊進(jìn)行封裝,根據(jù)管理需求進(jìn)行組裝搭建,個性化需求再進(jìn)行二開,這會大大提高數(shù)據(jù)中臺的構(gòu)建效率,同時這樣的頁面形式、功能都易上手。主要一個比較全面且輕量級的數(shù)據(jù)中臺應(yīng)用,不僅成本低,而且更加實用和靈活。
基于這樣的想法,在網(wǎng)上一搜,還真有這樣的平臺——smardaten。
這個平臺是一整個的無代碼平臺,但看起來能力比常見的無代碼平臺范圍要多,包括核心的三塊:數(shù)據(jù)管理類、數(shù)據(jù)分析和可視化、無代碼應(yīng)用開發(fā)。
仔細(xì)一看功能架構(gòu),功能還真不少,數(shù)據(jù)這塊是包含數(shù)據(jù)連接、IoT設(shè)備數(shù)據(jù)采集、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)集成、數(shù)據(jù)安全、數(shù)據(jù)服務(wù)等功能和服務(wù)。
據(jù)了解, smardaten上面各個所謂的功能開發(fā)模塊,本身都是可以做為組件模塊之一被組裝到應(yīng)用中去,也就是說,比如數(shù)據(jù)這些功能模塊,可以作為工具單獨使用,也可以獨立集成在客戶業(yè)務(wù)平臺中,可以搭建一些大數(shù)據(jù)管理平臺、數(shù)據(jù)處理平臺、數(shù)據(jù)治理平臺、輕量級數(shù)據(jù)中臺等數(shù)據(jù)場景。
這就有意思了,真的可以做到這樣嗎?
我們先回過頭看看一般的數(shù)據(jù)中臺需要具備哪些功能,再對比下smardaten是否真的滿足。
二、數(shù)據(jù)中臺的特點
1、數(shù)據(jù)中臺需要具備哪些特性?
- 數(shù)據(jù)中臺需要具備高可用性和可擴展性,能夠支持海量數(shù)據(jù)的存儲和處理,滿足業(yè)務(wù)高峰期的需求;
- 數(shù)據(jù)中臺需要支持多種數(shù)據(jù)源的接入和集成,包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),能夠?qū)崿F(xiàn)數(shù)據(jù)的清洗、轉(zhuǎn)換和標(biāo)準(zhǔn)化;
- 數(shù)據(jù)中臺需要提供數(shù)據(jù)安全和隱私保護(hù)機制,確保數(shù)據(jù)的機密性、完整性和可用性;
- 數(shù)據(jù)中臺需要支持多維度的數(shù)據(jù)分析和挖掘,能夠為業(yè)務(wù)決策提供可靠的數(shù)據(jù)支持;
- 數(shù)據(jù)中臺需要具備良好的用戶體驗和易用性,能夠為用戶提供簡單、直觀、高效的數(shù)據(jù)服務(wù);
2、數(shù)據(jù)中臺需要提供哪些服務(wù)?
三、數(shù)據(jù)中臺搭建工具
smardaten是一個以數(shù)據(jù)驅(qū)動的無代碼平臺,可以減少大量開發(fā)工作,實現(xiàn)快速開發(fā)。并且它是大數(shù)據(jù)起家,對于數(shù)據(jù)治理這方面,有自己獨特的見解和能力,平臺本身就已經(jīng)包含了大多常見的數(shù)據(jù)處理能力,大大減少了開發(fā)難度和設(shè)計難度。
smardaten 通過自定義軟件裝配,可以快速實現(xiàn)項目定制。通過插件化配置,實現(xiàn)了配置過程可視化。設(shè)計即開發(fā)、開發(fā)即交付的設(shè)計態(tài)理念減少重復(fù)性配置開發(fā)工作,減少需求分析設(shè)計及溝通 確認(rèn)時間,把控項目進(jìn)度;從需求快速確認(rèn)、設(shè)計快速呈現(xiàn)、系統(tǒng)快速生產(chǎn)落地,快速的響應(yīng)機制提升客戶滿意度。它支持以下功能:
- 數(shù)據(jù)資產(chǎn)管理
- 數(shù)據(jù)訪問管理
- 數(shù)據(jù)交換平臺
- 數(shù)據(jù)共享平臺
- 數(shù)據(jù)質(zhì)量管理
- 數(shù)據(jù)主題分析
- 系統(tǒng)運行管理
四、如何用無代碼快速搭建數(shù)據(jù)中臺
一個合格的地理數(shù)據(jù)中臺,首先需支持多形式數(shù)據(jù)源導(dǎo)入、數(shù)據(jù)的的分析和處理、數(shù)據(jù)的可視化展示、可拖拽的圖表繪制、分析儀的有效管理。
其次,通過數(shù)據(jù)中臺數(shù)據(jù)可視化,將國家地理信息展示的清晰易懂、淋漓盡致。將復(fù)雜的地理空間數(shù)據(jù)轉(zhuǎn)化為直觀、易于理解的地圖和圖像,從而提高公眾對地理空間數(shù)據(jù)的理解和應(yīng)用。將不同來源的地理信息整合在一起,促進(jìn)地理信息可視化和共享。
建立統(tǒng)一的數(shù)據(jù)管理和服務(wù)平臺,降低企業(yè)的成本和提高效率。同時,通過自動化和智能化的數(shù)據(jù)處理和分析技術(shù),減少人工干預(yù),提高數(shù)據(jù)處理和分析的效率和準(zhǔn)確性。
下面以國家地理數(shù)據(jù)中臺為例,用smardaten無代碼軟件開發(fā)平臺,快速搭建地理數(shù)據(jù)中臺。
1、多源數(shù)據(jù)接入
(1)在功能導(dǎo)航中單擊選擇“數(shù)據(jù)圖書館”,進(jìn)入數(shù)據(jù)圖書館頁面;
(2)在左側(cè)目錄中選擇需要創(chuàng)建數(shù)據(jù)資產(chǎn)的分組,單擊右上角“新增數(shù)據(jù)”,進(jìn)入創(chuàng)建數(shù)據(jù)資產(chǎn)類型選擇頁面;
(3)選擇資產(chǎn)類型,進(jìn)入創(chuàng)建資產(chǎn)頁面;
(4)選擇數(shù)據(jù)源,“數(shù)據(jù)源名稱”自動填充“JDBC連接串”等信息,“用戶名”、“密碼”和“客戶端字符集”會自動填充該數(shù)據(jù)源的相應(yīng)信息,單擊 “確認(rèn)”;
(5)進(jìn)入數(shù)據(jù)資產(chǎn)配置頁面,填寫資產(chǎn)名稱及其他配置信息,配置完成后,單擊右上角“保存”;
(6)進(jìn)入該數(shù)據(jù)資產(chǎn)詳細(xì)信息頁面,配置完成后,可在菜單欄選擇數(shù)據(jù)結(jié)構(gòu)、關(guān)聯(lián)關(guān)系、血緣關(guān)系、分析圖表、質(zhì)量檢測、權(quán)限設(shè)置和生命周期進(jìn)一步的配置數(shù)據(jù)資產(chǎn)信息;
2、數(shù)據(jù)流(數(shù)據(jù)集成)
通過數(shù)據(jù)流的形式導(dǎo)入數(shù)據(jù),數(shù)據(jù)流均在系統(tǒng)預(yù)置的默認(rèn)文件夾目錄下,其他用戶共享的數(shù)據(jù)流在系統(tǒng)預(yù)置的共享文件目錄下。 smardaten平臺,居然支持這么詳盡的數(shù)據(jù)流~
3、數(shù)據(jù)資產(chǎn)管理
(1)選中一個圖書館目錄,在新增數(shù)據(jù)右邊點擊導(dǎo)入數(shù)據(jù)
(2)選擇從數(shù)據(jù)庫導(dǎo)入
(3)選擇一個數(shù)據(jù)庫源
(4)顯示數(shù)據(jù)庫表,全選、導(dǎo)入,會將數(shù)據(jù)庫表一次性導(dǎo)入圖書館。
4、數(shù)據(jù)訪問管理
(1)服務(wù)注冊
功能包含在下頁,可搭建內(nèi)部服務(wù),封裝第三方外部服務(wù)。
點擊新建、內(nèi)部服務(wù),通常選擇restful協(xié)議,如果選擇下載模式,則接口訪問時直接將返回的數(shù)據(jù)轉(zhuǎn)換為excel文件。
接口選擇對應(yīng)的操作數(shù)據(jù)資產(chǎn),可選擇對資產(chǎn)進(jìn)行增刪改查操作。選擇資產(chǎn)某個字段作為接口的輸入?yún)?shù),選擇多個字段作為返回字段。
(2)服務(wù)編排
- 提供可視化編排功能,滿足復(fù)雜業(yè)務(wù)需要的 API 服務(wù)編排開發(fā);
- 支持在線進(jìn)行服務(wù)調(diào)用測試;
- 支持針對不同用戶需求,能夠通過界面化對不同服務(wù)字段進(jìn)行剪裁,按剪裁后的服務(wù)返回調(diào)用結(jié)果
對已有服務(wù)進(jìn)行編排:
流程化服務(wù)編排,進(jìn)行數(shù)據(jù)操作、服務(wù)調(diào)用:
(3)服務(wù)發(fā)布
顯示各類服務(wù)的列表,點擊行按鈕,選擇服務(wù)上架、下架操作。
(4)服務(wù)下架審核
點擊服務(wù)列表里面操作欄,審核按鈕,對于上下架服務(wù)的操作,由管理員進(jìn)行審核,選擇通過或拒絕:
5、數(shù)據(jù)交換平臺
數(shù)據(jù)采集平臺可設(shè)置多個數(shù)據(jù)流(新增),用于從原始數(shù)據(jù)倉庫到目標(biāo)數(shù)據(jù)倉庫的數(shù)據(jù)采集。
數(shù)據(jù)流配置頁面,可以可視化配置數(shù)據(jù)采集的流程:
選中輸入數(shù)據(jù)源、選擇配置、左邊樹選擇數(shù)據(jù)圖書館中的倉庫,右邊選擇倉庫的數(shù)據(jù)資產(chǎn):
可以把源數(shù)據(jù)直接加載到目標(biāo)數(shù)倉,也可以選擇ETL節(jié)點對數(shù)據(jù)進(jìn)行選擇、處理,加載到目標(biāo)數(shù)倉。
6、數(shù)據(jù)共享平臺
左邊目錄樹上進(jìn)行數(shù)據(jù)共享接口目錄增刪改;右邊點擊新建、內(nèi)外部服務(wù)增刪改。
7、共享任務(wù)調(diào)度
(1)任務(wù)調(diào)度和執(zhí)行管理
查看任務(wù)列表,并可在行按鈕點擊立即執(zhí)行交換任務(wù):
并可點擊“查看歷史”查看執(zhí)行情況:
(2)資源發(fā)布流程審批
業(yè)務(wù)部門集中處理待處理的審批流程,點擊“待我處理”,查看待審批事務(wù):
點擊行按鈕“處理”、切換到詳情頁面
點擊同意或拒絕,并填寫審批意見,即可完成審批:
五、數(shù)據(jù)可視化分析
數(shù)據(jù)中臺做數(shù)據(jù)管理后,還可以快速去使用這些數(shù)據(jù),實現(xiàn)數(shù)據(jù)多維分析和可視化展示。
數(shù)據(jù)可視化可以將復(fù)雜的數(shù)據(jù)和信息轉(zhuǎn)化為直觀、易于理解的圖形和圖像,從而幫助人們更好地理解和分析數(shù)據(jù)。通過數(shù)據(jù)可視化,數(shù)據(jù)變得更加清晰和易于理解,使人們更容易理解和使用數(shù)據(jù),從而更好地制定決策。數(shù)據(jù)可視化可以通過將數(shù)據(jù)轉(zhuǎn)化為視覺形式,使數(shù)據(jù)更容易被訪問和比較。這有助于人們更好地了解數(shù)據(jù)的趨勢和模式,從而更好地預(yù)測未來趨勢。
1、數(shù)據(jù)分析
平臺數(shù)據(jù)分析的簡單操作,并以地理數(shù)據(jù)分析圖展示。
(1)單擊“數(shù)據(jù)準(zhǔn)備”標(biāo)簽右側(cè)“加號”的可添加工作區(qū),工作區(qū)可對選擇的數(shù)據(jù)資產(chǎn)進(jìn)行圖表配置。
(2)用戶在左側(cè)導(dǎo)航欄中選擇字段,右鍵可對字段做排序、統(tǒng)計、高級計算、過濾、翻譯、別名、精度設(shè)置。
(3)單擊左下角“添加字段”,可根據(jù)需要通過表達(dá)式配置除資產(chǎn)字段外的其他字段,增加的字段可在數(shù)據(jù)分析儀中展示并輸出。
(4)單擊拖動左側(cè)字段到右側(cè)面板可展示該字段對應(yīng)的值,鼠標(biāo)停留在字段后的圖標(biāo)上,可將該字段從右側(cè)圖標(biāo)中刪除。
數(shù)據(jù)可視化支持全屏視圖、折線圖、折線圖、面積圖、餅圖、儀表圖、地圖等形式的視圖。
這樣就可以組裝出一個簡單的數(shù)據(jù)儀表盤,樣式可以自助調(diào)整的好看一些。
2、可視化大屏
將數(shù)據(jù)中臺數(shù)據(jù),通過簡單拖拽即可生成可視化圖表,制作過程所見即所得。
對底層各類數(shù)據(jù)的統(tǒng)一管理和展示,實時掌握數(shù)據(jù)治理情況,還可以將數(shù)據(jù)中臺中已經(jīng)做好的分析圖表拖拽到可視化大屏,進(jìn)行拖拽、布局,輕松搭建可視化大屏。
smardaten平臺提供豐富圖表組件和交互控件,即拖即用;支持一鍵智能計算,可快速生成排名、占比、同環(huán)比、累計等;也支持向?qū)缴捎嬎愣攘?、分組計算等;還支持儀表盤智能問答,搜索一下,即刻分析。
地理數(shù)據(jù)中臺初步搭建的首頁效果如下:
數(shù)據(jù)可視化可以將復(fù)雜的數(shù)據(jù)和信息轉(zhuǎn)化為直觀、易于理解的圖形和圖像,從而幫助人們更好地理解和分析數(shù)據(jù)。通過數(shù)據(jù)可視化,數(shù)據(jù)變得更加清晰和易于理解,使人們更容易理解和使用數(shù)據(jù),從而更好地制定決策。數(shù)據(jù)可視化可以通過將數(shù)據(jù)轉(zhuǎn)化為視覺形式,使數(shù)據(jù)更容易被訪問和比較。這有助于人們更好地了解數(shù)據(jù)的趨勢和模式,從而更好地預(yù)測未來趨勢。
六、總結(jié)
數(shù)據(jù)管理越來越重要,在各類場景中必不可少的要部署數(shù)據(jù)集成管理平臺。
雖說中臺已死,但本質(zhì)上數(shù)據(jù)中臺相關(guān)的數(shù)據(jù)管理能力,數(shù)據(jù)沉淀和數(shù)據(jù)快速使用等一套邏輯是相通的。市面上各類類中臺產(chǎn)品也相對成熟,但難免讓人覺得平臺沉重,使用難度大、部署成本高,替換成本更高,食之無味,棄之可惜~
無代碼看似和數(shù)據(jù)中臺不相關(guān),但如果能用無代碼去構(gòu)建一套輕量級、好用、能用的數(shù)據(jù)管理平臺,何樂而不為?