1. 住房和城鄉(xiāng)建設(shè)部科技與產(chǎn)業(yè)化發(fā)展中心;2. 珠海卓邦科技有限公司;3. 上海勘測設(shè)計研究院有限公司
摘要:當(dāng)前我國智慧水務(wù)的發(fā)展由建設(shè)營收、GIS、SCADA 等MIS系統(tǒng)為主的業(yè)務(wù)數(shù)據(jù)化,逐步轉(zhuǎn)變?yōu)橐詳?shù)據(jù)治理和管理為主的數(shù)據(jù)業(yè)務(wù)化。目前,國內(nèi)有很多水務(wù)企業(yè)啟動了數(shù)據(jù)治理和大數(shù)據(jù)中心建設(shè)項(xiàng)目。水務(wù)行業(yè)數(shù)字化轉(zhuǎn)型進(jìn)入新的發(fā)展階段。本文結(jié)合國內(nèi)水務(wù)企業(yè)開展水務(wù)系統(tǒng)數(shù)據(jù)管理面臨的挑戰(zhàn)和存在的主要問題,進(jìn)行分析探討,提出城鎮(zhèn)水務(wù)系統(tǒng)數(shù)據(jù)管理體系構(gòu)建模式,闡述數(shù)據(jù)管理的實(shí)施路徑和多場景應(yīng)用價值。本文可為水務(wù)企業(yè)數(shù)字化建設(shè)和發(fā)展提供參考和借鑒。
關(guān)鍵詞:城鎮(zhèn)水務(wù);智慧水務(wù);數(shù)據(jù)管理體系;數(shù)據(jù)治理
當(dāng)前我國正步入數(shù)字化發(fā)展新時期。習(xí)近平總書記指出,要充分發(fā)揮我國海量數(shù)據(jù)和豐富應(yīng)用場景優(yōu)勢,促進(jìn)數(shù)字技術(shù)與實(shí)體經(jīng)濟(jì)深度融合,賦能傳統(tǒng)產(chǎn)業(yè)轉(zhuǎn)型升級,催生新產(chǎn)業(yè)、新業(yè)態(tài)、新模式,不斷做強(qiáng)、做優(yōu)、做大我國數(shù)字經(jīng)濟(jì)。近年來,以數(shù)字技術(shù)為支撐、數(shù)據(jù)資源為關(guān)鍵要素的數(shù)字經(jīng)濟(jì)蓬勃興起,正在成為重塑各國經(jīng)濟(jì)競爭力和全球競爭格局的關(guān)鍵力量。數(shù)字經(jīng)濟(jì)發(fā)展的核心,是要充分發(fā)揮數(shù)據(jù)作為新型生產(chǎn)要素的重要作用。
我國智慧水務(wù)發(fā)展正處于由“業(yè)務(wù)數(shù)據(jù)化”逐步轉(zhuǎn)為“數(shù)據(jù)業(yè)務(wù)化”的過渡階段。多數(shù)水司已經(jīng)完成了水務(wù)系統(tǒng)信息化基礎(chǔ)建設(shè)、基于網(wǎng)絡(luò)和物聯(lián)感知的系統(tǒng)平臺建設(shè),實(shí)現(xiàn)了建設(shè)營收、GIS、SCADA 等MIS系統(tǒng)為主的業(yè)務(wù)數(shù)據(jù)化,逐步轉(zhuǎn)變?yōu)橐詳?shù)據(jù)治理和管理為主的數(shù)據(jù)業(yè)務(wù)化。對于水務(wù)企業(yè)而言,水務(wù)系統(tǒng)的數(shù)字化發(fā)展可以提升水務(wù)管理的精細(xì)化,為智慧化發(fā)展奠定良好的基礎(chǔ),提升水務(wù)企業(yè)社會服務(wù)能力,并成為未來市場競爭的核心基礎(chǔ)資源。經(jīng)過近些年的發(fā)展,水務(wù)系統(tǒng)的大數(shù)據(jù)管理已經(jīng)初步形成了一個較為完整的產(chǎn)業(yè)鏈,包括數(shù)據(jù)采集、整理、傳輸、存儲、分析、呈現(xiàn)和應(yīng)用。眾多企業(yè)開始參與到大數(shù)據(jù)產(chǎn)業(yè)鏈中,并形成了一定的產(chǎn)業(yè)規(guī)模。水務(wù)企業(yè)也不斷加大數(shù)據(jù)收集、管理、應(yīng)用的投入力度,逐步形成數(shù)據(jù)分析、數(shù)據(jù)診斷、數(shù)據(jù)決策的大數(shù)據(jù)發(fā)展生態(tài)。
1 城鎮(zhèn)水務(wù)系統(tǒng)數(shù)據(jù)管理面臨的挑戰(zhàn)
水務(wù)企業(yè)面向海量基礎(chǔ)數(shù)據(jù),其工作重心逐步由“注重數(shù)據(jù)生產(chǎn)和收集”轉(zhuǎn)為“注重數(shù)據(jù)資源管理和數(shù)據(jù)資產(chǎn)化”。但是,在數(shù)據(jù)管理和應(yīng)用過程中,很多企業(yè)面臨巨大挑戰(zhàn),主要包括以下幾個方面:
(1)數(shù)據(jù)種類多。水務(wù)數(shù)據(jù)的來源多樣,包括了勘測、規(guī)劃、設(shè)計、施工、管理等多種渠道的數(shù)據(jù)源。同時,其形式多樣,包括了水務(wù)企業(yè)長期積累的結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)和大量非結(jié)構(gòu)化數(shù)據(jù)。一個公司的數(shù)據(jù)量級通常在數(shù)百TB或PB以上,并且隨著各工作環(huán)節(jié)和應(yīng)用領(lǐng)域的信息化程度不斷增加、監(jiān)測密度及指標(biāo)不斷提升、數(shù)據(jù)增加速度不斷加快,數(shù)據(jù)量呈現(xiàn)持續(xù)高速增長態(tài)勢。
(2)數(shù)據(jù)質(zhì)量差。水務(wù)企業(yè)的數(shù)據(jù)管理,數(shù)據(jù)質(zhì)量差是一個非常嚴(yán)重的問題。水務(wù)企業(yè)大多已歷經(jīng)十余年的信息化建設(shè),系統(tǒng)中已存儲了海量數(shù)據(jù),包括客戶信息、水表信息、歷史水量、水質(zhì)、水壓數(shù)據(jù)等。其中一些系統(tǒng)數(shù)據(jù)年代久遠(yuǎn),標(biāo)準(zhǔn)化程度不高,改造成本大,給數(shù)據(jù)集成應(yīng)用帶來很大困難。如果數(shù)據(jù)質(zhì)量達(dá)不到要求,則會導(dǎo)致水務(wù)企業(yè)對業(yè)務(wù)管理的評估和預(yù)測不準(zhǔn)確,甚至?xí)?dǎo)致整個系統(tǒng)決策失敗。
(3)數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一。水務(wù)信息化發(fā)展的初期階段,水務(wù)企業(yè)不同部門的信息化系統(tǒng)分散管理和無序開發(fā),數(shù)據(jù)采集和管理難以在標(biāo)準(zhǔn)和規(guī)則層面達(dá)成一致,致使數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一,跨部門信息共享困難。且由于缺乏統(tǒng)一標(biāo)準(zhǔn)和數(shù)據(jù)關(guān)聯(lián),大量的數(shù)據(jù)清洗依靠人為判斷,數(shù)據(jù)清洗難度大、風(fēng)險高。另外,由于業(yè)務(wù)分散在多個部門,信息系統(tǒng)功能重疊,數(shù)據(jù)重復(fù)錄入,數(shù)據(jù)冗余問題嚴(yán)重,數(shù)據(jù)使用效率低下。
(4)決策支持作用不足。一些企業(yè)智慧水務(wù)建設(shè)由于缺乏頂層設(shè)計和總體部署,決策層、管理層和業(yè)務(wù)層等不同層級對數(shù)據(jù)管理缺少完整、統(tǒng)一的思路。智慧水務(wù)初期發(fā)展階段的系統(tǒng)平臺缺少有效的數(shù)據(jù)挖掘與分析功能,導(dǎo)致數(shù)據(jù)過于死板僵化,難以發(fā)揮數(shù)據(jù)對業(yè)務(wù)管理的追溯,無法對現(xiàn)在及未來的業(yè)務(wù)管理進(jìn)行指導(dǎo),對水務(wù)企業(yè)的業(yè)務(wù)管控和決策分析的支撐效果不明顯。
2 城鎮(zhèn)水務(wù)系統(tǒng)數(shù)據(jù)管理體系構(gòu)建模式
城鎮(zhèn)水務(wù)系統(tǒng)數(shù)據(jù)管理體系是對水務(wù)企業(yè)海量數(shù)據(jù)進(jìn)行管理的一種工作手段。通過數(shù)據(jù)管理體系的構(gòu)建,可以匯聚城鎮(zhèn)水系統(tǒng)全過程、全要素的各個主題領(lǐng)域內(nèi)的數(shù)據(jù),形成統(tǒng)一集中的數(shù)據(jù)資源中心,并對數(shù)據(jù)資源進(jìn)行有效治理和管理,同時充分利用大數(shù)據(jù)分析等技術(shù),挖掘數(shù)據(jù)價值,服務(wù)于水務(wù)企業(yè)的管控、決策、生產(chǎn)、運(yùn)營、客服等各個環(huán)節(jié)。
2.1 城鎮(zhèn)水務(wù)數(shù)據(jù)管理體系
城鎮(zhèn)水務(wù)數(shù)據(jù)管理體系主要包含數(shù)據(jù)抽取、數(shù)據(jù)存儲、數(shù)據(jù)挖掘、數(shù)據(jù)管理、數(shù)據(jù)可視化和智能算法六部分內(nèi)容。
2.2.1 數(shù)據(jù)抽取
數(shù)據(jù)抽取是數(shù)據(jù)管理體系構(gòu)建的重要一環(huán),運(yùn)用數(shù)據(jù)提取工具,從數(shù)據(jù)源抽取出所需的數(shù)據(jù),經(jīng)過數(shù)據(jù)處理,最終按照預(yù)先定義好的數(shù)據(jù)模型,將數(shù)據(jù)加載到大數(shù)據(jù)中心中去,從而實(shí)現(xiàn)以下功能:對不同來源不同種類的數(shù)據(jù)進(jìn)行融合;針對數(shù)據(jù)進(jìn)行清洗加工,形成主題庫;把數(shù)據(jù)分析能力作為服務(wù)提供給上層應(yīng)用。
2.2.2 數(shù)據(jù)存儲
數(shù)據(jù)存儲建議采用分布式文件系統(tǒng),相較于傳統(tǒng)的存儲方式,成本更低,且具備良好的擴(kuò)展性、安全性和可靠性,能夠滿足數(shù)據(jù)平臺海量的存儲需求。大數(shù)據(jù)中心能夠?qū)鹘y(tǒng)的結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)和非結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)相結(jié)合,滿足數(shù)據(jù)存儲和處理的靈活性,實(shí)現(xiàn)對海量數(shù)據(jù)的存儲與計算分析。
2.2.3 數(shù)據(jù)挖掘
數(shù)據(jù)挖掘技術(shù)可提供多種監(jiān)督和非監(jiān)督學(xué)習(xí)算法,應(yīng)用于結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),如聚類、主成分分析、線性和非線性回歸、邏輯回歸、分位數(shù)回歸、決策樹、隨機(jī)森林、梯度提升、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、因子分解機(jī)等。數(shù)據(jù)挖掘過程中,可通過圖論和網(wǎng)絡(luò)分析算法進(jìn)行數(shù)據(jù)拓展,通過交互式界面進(jìn)行模型創(chuàng)建。數(shù)據(jù)挖掘技術(shù),能夠完成數(shù)據(jù)融合匯聚,通過數(shù)據(jù)挖掘建模和深度學(xué)習(xí)框架,讓系統(tǒng)具有“自己思考”能力,形成具有智慧決策的人工智能大腦。
2.2.4 數(shù)據(jù)管理
通過抽取、存儲和挖掘后的海量數(shù)據(jù),需要通過科學(xué)的數(shù)據(jù)管理,使之能夠更好地服務(wù)于水務(wù)生產(chǎn)及業(yè)務(wù)決策。數(shù)據(jù)管理主要包括數(shù)據(jù)分類、數(shù)據(jù)服務(wù)和數(shù)據(jù)接口管理等。數(shù)據(jù)分類主要包括對元數(shù)據(jù)、主數(shù)據(jù)及不同類型數(shù)據(jù)交換的管理;數(shù)據(jù)服務(wù)是基于數(shù)據(jù)形態(tài)演變的一種信息技術(shù)驅(qū)動服務(wù),包括數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲、數(shù)據(jù)處理(包括計算、分析、可視化等)、數(shù)據(jù)交換、數(shù)據(jù)銷毀等。數(shù)據(jù)接口管理可對數(shù)據(jù)接口進(jìn)行定義、配置、查詢、授權(quán)等操作,管理所有的業(yè)務(wù)接口,實(shí)時增加或者刪減服務(wù)器,并對單個服務(wù)器的接口服務(wù)進(jìn)行配置,向外提供優(yōu)質(zhì)的數(shù)據(jù)接口服務(wù)等。
2.2.5 數(shù)據(jù)可視化
數(shù)據(jù)可視化及交互技術(shù),主要是利用二維、三維地圖引擎、時空分析引擎、圖文交互引擎等,實(shí)現(xiàn)人機(jī)交互界面的可視化。該技術(shù)通過有效融合計算機(jī)的計算能力和人的認(rèn)知能力,獲得對于大規(guī)模復(fù)雜數(shù)據(jù)集的洞察力,從而實(shí)現(xiàn)多維數(shù)據(jù)管理、多維數(shù)據(jù)分析、多維數(shù)據(jù)展現(xiàn)等功能,為數(shù)據(jù)分析的實(shí)效性提供強(qiáng)有力的保證。
2.2.6 數(shù)據(jù)智能算法
基于大數(shù)據(jù)的人工智能技術(shù),可對數(shù)據(jù)資源進(jìn)行深層次的分析和挖掘,在智慧客服、故障診斷、工藝調(diào)控、設(shè)備管控等方面做出更準(zhǔn)確的預(yù)測和判斷,輔助管理層進(jìn)行科學(xué)決策。通過基礎(chǔ)算法庫、組合算法庫和定制算法庫等 AI 算法庫的建立,靈活運(yùn)用多種類型智能算法,構(gòu)建數(shù)據(jù)模型,如分區(qū)計量數(shù)據(jù)模型、管道泄漏定位模型、用水量實(shí)時預(yù)測模型、智能加藥模型等,加強(qiáng)工況預(yù)測、優(yōu)化工藝調(diào)控,提高水務(wù)管理水平。
2.2 城鎮(zhèn)水務(wù)數(shù)據(jù)管理體系平臺架構(gòu)
圖1 城鎮(zhèn)水務(wù)數(shù)據(jù)管理體系平臺架構(gòu)圖
城鎮(zhèn)水務(wù)系統(tǒng)數(shù)據(jù)管理體系平臺,其功能為向下接入業(yè)務(wù)系統(tǒng)數(shù)據(jù),向上對業(yè)務(wù)應(yīng)用系統(tǒng)提供數(shù)據(jù)支持,中間為大數(shù)據(jù)中心核心能力支持。其架構(gòu)主要包含數(shù)據(jù)接入層、數(shù)據(jù)加工層和數(shù)據(jù)服務(wù)層。其中,數(shù)據(jù)接入層負(fù)責(zé)從各業(yè)務(wù)系統(tǒng)及數(shù)據(jù)源頭接入數(shù)據(jù),數(shù)據(jù)加工層負(fù)責(zé)對接入的數(shù)據(jù)進(jìn)行數(shù)據(jù)治理及加工處理,數(shù)據(jù)服務(wù)層負(fù)責(zé)將加工好的數(shù)據(jù)提供給各應(yīng)用系統(tǒng)。城鎮(zhèn)水務(wù)數(shù)據(jù)管理體系平臺架構(gòu)圖,如圖 1 所示。
2.3 城鎮(zhèn)水務(wù)數(shù)據(jù)管理體系構(gòu)建重點(diǎn)任務(wù)
為了做好對城鎮(zhèn)水務(wù)智慧管理系統(tǒng)的應(yīng)的支撐,數(shù)據(jù)管理體系建設(shè)的重點(diǎn)任務(wù)主要包括:標(biāo)準(zhǔn)中心、應(yīng)用中心、大數(shù)據(jù)中心、能力共享中心、物聯(lián)感知中心以及資源中心等六大板塊。其中,大數(shù)據(jù)中心作為核心組成部分,與其他各板塊有機(jī)緊密結(jié)合。標(biāo)準(zhǔn)中心確保大數(shù)據(jù)中心獲取規(guī)范統(tǒng)一的標(biāo)準(zhǔn)化數(shù)據(jù);應(yīng)用中心、能力中心和物聯(lián)感知中心分別向大數(shù)據(jù)中心提供應(yīng)用系統(tǒng)、生產(chǎn)監(jiān)測、事件等場景實(shí)時數(shù)據(jù);大數(shù)據(jù)中心則向其他板塊提供統(tǒng)一的數(shù)據(jù)服務(wù)、主數(shù)據(jù)管理等功能。各板塊的邏輯關(guān)系,如圖 2 所示。
圖2 城鎮(zhèn)水務(wù)系統(tǒng)數(shù)據(jù)管理體系建設(shè)重點(diǎn)任務(wù)
3 城鎮(zhèn)水務(wù)系統(tǒng)數(shù)據(jù)管理體系建設(shè)實(shí)施路徑
科學(xué)的實(shí)施路徑是保障城鎮(zhèn)水務(wù)數(shù)據(jù)管理體系建設(shè)的必要條件。不同水務(wù)企業(yè)數(shù)據(jù)基礎(chǔ)不同,需求也有所差異。因此,水務(wù)企業(yè)在構(gòu)建數(shù)據(jù)管理體系時,需要結(jié)合企業(yè)自身實(shí)際情況,進(jìn)行頂層設(shè)計和系統(tǒng)部署。但是總體而言,數(shù)據(jù)管理體系的建設(shè),需要注重摸現(xiàn)狀、理需求、繪藍(lán)圖、定設(shè)計、制標(biāo)準(zhǔn)、搭基座、治數(shù)據(jù)、建數(shù)倉、布應(yīng)用、守運(yùn)營這 10 項(xiàng)工作內(nèi)容。
3.1 摸現(xiàn)狀
在前期廣泛開展業(yè)務(wù)現(xiàn)狀調(diào)研的基礎(chǔ)上,通過對業(yè)務(wù)模式加以分析,結(jié)合數(shù)據(jù)管理成熟度評價指標(biāo)與評估模型,評估水務(wù)企業(yè)數(shù)據(jù)資產(chǎn)管理現(xiàn)狀。其中,數(shù)據(jù)管理成熟度評估可參考《數(shù)據(jù)管理能力成熟度評估模型》(GB/T 36073-2018)。評估內(nèi)容主要包括數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治理、數(shù)據(jù)架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)應(yīng)用、數(shù)據(jù)生命周期管理等。通過對系統(tǒng)數(shù)據(jù)管理成熟度評估,評判企業(yè)數(shù)據(jù)管理能力水平,發(fā)現(xiàn)存在的主要問題,明確未來數(shù)據(jù)管理能力提升的路徑。
3.2 理需求
水務(wù)企業(yè)在數(shù)據(jù)管理體系構(gòu)建過程中,面向眾多業(yè)務(wù)方向,需同時結(jié)合“自上而下”和“自下而上”的建設(shè)思路,理清業(yè)務(wù)架構(gòu),掌握業(yè)務(wù)痛點(diǎn),確定業(yè)務(wù)范圍,明確建設(shè)程度。具體需要明確的內(nèi)容包括數(shù)據(jù)范圍、硬件資源數(shù)量、數(shù)據(jù)標(biāo)準(zhǔn)數(shù)量、平臺集群規(guī)模、數(shù)據(jù)治理范圍、數(shù)據(jù)倉庫范圍、數(shù)據(jù)應(yīng)用類型等。數(shù)據(jù)管理的核心是數(shù)據(jù)應(yīng)用,這項(xiàng)工作是為業(yè)務(wù)管理進(jìn)行服務(wù)的,也是數(shù)據(jù)管理體系建設(shè)工作獲得投資回報的最重要途徑。因此,其他數(shù)據(jù)建設(shè)內(nèi)容都是在為數(shù)據(jù)應(yīng)用提供支撐。
3.3 繪藍(lán)圖
數(shù)據(jù)管理體系建設(shè)是一項(xiàng)周期長、投入大、實(shí)施復(fù)雜的工程,需要進(jìn)行全盤考慮,做好整體規(guī)劃設(shè)計。水務(wù)企業(yè)可以大數(shù)據(jù)中心建設(shè)為核心內(nèi)容,在此基礎(chǔ)上,逐步建設(shè)管理管控業(yè)務(wù)平臺、營銷客服業(yè)務(wù)平臺、生產(chǎn)運(yùn)營業(yè)務(wù)集成管理平臺等其他業(yè)務(wù)平臺。大數(shù)據(jù)平臺的建設(shè),可實(shí)現(xiàn)對各條業(yè)務(wù)線的基礎(chǔ)數(shù)據(jù)、財務(wù)、人力、物資、資產(chǎn)設(shè)備等進(jìn)行集中管控、統(tǒng)一授權(quán),并通過直觀的展現(xiàn)方式,讓不同層級的管理人員得到不同的管控指標(biāo)及管控信息。
3.4 定設(shè)計
在以上各項(xiàng)工作基礎(chǔ)上,數(shù)據(jù)管理體系建設(shè)的目標(biāo)、要求和總體架構(gòu)已經(jīng)基本清晰明確。水務(wù)企業(yè)管理層和信息化技術(shù)人員共同商討,確定數(shù)據(jù)管理體系和大數(shù)據(jù)平臺的設(shè)計方案。方案可包含數(shù)據(jù)管理體系建設(shè)實(shí)施方案、大數(shù)據(jù)平臺規(guī)劃設(shè)計方案、數(shù)據(jù)倉庫構(gòu)建模式,數(shù)據(jù)支撐業(yè)務(wù)范圍和內(nèi)容,數(shù)據(jù)應(yīng)用場景等等。設(shè)計方案和實(shí)施方案,是水務(wù)企業(yè)數(shù)據(jù)管理、數(shù)據(jù)治理、系統(tǒng)平臺開發(fā)等各項(xiàng)智慧水務(wù)建設(shè)的總體綱領(lǐng),長期指導(dǎo)水務(wù)企業(yè)的數(shù)字化建設(shè)和管理工作。
3.5 制標(biāo)準(zhǔn)
水務(wù)企業(yè)在數(shù)據(jù)管理體系構(gòu)建過程中,應(yīng)該采納行業(yè)內(nèi)部通識的數(shù)據(jù)標(biāo)準(zhǔn),或建立企業(yè)自身的數(shù)據(jù)標(biāo)準(zhǔn)體系。數(shù)據(jù)標(biāo)準(zhǔn)一般包括基礎(chǔ)標(biāo)準(zhǔn)、業(yè)務(wù)體系標(biāo)準(zhǔn)、應(yīng)用體系標(biāo)準(zhǔn)、數(shù)據(jù)資源標(biāo)準(zhǔn)、IT 基礎(chǔ)設(shè)施標(biāo)準(zhǔn)、信息安全標(biāo)準(zhǔn)、信息化管理標(biāo)準(zhǔn)和系統(tǒng)評價標(biāo)準(zhǔn)等。標(biāo)準(zhǔn)建設(shè)可促進(jìn)智慧水務(wù)建設(shè)按照一定模式有序進(jìn)行,對大量的看似無序的數(shù)據(jù)資源進(jìn)行提前約定,從而消除數(shù)據(jù)孤島,并在一定程度上避免投資浪費(fèi),使數(shù)據(jù)資源具有可持續(xù)發(fā)展的生命力。
3.6 搭基座
采用成熟的商用大數(shù)據(jù)平臺軟件、主流的大數(shù)據(jù)技術(shù)手段或工具,如HDFS、HBase、Hive等,通過多模塊、多組件搭建大數(shù)據(jù)平臺,作為整個數(shù)據(jù)管理體系的基礎(chǔ)底座。數(shù)據(jù)存儲可采用基于分布式存儲方式,支持水平擴(kuò)容,支持多種存儲數(shù)據(jù)類型。數(shù)據(jù)平臺提供結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的存儲解決方案。前期架構(gòu)設(shè)計應(yīng)能夠?qū)崿F(xiàn)數(shù)據(jù)整合、存儲、計算、分析等多種功能。在此基礎(chǔ)上配置數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)等模塊。另外,數(shù)據(jù)平臺基座也可借助云平臺進(jìn)行靈活部署。云平臺的應(yīng)用可有效應(yīng)對突發(fā)狀況下計算能力不足的問題,保障數(shù)據(jù)管理系統(tǒng)安全穩(wěn)定運(yùn)行。
3.7 治數(shù)據(jù)
數(shù)據(jù)治理包括數(shù)據(jù)管控機(jī)制和管控手段兩大模塊。管控機(jī)制由管控組織、管控政策、管控流程及技術(shù)支撐四個方面組成。管控手段指實(shí)施數(shù)據(jù)治理所采取的技術(shù)手段,包括數(shù)據(jù)架構(gòu)、主數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等。數(shù)據(jù)治理主要是通過組織、管理、技術(shù)三者相互協(xié)作,提高數(shù)據(jù)質(zhì)量,保證數(shù)據(jù)安全性、保密性、完整性和可用性,實(shí)現(xiàn)數(shù)據(jù)資源在各單位的共享,推進(jìn)數(shù)據(jù)資源的整合、對接和共享,從而提升水務(wù)企業(yè)信息化水平。
3.8 建數(shù)倉
數(shù)據(jù)倉庫是指對各類數(shù)據(jù)資源進(jìn)行集中、集成、共享、分析的場地。數(shù)據(jù)倉庫是數(shù)據(jù)中心的核心組成部分,具備數(shù)據(jù)抽取、轉(zhuǎn)換與加載能力,能夠高效地將前端業(yè)務(wù)分析所需的各類數(shù)據(jù)移動到數(shù)據(jù)倉庫內(nèi),根據(jù)預(yù)先制定的業(yè)務(wù)規(guī)則對數(shù)據(jù)進(jìn)行處理轉(zhuǎn)換使其符合目標(biāo)數(shù)據(jù)格式,并根據(jù)前端展現(xiàn)需求提供高性能數(shù)據(jù)加載機(jī)制。通過數(shù)據(jù)倉庫,幫助水務(wù)企業(yè)實(shí)現(xiàn)按業(yè)務(wù)主題進(jìn)行數(shù)據(jù)集中存儲,完成對分散數(shù)據(jù)的集成整合工作,形成企業(yè)內(nèi)部“唯一事實(shí)”。
3.9 布應(yīng)用
智慧水務(wù)系統(tǒng)的應(yīng)用場景包括安全保障、管理增效、優(yōu)質(zhì)服務(wù)、節(jié)能降耗、企業(yè)形象、管理創(chuàng)新、應(yīng)急指揮、智能決策等多個方向,內(nèi)容涉及水廠、管網(wǎng)、水環(huán)境、客戶服務(wù)等多個領(lǐng)域。智慧水務(wù)建設(shè),應(yīng)面向各類應(yīng)用場景,基于大數(shù)據(jù)中心數(shù)據(jù)治理和管理,開展系統(tǒng)平臺建設(shè)。不同的應(yīng)用系統(tǒng)平臺與大數(shù)據(jù)平臺進(jìn)行深度數(shù)據(jù)交換,進(jìn)行分析和模擬。平臺建設(shè)的出發(fā)點(diǎn),要以數(shù)據(jù)驅(qū)動的精細(xì)化管理為目標(biāo),提升運(yùn)營效率,預(yù)見潛在風(fēng)險。
3.10 守運(yùn)營
數(shù)據(jù)管理體系和大數(shù)據(jù)中心建設(shè)完成后,需要保持?jǐn)?shù)據(jù)的持續(xù)更新,并確保數(shù)據(jù)的真實(shí)、穩(wěn)定、準(zhǔn)確、可用和高效,以實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)價值最大化。在數(shù)據(jù)中心運(yùn)營管理過程中,工作人員需定期檢查數(shù)據(jù)資產(chǎn)當(dāng)前的狀態(tài),尤其是數(shù)據(jù)質(zhì)量和安全情況,如更新頻率、合規(guī)性、空值率等;同時,從數(shù)據(jù)采集到數(shù)據(jù)應(yīng)用,對數(shù)據(jù)管理全過程進(jìn)行監(jiān)控,及時發(fā)現(xiàn)和排除故障,保障數(shù)據(jù)資產(chǎn)的穩(wěn)定性。