|
海洋大數(shù)據(jù)分析技術(shù)現(xiàn)狀
海洋大數(shù)據(jù)從上游獲取后,在中游主要涉及存儲管理、挖掘及表達可視化等分析技術(shù)。
海洋大數(shù)據(jù)存儲管理。世界各主要海洋國家均有負責數(shù)據(jù)處理和管理的海洋數(shù)據(jù)中心。美國國家航空航天局(NASA)的地球觀測中心建立了地球觀測系統(tǒng)數(shù)據(jù)和信息系統(tǒng),存儲和管理全部數(shù)據(jù),采用的是分布式開放的系統(tǒng)架構(gòu);歐洲航天局(ESA)也建立了采取基于任務(wù)的分布式存儲的數(shù)據(jù)中心。中國目前海洋衛(wèi)星遙感數(shù)據(jù)的存儲采用由千兆交換機連接構(gòu)成的?NAS?(網(wǎng)絡(luò)接入存儲)三級存儲體系,主要采用磁盤陣列加光盤存儲的方式。國外的海洋大數(shù)據(jù)存儲采用了邏輯上集中,物理上分散的分布式服務(wù)器集群存儲架構(gòu);而國內(nèi)的海洋大數(shù)據(jù)還屬于地域上的集中式服務(wù)器存儲——隨著數(shù)據(jù)量的增長,在線存儲資源有限,難以實現(xiàn)在線存儲資源的動態(tài)擴展和靈活配置,離線數(shù)據(jù)獲取耗時,無法在線直接訪問任意數(shù)據(jù)。
海洋大數(shù)據(jù)挖掘分析。目前已有?MapReduce、Storm、StreamBase、Pregel?等先進的并行計算框架,且在各領(lǐng)域中得到廣泛應(yīng)用。海洋大數(shù)據(jù)在信息挖掘過程中也從傳統(tǒng)的經(jīng)驗?zāi)B(tài)正交法(EOF)發(fā)展到了具有時空解耦特性的四維諧波提取法(4D-HEM)。但是由于海洋大數(shù)據(jù)的時空耦合及地理關(guān)聯(lián)特性,導致傳統(tǒng)的數(shù)據(jù)挖掘算法無法有效地進行時空解耦與地理分解,使得挖掘算法成為海洋大數(shù)據(jù)科學全鏈條運轉(zhuǎn)環(huán)節(jié)中亟待改進與調(diào)整的重要屏障。
海洋大數(shù)據(jù)表達可視化。利用科學可視化技術(shù)展示海洋數(shù)據(jù)以及更進一步地利用可視化分析技術(shù)挖掘時空數(shù)據(jù)規(guī)律,是建立從感知到認知的關(guān)鍵技術(shù)橋梁。海洋矢量場可視化算法主要有圖表法、幾何法、紋理法、拓撲法等。標量場可視化算法在大規(guī)模體繪制、實時光照、多變量提特征提取、二維時空可視化等方面都取得了重要成果。但是隨著海洋數(shù)據(jù)體量的繼續(xù)增大,對可視化表達方式、處理效能等方面都提出了非常高的要求,需要一方面盡可能真實地反映數(shù)據(jù)的特性,另一方面充分提供系統(tǒng)的承載能力和處理能力,提高數(shù)據(jù)的更新和繪制能力。
縱觀國內(nèi)外海洋大數(shù)據(jù)的分析技術(shù)研究,中國在數(shù)據(jù)存儲管理及挖掘方面仍處于跟跑階段,但在可視化分析方面已實現(xiàn)并跑。
海洋大數(shù)據(jù)應(yīng)用現(xiàn)狀
海洋大數(shù)據(jù)的應(yīng)用主要為社會經(jīng)濟發(fā)展及氣候預測等提供決策支撐。目前,世界各國都在積極投入“數(shù)字海洋”的建設(shè),并為進一步建設(shè)“智慧海洋”平臺奠定基礎(chǔ),如美國和加拿大制定的“海王星”計劃、日本的“ARANA”計劃、非洲沿海?25?國的“非洲近海資源數(shù)據(jù)和網(wǎng)絡(luò)信息平臺”以及中國的“iOcean”平臺等。海洋大數(shù)據(jù)在氣候預警報決策支撐方面,主要是建立在高性能集群基礎(chǔ)上的完備數(shù)值預報體系。例如:美國大氣海洋局(NOAA)計劃在?2023?年推出?WoF(Warn-on-Forecast)系統(tǒng)。該系統(tǒng)可為美國及其臨近海域提供精細化天氣預報和災(zāi)害預警——美國本土計算網(wǎng)格大小精細至?3—10?km,全球區(qū)域內(nèi)網(wǎng)格精細至?15?km;該系統(tǒng)的計算需求高達?1?萬億億次。中國系列海洋衛(wèi)星產(chǎn)品在赤潮/綠潮監(jiān)測、海冰監(jiān)測、漁業(yè)生產(chǎn)和水質(zhì)調(diào)查等方面也得到了全面的業(yè)務(wù)化應(yīng)用。其中,HY-2?產(chǎn)品應(yīng)用于中國與歐盟的數(shù)值模式預報及多源融合產(chǎn)品中,而高分辨率海面溫度產(chǎn)品在馬航失聯(lián)客機海上搜救保障、極地大洋航線中提供了重要的支撐保障。
目前,海洋相關(guān)行業(yè)都在積極推動海洋大數(shù)據(jù)在行業(yè)中的應(yīng)用,關(guān)注海洋科學領(lǐng)域的新發(fā)現(xiàn)和新發(fā)明,并推動產(chǎn)業(yè)化落地。然而,行業(yè)應(yīng)用在大數(shù)據(jù)轉(zhuǎn)型中畢竟是個新形態(tài)、新過程,可以借鑒和參考的經(jīng)驗不多,海洋大數(shù)據(jù)應(yīng)用的行業(yè)落地過程還有不少問題需要解決。隨著大數(shù)據(jù)相關(guān)技術(shù)的研究不斷取得突破,傳統(tǒng)行業(yè)如何重新審視自己的發(fā)展戰(zhàn)略,積極拓展行業(yè)內(nèi)部(上、下游)之間、行業(yè)之間的數(shù)據(jù)更好地融合與利用是海洋大數(shù)據(jù)應(yīng)用中的一項挑戰(zhàn)。