導(dǎo)語：大數(shù)據(jù)時(shí)資統(tǒng)計(jì)數(shù)據(jù)處理探究一文來源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

【摘要】當(dāng)前隨著國(guó)際競(jìng)爭(zhēng)日益激烈，新形勢(shì)下各行各業(yè)發(fā)展都面臨著諸多的挑戰(zhàn)，市場(chǎng)環(huán)境具有不可預(yù)測(cè)性，統(tǒng)計(jì)數(shù)據(jù)信息變得更加重要。大數(shù)據(jù)時(shí)代的到來為統(tǒng)計(jì)工作提供了強(qiáng)大的技術(shù)支持，與此同時(shí)數(shù)據(jù)更新速度不斷加快，數(shù)據(jù)類型日益多樣化，處理難度也越來越大，增加了統(tǒng)計(jì)工作難度。本文著重研究了投資統(tǒng)計(jì)大數(shù)據(jù)相關(guān)的處理關(guān)鍵技術(shù)，以供參考。

【關(guān)鍵詞】投資統(tǒng)計(jì);大數(shù)據(jù);處理;關(guān)鍵技術(shù);分析

大數(shù)據(jù)時(shí)代背景下，促使信息生成、傳播效率不斷提升，越來越多的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的出現(xiàn)，增加了統(tǒng)計(jì)工作難度。統(tǒng)計(jì)數(shù)據(jù)在投資領(lǐng)域具有重要的參考價(jià)值，如果不能保證統(tǒng)計(jì)數(shù)據(jù)的權(quán)威性，統(tǒng)計(jì)信息不對(duì)稱，將會(huì)影響投資決策的成敗。加強(qiáng)投資統(tǒng)計(jì)大數(shù)據(jù)處理關(guān)鍵技術(shù)分析，有助于積累更多的統(tǒng)計(jì)數(shù)據(jù)處理經(jīng)驗(yàn)，從而引導(dǎo)相關(guān)行業(yè)領(lǐng)域的人士提高投資決策的科學(xué)性，獲得更大的收益。

一、加強(qiáng)投資統(tǒng)計(jì)大數(shù)據(jù)關(guān)鍵處理技術(shù)研究的重要意義

大數(shù)據(jù)時(shí)代背景下數(shù)據(jù)類型日益多元化，數(shù)據(jù)具有應(yīng)用價(jià)值大、數(shù)量多、速度更新快的特點(diǎn)，這對(duì)于投資統(tǒng)計(jì)數(shù)據(jù)處理技術(shù)也提出了新的挑戰(zhàn)。投資統(tǒng)計(jì)是指搜集、整理、分析和應(yīng)用的數(shù)據(jù)，目前國(guó)家金融體制改革進(jìn)程有序推進(jìn)，為了更好地提高投資統(tǒng)計(jì)的科學(xué)性和準(zhǔn)確性，就需要結(jié)合實(shí)際形勢(shì)，深入研究投資統(tǒng)計(jì)大數(shù)據(jù)關(guān)鍵處理技術(shù)，這樣才能對(duì)海量的數(shù)據(jù)進(jìn)行實(shí)時(shí)動(dòng)態(tài)多元化處理，全面有效分析統(tǒng)計(jì)數(shù)據(jù)背后的規(guī)律，提高投資統(tǒng)計(jì)數(shù)據(jù)處理水平，進(jìn)而為國(guó)家有關(guān)部門和行業(yè)決策提供基本參考支持，也有助于推動(dòng)國(guó)家整體金融市場(chǎng)良性有序發(fā)展。

二、投資統(tǒng)計(jì)大數(shù)據(jù)基本特征分析

在投資系統(tǒng)中數(shù)據(jù)通?？梢苑殖扇N類型，主要涉及項(xiàng)目投資管理數(shù)據(jù)、聯(lián)網(wǎng)直報(bào)房地產(chǎn)投資數(shù)據(jù)、規(guī)下投資抽樣數(shù)據(jù)。此外還可以根據(jù)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)將投資系統(tǒng)數(shù)據(jù)分成結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩大類型，前者主要是通過統(tǒng)計(jì)系統(tǒng)企業(yè)的原始數(shù)據(jù)應(yīng)用二維表形式展現(xiàn)的數(shù)據(jù)，后者主要是指不能以二維表形式來展現(xiàn)的數(shù)據(jù)，其中包含文本、音頻、視頻、圖片等多種類型的數(shù)據(jù)樣式。投資統(tǒng)計(jì)大數(shù)據(jù)可以借助遙感技術(shù)、地理信息系統(tǒng)技術(shù)等進(jìn)行動(dòng)態(tài)監(jiān)測(cè)，實(shí)時(shí)掌握相關(guān)的數(shù)據(jù)，進(jìn)而與投資統(tǒng)計(jì)業(yè)務(wù)進(jìn)行關(guān)聯(lián)性研究。一方面既要對(duì)投資統(tǒng)計(jì)系統(tǒng)運(yùn)行情況進(jìn)行定位，每月定期生成相關(guān)的投資統(tǒng)計(jì)數(shù)據(jù)，另一方面又要借助PDA設(shè)備等及時(shí)搜集對(duì)投資統(tǒng)計(jì)項(xiàng)目樣本點(diǎn)的變動(dòng)情況進(jìn)行動(dòng)態(tài)采集，此外還要對(duì)投資統(tǒng)計(jì)系統(tǒng)運(yùn)行中的與重大項(xiàng)目投資進(jìn)度相關(guān)的以及與住建、發(fā)改、稅務(wù)、工商等相關(guān)部門相關(guān)聯(lián)的數(shù)據(jù)進(jìn)行共享分析和比對(duì)，進(jìn)而提高投資統(tǒng)計(jì)數(shù)據(jù)綜合管理效能。投資統(tǒng)計(jì)大數(shù)據(jù)具有典型的獨(dú)特的特征，主要體現(xiàn)在以下幾個(gè)方面:1．?dāng)?shù)據(jù)量日益龐大。大數(shù)據(jù)時(shí)代的到來信息的生成、變化速度越來越快，投資統(tǒng)計(jì)數(shù)據(jù)逐漸從TB級(jí)升級(jí)到PB級(jí)。2．?dāng)?shù)據(jù)類型日益多樣化。目前各級(jí)有關(guān)部門對(duì)投資統(tǒng)計(jì)數(shù)據(jù)的關(guān)注度越來越高，需求越來越準(zhǔn)，所以需要對(duì)統(tǒng)計(jì)數(shù)據(jù)進(jìn)行全方位的分析和研究，才能更好地滿足現(xiàn)實(shí)要求，提高投資數(shù)據(jù)綜合利用價(jià)值。3．投資統(tǒng)計(jì)數(shù)據(jù)利用度不高。投資統(tǒng)計(jì)數(shù)據(jù)的采集是一個(gè)動(dòng)態(tài)的過程，收集的數(shù)據(jù)量非常大，通過運(yùn)用相關(guān)的監(jiān)測(cè)技術(shù)可以對(duì)重大投資項(xiàng)目過程相關(guān)的數(shù)據(jù)進(jìn)行監(jiān)測(cè)，雖然數(shù)據(jù)收集的很多，但是很多數(shù)據(jù)往往都屬于正常范圍，只有少量的有用的數(shù)據(jù)出現(xiàn)異常，這些對(duì)于投資項(xiàng)目影響較大，所以需要對(duì)這些數(shù)據(jù)進(jìn)行進(jìn)一步的精細(xì)化處理，檢驗(yàn)數(shù)據(jù)是否正確、真實(shí)和有效，所以可利用的具有價(jià)值的數(shù)據(jù)往往所占的比重較小。4．投資統(tǒng)計(jì)數(shù)據(jù)處理效率要求不斷提高。新時(shí)期投資統(tǒng)計(jì)數(shù)據(jù)變化越來越快，所以對(duì)數(shù)據(jù)投資的速度要求也越來越高，需要借助新型計(jì)算機(jī)、云技術(shù)等在短時(shí)間內(nèi)快速完成數(shù)據(jù)處理和分析，才能更好地體現(xiàn)投資統(tǒng)計(jì)數(shù)據(jù)的價(jià)值，更好地發(fā)揮應(yīng)有的功能。

三、投資統(tǒng)計(jì)大數(shù)據(jù)處理關(guān)鍵技術(shù)具體分析

投資統(tǒng)計(jì)大數(shù)據(jù)處理，需要加強(qiáng)技術(shù)攻關(guān)，從數(shù)據(jù)采集、傳輸、存儲(chǔ)到處理分析等各個(gè)環(huán)節(jié)都需要應(yīng)有很多的技術(shù)和方法，才能確保環(huán)環(huán)相扣，不斷提高投資統(tǒng)計(jì)效率和質(zhì)量，具體每個(gè)環(huán)節(jié)涉及到的關(guān)鍵技術(shù)主要有:1．大數(shù)據(jù)采集技術(shù)。數(shù)據(jù)采集是投資統(tǒng)計(jì)管理體系中最基礎(chǔ)的部分和單元，通過借助相關(guān)的技術(shù)對(duì)各類數(shù)據(jù)端口進(jìn)行采集，才能確保數(shù)據(jù)的完整性。大數(shù)據(jù)的采集通常會(huì)涉及到很多數(shù)據(jù)庫(kù)同時(shí)接收相關(guān)的數(shù)據(jù)，采集的難點(diǎn)在于數(shù)據(jù)并發(fā)高，同時(shí)會(huì)有大量的數(shù)據(jù)訪問和操作，所以需要在數(shù)據(jù)采集端口有完善的采集技術(shù)來進(jìn)行支持，才能承載數(shù)據(jù)運(yùn)載負(fù)荷，保證數(shù)據(jù)盡可能全面有效地采集，采集技術(shù)目前主要是借助Google文件系統(tǒng)GFS技術(shù)，對(duì)空間范圍內(nèi)的各類數(shù)據(jù)進(jìn)行收集、整理，動(dòng)態(tài)監(jiān)控?cái)?shù)據(jù)的變化情況，并可以實(shí)現(xiàn)在橫向和縱向領(lǐng)域內(nèi)的動(dòng)態(tài)管控。目前在投資統(tǒng)計(jì)大數(shù)據(jù)采集階段，需要不斷加強(qiáng)技術(shù)攻關(guān)，未來信息的重要性更加凸顯，只有不斷提高數(shù)據(jù)采集能力，才能最大限度地發(fā)揮統(tǒng)計(jì)數(shù)據(jù)應(yīng)有的參考價(jià)值，從源頭上第一時(shí)間掌握相關(guān)的數(shù)據(jù)資源，提高最大化開發(fā)利用效能。2．大數(shù)據(jù)傳輸、存儲(chǔ)技術(shù)。目前投資統(tǒng)計(jì)系統(tǒng)應(yīng)用的數(shù)據(jù)聯(lián)網(wǎng)直報(bào)系統(tǒng)，通過構(gòu)建統(tǒng)一規(guī)范的數(shù)據(jù)聯(lián)網(wǎng)直報(bào)平臺(tái)，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)的動(dòng)態(tài)傳輸和存儲(chǔ)，確保各類原始數(shù)據(jù)能夠及時(shí)生成并傳送至相應(yīng)平臺(tái)進(jìn)行共享。隨著投資統(tǒng)計(jì)數(shù)據(jù)量不斷擴(kuò)大，需要對(duì)數(shù)據(jù)存儲(chǔ)和傳輸系統(tǒng)進(jìn)行不斷升級(jí)，否則會(huì)帶來一些隱患，降低處理效率，這就應(yīng)用到大數(shù)據(jù)傳輸與存儲(chǔ)技術(shù)，通常的處理手段是進(jìn)行數(shù)據(jù)壓縮，從而降低數(shù)據(jù)存儲(chǔ)空間，實(shí)現(xiàn)數(shù)據(jù)的快速傳輸。需要借助投資統(tǒng)計(jì)數(shù)據(jù)傳輸處理技術(shù)，構(gòu)建批量處理模型，解決系統(tǒng)資源占用空間較大、資源不能有效利用的問題，目前常用的處理技術(shù)是MapReduce批處理模型，可以實(shí)現(xiàn)在常規(guī)計(jì)算機(jī)平臺(tái)上的聯(lián)機(jī)處置，還可以進(jìn)行輸入數(shù)據(jù)分割，進(jìn)而實(shí)現(xiàn)計(jì)算機(jī)集群的統(tǒng)一調(diào)度，確保各個(gè)數(shù)據(jù)處理端口能夠保持聯(lián)通。數(shù)據(jù)從采集到傳輸，再到存儲(chǔ)，同樣需要依靠相應(yīng)的關(guān)鍵技術(shù)來進(jìn)行保存處理，目前比較普遍的存儲(chǔ)方式是分布式保存方式，這種保存方式比較可靠、安全，但是也會(huì)帶來一系列的問題，比如有些數(shù)據(jù)時(shí)刻在發(fā)生變化，時(shí)刻都在不斷產(chǎn)生，這對(duì)于數(shù)據(jù)存儲(chǔ)來說增加了難度，需要有相應(yīng)的技術(shù)對(duì)不同端口接收來的數(shù)據(jù)進(jìn)行處理，尤其是對(duì)于那些非結(jié)構(gòu)化數(shù)據(jù)，處理難度較大，占用時(shí)間長(zhǎng)，需要進(jìn)行快速分類和集約化處理并建立實(shí)施分類存儲(chǔ)機(jī)制，所以需要應(yīng)用到投資遙感監(jiān)測(cè)處理技術(shù)，針對(duì)容量較大的文件和容量較小的文件目前可以分別應(yīng)用GFS的分布式文件系統(tǒng)、Haystack系統(tǒng)來解決存儲(chǔ)問題。3．大數(shù)據(jù)實(shí)時(shí)處理技術(shù)。投資統(tǒng)計(jì)大數(shù)據(jù)，除了進(jìn)行采集和存儲(chǔ)傳輸以外，還要進(jìn)行實(shí)時(shí)動(dòng)態(tài)處理，處理能力直接決定了數(shù)據(jù)的應(yīng)用價(jià)值。目前常用的實(shí)時(shí)處理技術(shù)是云計(jì)算系統(tǒng)，該系統(tǒng)可以滿足常規(guī)的投資統(tǒng)計(jì)處理服務(wù)，但是在聯(lián)網(wǎng)直報(bào)高峰期，系統(tǒng)也會(huì)出現(xiàn)處理差錯(cuò)，降低處理效率和處理的準(zhǔn)確性。由于投資統(tǒng)計(jì)數(shù)類型多樣，計(jì)算過程比較復(fù)雜，數(shù)據(jù)轉(zhuǎn)化等方面也存在一些銜接的問題，統(tǒng)計(jì)指標(biāo)屬性不完整、數(shù)據(jù)錯(cuò)誤異常等情況處理等過程，都影響數(shù)據(jù)分析，所以需要構(gòu)建更加開放的分布式處理系統(tǒng)，才能實(shí)現(xiàn)大規(guī)模處理，目前開發(fā)的Sector廣域網(wǎng)分布式系統(tǒng)，可以針對(duì)不同數(shù)據(jù)進(jìn)行大規(guī)模集中處理、分割和轉(zhuǎn)交。4．大數(shù)據(jù)分析技術(shù)。在投資統(tǒng)計(jì)大數(shù)據(jù)處理分析方面，目前常用的技術(shù)是Bigtable分布式、按列存儲(chǔ)、多維表結(jié)構(gòu)的實(shí)時(shí)分布式數(shù)據(jù)庫(kù)，可以應(yīng)用SQL語言對(duì)數(shù)據(jù)進(jìn)行集中分析處理，還可以引入LOD技術(shù)實(shí)現(xiàn)可視化分析，該技術(shù)與常規(guī)的數(shù)據(jù)處理技術(shù)不同，可以針對(duì)不同類型的大數(shù)據(jù)，構(gòu)建數(shù)據(jù)采集環(huán)境，通過構(gòu)建平值法、平滑法、預(yù)測(cè)法和頻率統(tǒng)計(jì)法等統(tǒng)計(jì)數(shù)據(jù)相關(guān)模型實(shí)現(xiàn)數(shù)據(jù)的深度對(duì)比分析。

總之，投資統(tǒng)計(jì)大數(shù)據(jù)處理關(guān)鍵技術(shù)，對(duì)投資統(tǒng)計(jì)工作起到了強(qiáng)有力的支撐作用，未來隨著投資環(huán)境更加復(fù)雜，投資統(tǒng)計(jì)數(shù)據(jù)處理技術(shù)也將進(jìn)一步升級(jí)，為持續(xù)提升投資統(tǒng)計(jì)效能提供更大的支持。

【參考文獻(xiàn)】

［1］陳鵬，逯元堂，朱建華，張箏．中國(guó)現(xiàn)行環(huán)保投資統(tǒng)計(jì)口徑優(yōu)化研究［J］．生態(tài)經(jīng)濟(jì)，2017(07)

［2］廖加澤．投資統(tǒng)計(jì)大數(shù)據(jù)處理關(guān)鍵技術(shù)［J］．電子技術(shù)與軟件工程，2015(08)

［3］羅文晉．基于門限模型的量化投資統(tǒng)計(jì)套利策略研究［J］．廣東財(cái)經(jīng)大學(xué)，2016(11)

作者:林瑞振 單位:福建省泉州市泉港區(qū)統(tǒng)計(jì)局