時間：2023-06-06 09:01:29
開篇：寫作不僅是一種記錄，更是一種創造，它讓我們能夠捕捉那些稍縱即逝的靈感，將它們永久地定格在紙上。下面是小編精心整理的12篇大數據分析，希望這些內容能成為您創作過程中的良師益友，陪伴您不斷探索和進步。
近年來，業界、學術界興起了大數據討論，一夜間大數據時代到來了。大數據給學術界帶來了新的思潮，大數據正在顛覆著很多傳統行業的模式，帶來變革。有人預測，大數據必將成為商業、政府、科研、教育、醫療等各行業面臨的一個挑戰。在大數據時代，數據分析、數據挖掘工作面臨著機遇與挑戰，本文從數據分析的角度，結合國內外相關研究，試圖回答大數據是什么，如何應對大數據的問題。
一、認識大數據
（一）大數據的宗旨：經過分析的數據才有價值
大數據要發揮作用必須經過分析，這是由大數據的4V特性（數據量大、數據類型多、要求處理速度快、低密度）決定的。也就是說，數據都是高維、低密度的，從單個數據中難以看出規律。因此，必須經過分析，針對高維進行降維，提煉大量低密度信息中的價值，才能發揮作用。否則，大數據背景下，反而更容易使得“活”信息混跡在大量“死”數據中被淹沒。面向大數據的分析要“簡單、迅速、規模化”。
（二）大數據的目標：實現基于數據的決策與資源配置
大數據最終要實現科學決策，基于信息對稱的有效資源配置。隨著大數據分析技術的發展，可利用數據來源從線下封閉的數據庫、數據倉庫擴展到開放性的O2O（Online To Offline）融合數據，可分析數據結構從原來以數值為主的結構化數據發展到涵蓋文本、視頻、音頻等多媒體數據。從而，大數據將逐步改變我們的決策目標和社會資源配置方式。基于數據的科學決策是一貫追求的目標。然而，信息不對稱是常態，因此傳統決策目標是建立相對滿意而非最優（決策科學家Simon提出），資源配置效率基于市場優于基于計劃。大數據背景下，迅速獲取分析更多輔助決策信息成為可能，因此決策目標可實現向最優的無限逼近，實現基于數據的“計劃”資源配置將更有效率。
（三）大數據的角度：個性化服務+中觀指數+宏觀連結
目前發展大數據，主要有基于數據為客戶提供個性化營銷服務、預測中觀行業或區域趨勢指數、基于連結的宏觀資源配置方案等角度。這不僅僅體現在阿里小微融資的個性化風控決策、高端品牌在線特賣品牌和定價動態決策（基于阿里巴巴網商活躍度指數和零售商品價格指數）、Discern group企業發展戰略咨詢報告上，還體現在阿里巴巴商務智能指數（預測經濟發展態勢）和基于公共氣象數據的各行業資源配置優化服務上。
互聯網金融是大數據發展各角度的前沿陣地。在金融領域，要實現從金融互聯網向互聯網金融的快速轉型。傳統模式下的金融企業開展網上業務，如：網上銀行、網上理財，并不是真正的互聯網金融。互聯網金融是指通過互聯網新技術為客戶實現搜索或風控等服務增值，比較有代表性的是，消除供求雙方結構不對稱的P2P貸款，提高存取效率的保值理財產品余額寶。
（四）大數據的關鍵點：保證數據質量
要發展大數據分析，首先要保證數據質量。錯誤的輸入必然導致錯誤的輸出。沒有數據質量，一切都是浮云。數據質量沒有保證，是不敢用的。數據質量是一項耗時、費力的基礎工作。
保證數據質量要求數據采集與清洗過程中秉持兩大原則：相關性和低噪聲。第一，大數據，數據并非越“大”越好，而是相關數據越“大”越好。特別是，在數據采集中，要以采集盡可能多的“相關”數據為目標，而非不加篩選越多越好。第二，大數據，首先數據獲取時要保證不存在誘導傾向的干擾因素，同時進行去噪處理。
保證數據質量要建立數據的數據。針對數據質量建立數據標簽，才有進步。有了對數據質量的數據，數據才能被決策者更為安全科學有效地使用。
（五）大數據競爭的核心：分析人才的競爭
大數據時代，作為一種資源，數據不再是稀缺資源。互聯網、門戶網站、社交網站、微博、微信等新媒體積累了大量數據，缺乏的是對這些數據的分析人員。缺乏專業的分析人才，即使守著數據的“金山”，也只能望“山”興嘆。因此，美國Turbo Financial Group采用最新的大數據分析技術聚焦被FICO遺忘的15%人群建模，阿里提出建立大數據分析的開放式平臺，希望能夠集結更多專家智慧，同時培養阿里分析人才，挖掘阿里數據“金礦”。
二、把握大數據
大數據對社會生活帶來方方面面的影響，我們如何把握大數據時代的機遇，需要慎重對待大數據帶來的挑戰。總結起來，主要有三個方面：
（一）大數據時代，數據整理和清洗工作
（1）數據整理和清洗工作是數據分析的基礎。大數據專家根據經驗，普遍認為該工作是一項基礎性工作，耗時多且簡單，占到數據分析工作量的60%以上，是數據分析前提和基礎。在此基上，數據分析工作需要對數據進行標識，進行深度分析，撰寫專題報告，確保結果可以執行，最終落實到決策和實施。
（2）大數據時代，需要充分借助IT技術管理數據質量工作。在大數據時代，人工逐筆發現、解決數據質量問題的方式成本高、效率低，不可持續。要盡量規范化、系統化、自動化管理數據質量工作，將節省下的人力資源投入到新問題的研究中。
（二）大數據時代，數據分析的特點
（1）采用倒金字塔模式分配“思考、工作、分享”的時間比重。數據分析工作包括三部分：“思考”，分析實際問題，將實際問題轉化成數學模型，提出解決方案的過程；“工作”，將解決方案程序化，得出結果的過程；“分享”，將分析的結果，轉化為決策，付諸實施的過程。在時間分配上，金字塔結構或柱形結構的分布形式不是最佳結構，倒金字塔結構比較合理。即，思考的過程花得時間長些，可以減少后期工作量，少走彎路。
（2）通過數據分析進行科學決策。很多人存在誤區，認為數據分析就是做報表、寫報告。在大數據時代，數據分析不僅僅停留在此，需要進行深度分析，建立數據化決策的流程。要尊重數據、認識數據，但不迷信數據。在尊重數據、尊重事實的前提下，減少主觀因素的干擾，快速做出數據化決策，這是一種能力。
（3）大數據時代，數據分析的要義是――簡單、迅速、規模化。數據分析的結果要簡潔、易懂；數據分析的時間要短，盡可能的自動化地出結果，要快速的滿足客戶的需求；數據分析的方法能夠實現大批量規模化。優秀的數據分析師應具有全局的預見性，一有問題可以馬上把該問題打成很碎、很多的問題，甚至把一個問題克隆出很多問題，從而與業務人員建立信任，降低工作量。
（4）從“死”信息中，分離出“活”的信息。大數據有數據量大的問題――產生大量的“死”數據。錯誤數據是指數據與實際情況不一致，異常數據是指數據正確但數據遠離群體的大多數，這類數據情況的處理手段比較成熟。而大數據時代，大量數據是不活躍主體，即“死”數據。因此，需要從高維低密度數據中，提取“活”的信息，發現規律。防止由于“死”信息的存在，導致分析結果不能正確反映“活”的群體特征。
（三）大數據時代，數據分析師的培養
（1）培養核心技術人才，確保長期競爭力。美國在建立全國醫療系統時，將系統外包給了加拿大的一家公司，系統運行的第一天就出現了崩潰。美國政府為此對該模式進行了反思，概括起來有三點：①外包公司設計時只顧滿足甲方的眼前利益，不會為甲方的長遠利益考慮；②項目外包造成美國技術骨干人員斷層，導致出現問題后自身無法解決；③采用該模式導致美國沒有了核心技術。
因此，在采用項目外包模式的同時，需要掌握其核心技術。在大數據時代，從數據分析、信息管理、IT技術三個方面保持核心競爭力。需要培養和保持業務、產品設計、數據分析、數據架構等方面的骨干隊伍。
（2）建立專業化的大數據分析團隊。大數據分析的核心是數學建模，基礎是實際業務，結果是自動化程序。在實際工作中需要正確、合理的使用數學建模的思維，構建以數學模型做為基礎的數據分析，建立量化管理風險的理念。深刻認識并正確駕馭大數據分析，大數據分析的方法是處于不斷發展過程中的，需要根據實際問題，結合實際數據，靈活構建模型。
參考文獻：
[1]朱建平，章貴軍，劉曉葳.大數據時代下數據分析理念的辨析[J].統計研究，2014，（2）.
關鍵詞：大數據分析；情報；統計分析
中圖分類號： F279.23 文獻標識碼： A 文章編號： 1673-1069（2017）03-14-2
0 引言
大數據分析是當下非常熱門的一個話題，各行各業都在炒作大數據概念。仿佛不和大數據發生關系就好像趕不上時代。但是大數據的概念和作用仍然需要澄清，尤其是在特定環境中就一定要說明大數據的作用及如何真正利用大數據。
本文介紹了大數據的概念，大數據分析思路，僅從企業管理的角度去分析大數據的作用，并介紹了大數據分析實施項目注意事項。
1 大數據分析綜述
隨著信息技術的發展，各行各業都或多或少地應用了信息系統，尤其是20世紀90年代數據倉庫技術產生以來，數據規模出現了PB級的增長。以前企業只是把信息系統作為輔助業務管理的一個工具，而不重視數據的作用，而現在，企業發現通過數據分析可以更好地理解用戶需求和企業運營，幫助企業持續增長和盈利。在這種背景下，“大數據分析”概念應運而生。大數據分析的本質是從數據中發現價值，通過大數據分析發現新的商業機遇和商業價值。如果僅僅是數據分析和分析數據，將會陷入技術的陷阱，企業會得不償失。
大數據的“大”取決于數據分析的起點以及數據處理的方式。大數據并不僅僅是大。大數據具有“4V”的特點，即Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。
大數據分析并不是一種技術，而更像是一個概念，其核心理念就是從超越傳統的數據分析方式，從海量數據中選取與企I有關的價值。擺脫了信息系統的視角，關注點不再是信息系統本身，而是通過信息系統沉淀的數據，從數據中發現用戶的行為等信息，從數據的本質上去挖掘價值。
大數據分析是伴隨著數據科學的快速發展和數據密集型范式的出現而產生的一種全新的分析思維和技術，大數據分析與情報分析、云計算技術等內容存在密切的關聯關系。
大數據的本質是基于大量的多維數據，只針對少量幾個目標，在一定范圍的時間周期內進行預測，大數據分析過程就是情報收集過程。
2 大數據分析在企業管理中的作用
2.1 使企業內信息統計更加真實
企業內部數據收集可以是跟管理相關的數據，以前的數據都是基于人工統計的，是傳統的報表方式，并不能得到管理過程數據，都是結果數據，這種情況下，數據都存在“人為因素”。所以可能給高層決策帶來錯誤的信息，導致錯誤的決策。而通過大數據分析，可以對數據的結果進行驗證，從多個維度對數據的結果進行分析，保證數據的真實性。
以前都是單口徑統計數據，各部門為了自己的利益必然會對數據進行加工，因為沒有相互制約的方式，最后不同口徑的數據會有不同的結果。而通過大數據分析，從對個維度對數據分析，每個口徑的數據都相互制約，誰都無法對數據加工。當然，這需要對數據的結果帶來的利益進行平衡，實現相互制約的作用。
比如，生產車間要上報產量數據，需要有每天的兌現率，每周兌現率和每月兌現率，為了完成這個數據，就必須按時完成產量。每月上報產量時就會自動將每天的產量求和，如果出現沖突就表名數據由問題，會從財務成本的口徑反映出來。
2.2 為企業管理提供情報支持
一般在大型企業中都設有情報部門，主要是研究產業前沿情況，市場競爭信息等。傳統的情報分析主要依賴情報人員的專業背景和經驗，依靠情報人員主觀的洞察力和眼光，通過人的分析和推理做出情報研究的結論。這種情況下，雖然能夠取得一定的成果，但風險很大，基本是依賴人的主觀能動性。但是隨著信息技術的發展，知識越來越廣泛，而人的認知能力總是存在一定的局限性，企業對情報人員的要求也就越來越高。
大數據分析的出現為了企業情報分析提供了可能。大數據的“4V”特性與情報分析的要求不謀而合。大規模特性說明了情報分析的廣泛性，數據分析要盡可能地多；高速化特性說明情報分析的時間性要求，數據分析要講究時效性；多樣化特性說明情報分析的來源要廣，數據分析要從多渠道獲得信息，互相印證；價值說明了情報的最終目的，也是數據分析的目的，數據本身沒有價值后者分析的結果沒有價值都是徒勞。
大數據包括企業內部數據和企業外部數據。通過企業內部大數據分析，可以將企業內部的各項數據都收集起來，包括管理中的數據，制造過程中的數據等，實現通過數據分析獲悉企業內部的狀態，全方位把握公司內部運行狀態，做到“知己”。
通過分析企業外部數據可以獲得企業的環境或者競爭情況，做到“知彼”。企業通過大數據分析可以為企業管理提供企業發展所需要的情報，為企業發展做出貢獻。
2.3 縮短企業決策周期
企業傳統的管理決策主體往往是業務專家和精英高管，都是靠個人的意志和思想進行決策。隨著大數據應用的不斷深入，大數據分析正在逐步發揮作用，為管理決策提供支持。大數據分析結果能更加準確地反映數據所隱藏的知識，反映數據的內部規律。通過大數據分析正在使決策越來越科學。依據大數據分析進行決策，讓大數據主導決策并從中獲取價值，是一種前所未有的決策方式，正在推動著企業管理準則的重新定位。大數據分析將直接影響管理決策的變化，傳統的管理決策逐漸成為歷史。越是數據化管理的公司，越重視數據分析的作用，數據分析的結果對企業管理的決策影響也越來越大，決策周期也將越來越短。
3 企業大數據分析注意事項
3.1 明確用戶群體
大數據可能擁有更大、更多樣的用戶群體。大數據的成功很大部分取決于組織中的哪些人使用系統。大數據成功的最重要方面之一是必須為整個企業帶來價值，企業中可能會有專注于戰略層的用戶，也會有專注于戰術層的客戶。
大數據分析要針對不同的人群設定不同的數據，因為每個人關心的重點數據都不一樣。所以在選定數據范圍時要根據不同的用戶確定不同的數據范圍。
每個人都必然會關心自己的興趣點，所以要根據每個人的利益值定制用戶的報表，只有這樣才能讓每個人都融入進來。
比如，把生產的每個產品都列出來就沒有指向性，因為負責不同產品的管理者不關心別人的完成情況，只關心自己的完成情況，所以就需要將用戶個人有關的數據進行整合，在一個報表中就可以得出用戶需要的數據結果，滿足個體的需要。
3.2 確定數據責任人
數據分析要以源數據為基礎，如果源數據就是錯誤，那么就會導致錯誤的分析結果，所以，大數據分析對數據的準確性要求也非常高。
建h數據分析過程是由數據中心統一負責，在分析過程中只對數據的規范性修正，而不更改源數據的準確性，滿足數據的真實性。
3.3 分析目的要明確
數據分析的目的一定要清楚，目的有兩個，一個是作為實時值的結果，是為了及時獲取當期的報表值，目的就是與目標對比，是對結果的直接評價。
另一個目的是通過分析獲得一定的結論。就是報表本身并不知道結果的好壞，必須通過大量的分析才能得到結論。
前者應該針對管理者，管理者就需要直接對結果進行評價，沒有大量的時間去分析結果的好壞。后者是針對輔助決策的人員，這些人需要使用大量的數據分析，形成結果以后再呈現給管理者。
4 結束語
大數據分析將對各行各業產生巨大的影響，對大數據分析的重視程度也將影響了企業的管理水平。大數據分析不是只對電信、互聯網等行業有影響，對一般的企業也將會發生作用。現在多數已經把數據視為金礦，從大數據分析中獲取對與企業有價值的信息，使數據不再沉睡。
在企業管理中如果也能夠引入大數據分析的理念并付諸實施，將會使企業管理水平得到極大提升。在實施過程中，企業需要根據自己的特點，制定實施策略和目標。其中，最核心的就是如何從數據分析中獲得企業的價值，或者說，數據分析能夠為企業帶來哪些提升。不要盲目地為了數據分析而進行數據分析。
參 考 文 獻
1綜合決策分析缺乏時空維度的支持
煤礦安全生產和管理是一個與時間和空間相關的過程，其綜合決策分析離不開時間和空間維度的參與，而現有的煤礦信息系統往往缺乏時空維度的決策分析工具，如拓撲分析、緩沖區分析、密度分析、疊置分析、時間和空間趨勢探測分析、時間/空間關聯分析、時間/空間自回歸分析等。煤礦安全生產內涵豐富，既包含了日常性事務性的風險超前預控管理，又包含即時性的風險識別、監測、預測乃至預警，這就給安全生產管理的各類信息系統建設提出了很高的要求，需要滿足監控實時化、系統集成化、數據海量化、分析決策在線化和智能化，這些都是目前信息系統建設的短板。上述問題的存在使得我國煤礦安全生產形勢沒有本質的好轉，諸多信息化建設成果（硬件、軟件）在煤礦安全生產過程中也沒有起到預期的成效。
2煤礦安全生產大數據分析系統
2.1大數據分析的概念大數據分析
是指數據量急劇積累迅速超出主流軟件工具和人類思維處理的極限，大數據與傳統數據比較起來，有四大特征：數據體量巨大（Volume）、數據類型繁多（Variety）、數據價值密度低（Value）、更新速度快時效高（Velocity）。大數據分析需要全新的數據處理理念和分析工具，洞察發現海量高速增長信息中潛藏的價值［4］。從理念上，大數據分析與傳統數據分析有三大轉變：要全體不要抽樣，要效率不要絕對精確，要相關不要因果。針對大數據，既有的技術架構和分析工具已經無法滿足要求，需要全新的數據分析方法和技術，這其中包括：（1）大數據分析可視化方法；（2）大數據挖掘算法；（3）預測性分析能力；（4）語義處理能力；（5）數據質量和數據管理技術。
2.2大數據分析系統的建設
根據大數據處理和分析的理念，煤礦安全大數據分析系統的建設目標包括：數據綜合集成、安全知識集成、三維虛擬可視化展示、煤礦安全動態分析診斷。具體建設內容包括：（1）基于物聯網/云計算技術的煤礦安全綜合數據庫。建設煤礦安全大數據分析診斷系統，首先要利用物聯網和云計算技術實現全面綜合的數據集成，將基礎空間和屬性數據、在線監測的實時性數據、專業業務系統的事務性數據綜合集成起來，構建煤礦安全綜合數據庫。（2）基于專家系統的煤礦安全專家知識庫。針對知識集成的目標，整理規范規程體系中的經驗或者理論知識（煤礦安全規程、煤礦作業規程、三違行為知識、隱患界定知識、評估模型、設備操作規程知識、工種操作規程知識），構建煤礦安全動態分析診斷的專家知識庫。（3）建設三維虛擬礦井可視化平臺。針對信息和知識三維虛擬礦井可視化展示分析，主要的建設內容是基于高精度地質模型理論研究開發三維虛擬礦井平臺，實現地層建模、鉆孔建模、斷層建模、工作面建模和巷道建模等工作。然后，基于三維虛擬礦井平臺，實現數據和知識可視化、煤礦安全生產活動可視化、分析和決策過程可視化。（4）研發煤礦安全動態分析系統。針對基于專家知識庫的煤礦安全生產分析決策，需要利用煤礦安全綜合數據庫中的基礎數據、實時監測數據以及事務性數據，根據煤礦安全專家知識庫進行煤礦安全生產狀況評估、推理和演繹，動態分析診斷煤礦安全生產的現狀與趨勢、預測未來，并針對煤礦應急現象做出科學合理的響應對策。
3結語
物聯網、云計算、大數據分析帶來了新的數據處理和分析的視野［5］，也必將影響煤礦企業的信息化建設，成為提升煤礦安全生產水平的核心信息技術手段。與互聯網、電子商務、電信通信等行業相比，煤炭行業在這方面的發展稍稍晚一些。因此，煤礦科技研究工作者需要抓住時機，在大數據分析處理的研究和應用上付出更大努力，推動煤礦信息化建設發展。
作者：魏忠奎 袁傳增 單位：山東能源棗礦集團田陳煤礦
通過一系列收購，EMC已經建立了一條比較完善的大數據產品線。在此基礎上，EMC拋出了大數據之旅的三段論。
第一關：構建云基礎架構
大數據分析和處理的基礎是完善的云基礎架構，主要包括大數據存儲和大數據分析兩個平臺。
EMC大數據存儲平臺的兩大支柱產品是Isilon集群NAS以及Atmos海量智能存儲。Isilon集群NAS是EMC兩年前收購的產品，具有很強的橫向擴展能力，使用起來非常方便。目前，Isilon集群NAS被用于許多云存儲的項目。Atmos海量智能存儲可以很好地支持分布式大數據計算。許多電信運營商基于Atmos構建了公有云系統，其部署非常簡單，而且性價比很高。
EMC的大數據解決方案分成純軟件和軟硬件一體兩種。Isilon集群NAS與Greenplum軟件組成了一體化解決方案。蔡漢輝介紹說：“Isilon集群NAS目前主要作為大數據存儲平臺，可與Greenplum、Hadoop結合，但同時也會兼顧傳統存儲應用。為了更好地支持大數據和云服務，Isilon集群NAS在今年底還會開放API，讓更多第三方的廠商能基于Isilon集群NAS平臺進行開發。”
EMC大數據分析平臺的核心是兩年前收購得來的Greenplum的產品，主要包括Greenplum Database（支持結構化數據庫）和Greenplum HD（支持Hadoop）。蔡漢輝介紹說：“Greenplum大數據分析平臺可以實時處理任何來源的數據，包括結構化、半結構化和非結構化的數據。Greenplum不僅可以處理PB級的數據，而且處理速度可以達到10TB/h。”
第二關：實現社交化服務
構建高性能、可靠、靈活的大數據分析平臺是第一步，接下來，用戶要構建數據處理的協作平臺，建立自助服務的環境。EMC把這個階段稱為社交化階段。
2012年3月，EMC了首個用于大數據的社交工具集Greenplum Chorus，使得數據科學家可以通過類似Facebook的社交方式進行協作。Greenplum Chorus是EMC中國研發團隊主導開發的產品。Greenplum Chorus基于開放的架構，是一個用于數據挖掘和協作分析的流程平臺。Greenplum Chorus包括數據探索、個人項目工作空間（又稱個人沙盒）、數據分析和幾個主要環節。
Greenplum Chorus開發主管莊富任介紹了Greenplum Chorus的工作流程：Greenplum Chorus提供了強大的搜索引擎，可以快速尋找到數據，并將這些數據進行關聯，從而實現數據采集的可視化；采集來的數據被放到個人沙盒中進行處理，這個處理過程不會影響整個數據庫的運行；在協作分析階段，數據分析人員可以共享工作空間、代碼，協同工作兼具靈活性和安全性；最后，相關的處理結果被出來。上述處理過程將循環往復。
Greenplum Chorus未來將走向開源。EMC已經了一個名為OpenChorus的計劃，其目標是促進技術創新，同時促進那些運行在Greenplum Chorus平臺上的協作的、社交化的數據應用的普及。2012年下半年，EMC還將公布Greenplum Chorus源代碼，讓更多人加入到Greenplum Chorus陣營中來。
第三關：敏捷開發服務
大數據處理的第三個階段就是構建一個敏捷的開發環境，用于實時決策，并且更好地支持大數據應用程序。
從形式上看，傳統的大數據方案包括打包方案和定制化開發兩種。打包方案具有高效率、低成本的優勢，但是需要精確的數據模型。定制化開發可以實現應用的創新，但是實施起來難度大，周期長，而且價格昂貴。EMC希望為用戶提供一種敏捷開發的方式，在充分發揮上述兩種方案優勢的同時彌補其不足。為此，2012年3月，EMC收購了Pivotal Labs公司。Pivotal Labs是一家私營的敏捷軟件開發服務和工具提供商。
關鍵詞：hadoop 大數據 應用
中圖分類號：Tp274 文獻標識碼：A 文章編號：1007-9416（2015）04-0226-01
最近幾年以來，大部分企業都開始認識到數據資產規模化能夠給企業帶來的潛在價值，而這些不斷增長的數據資產主要分為非結構化與半結構化兩種類型。怎樣利用最低的成本和最快的效率來對這些海量數據進行處理與應用，成為擺在我們面前的一大難題。Google公司率先提出了MapReduce編程框架，而GFS文件系統與BigTable存儲系統也開始成為了大數據處理技術中的領導者，而這三種技術也成為了大數據處理技術的事實標準，以極快的速度普及到各個互聯網企業之中，逐漸變為了PB級海量大數據處理的領先技術。那么Hadoop到底是什么？為什么Hadoop可以成為當今熱門的大數據應用的開發平臺？
1 Hadoop框架工作原理分析
Hadoop屬于開源框架，它的本質是一種能夠用于編寫和運行分布式應用處理的大規模數據。Hadoop和其他的框架相比，自身具備便捷、可擴展性強、操作便利等特征，特別是Hadoop的便利性讓它在編寫與運行大型分布式程序的過程中獨占優勢。用戶借助于Hadoop能夠在很大程度上領略到分布式計算法則帶來的優勢。Hadoop利用分布式存儲、遷移代碼等技術，在進行大數據的處理過程中，可以非常好地解決耗時數據傳輸問題。更關鍵的一點是，數據冗余機制能夠讓Hadoop從單點失效中逐漸恢復[1]。
Hadoop框架基本構成包括了分布式文件系統HDFS以及MapReduce。HDFS主要是利用Master/Slave架構，一個HDFS集群包含了NameNode節點與DataNode節點。NameNode屬于中心服務器，其主要作用是對文件系統的名字空間進行管理，同時負責文件訪問。在集群系統內部，通常來說在某個節點中運行一個DataNode，主要對此節點內的數據信息進行管理，同時處理客戶端發送來的文件讀寫請求，還能夠在NameNode的調度下對數據模塊進行創建與復制。另外，Hadoop還能夠完成MapReduce分布式計算，Mapreduce能夠將總任務劃分為若干子任務，而各個子任務能夠在任意集群節點中進行處理。HDFS創建了若干數據副本，能夠確保每個子任務節點計算的準確性。因為選擇分布式文件系統HDFS以及MapReduc模型，從而讓Hadoop具備更高的容錯率和數據讀寫吞吐率，可以對失敗節點進行自動處理。
2 MapReduce編程模型
MapReduce（映射-歸并算法）模型是由Google公司提出的高階并行函數的抽象模式，根據相關報道顯示，Google集群中每小時有數百萬個MapReduc處于執行狀態。它依靠函數編程的思路，將海量數據集的一般操作抽象化為Map和Reduc兩大集合操作，在很大程度上降低了分布式并行計算程序的難度。在這樣的計算模型之內主要存在兩個關鍵環節，即是映射Map與聚集Reduc。所以必須要求程序編寫人員能夠實現上述兩個函數，Map函數和Reduc函數對一組輸入鍵值實施計算，從而獲得另外的輸出鍵值對[2]。
在Hadoop平臺下，MapReduce應用程序由一個Mapper類，一個Reducer類和一個創建JobConf的驅動函數組成。有些時候還可以根據需要實現一個Combiner類，這個類實際上也是Reduce函數的一種實現[3]。
（1）Input：應用程序自動提供Map以及Reduce函數，同時標明輸入/輸出具置以及其他操作必須的具體參數，這一過程會將目錄下的大文件分成一些獨立的數據塊。（2）Map：該模型能夠將用戶作業輸入當成是一組鍵值對Key/Value，MapReduce模型能夠自動調用Map函數對其中一個鍵值對進行處理，從而形成新的鍵值對。（3）Shuffle與Sort：在Shuffle時期利用網絡給所有Reduce提供全部Map輸出時相匹配的鍵值對；而在Sort時期，把根據Key值對Reduce輸入實施分組。一般來說，Shuffle與Sort是共同執行的。（4）Reduce：對各個Key，執行用戶定義的Reduce函數，從而得到新的鍵值對。（5）Output：把Reduce的結果寫到輸出目錄之內。
3 Hadoop的主要特性及其與大數據應用的關系
簡單地說，Hadoop是一個可以更容易開發和運行處理大規模數據的軟件平臺。而這個平臺能夠作為當今大數據分析與應用的主流，離不開以下幾個主要特性。
（1）低成本：Hadoop的搭建可以通過普通的機器來組成服務集群。為了擁有強大的計算能力，整個計算集群的規模可能有數千個節點。但是，即便如此，其整個集群的成本也要遠遠小于可以提供相等計算能力的高性能計算機。因此，對于實力并不雄厚的互聯網公司，搭建Hadoop集群是一個既節省成本又可以提高服務性能的選擇。（2）高可靠性：Hadoop可以自動對數據的復制進行維護，同時在任務失敗之后對計算任務進行Redeploy。由于Hadoop常常將硬件錯誤當作常態，同時利用塊的冗余存儲機制來確保數據的準確性。在大部分的情況之下，副本系數為3，HDFS存放策略是把一個副本存儲于本地機架節點之內，而其他的副本存儲于不同的節點。因此，當部分機器出現宕機的時候，整個系統仍然可以保持正常運行，文件的完整性能夠在很大程度上得到保證。（3）高擴展性：Hadoop主要是在計算機集簇之間進行數據的分配以及計算，而計算機集簇能夠非常容易的擴展到大量的節點之內。當計算服務載荷過大時，可以直接通過增加集群節點數目來達到擴容目的，而當載荷并不大時，可以減少節點數目或是向其他目標提高計算服務[4]。
由此可見，Hadoop軟件身上表現出了明顯的眾包特征與草根特征。使用開源軟件最多的要數互聯網公司，特別是很多剛剛創建的公司。對于技術選型上，Lamp/Memcache/Hadoop等都是我們的首選。推特的Robe和Pointer等人研究開發的Kestrel隊列軟件，能夠對企業內部業務邏輯的following與befollowed等問題進行更加高效率的處理。而我們知道Kestrel是由Ruby語言編寫的開源項目逐漸發展而來的。Twitter必須在500ms之內把相關信息推送到接收者手中。我們可以想象，若存在上億的用戶同時發送信息，可見其難度。因此，國內大數據以及云計算的發展必須要從開源文化中尋求發展路徑，從思想上認識到開源軟件的重要性。
4 結語
總之，Hadoop屬于一種分布式數據處理技術，在系統自身性能以及可擴展性等方面都具有非常大的優勢，比較適用于以讀取為主的大數據批量處理、查詢以及檢索等任務。Hadoop還能夠讓自己成為交易事務處理之外的傳統關系型數據庫的補充，對于增強企業信息化系統的工作效率、減少系統成本可以發揮出非常重要的作用。正因為如此，Hadoop憑借著這些特性與優勢，在如今互聯網行業快速發展的大環境下，掀起了一場大數據的浪潮。
參考文獻
[1]靳永超，吳懷谷.基于Storm和Hadoop的大數據處理架構的研究[J].現代計算機，2015（04）：65.
[2]王宏宇.Hadoop平臺在云計算的應用[J].軟軟件，2011，32（04）：37-50.
關鍵詞：大數據時代 數據分析 理念 辨析
中圖分類號：C8 文獻標識碼：A 文章編號：1674-098X（2017）01（c）-0136-02
近年來，對大數據的研究和應用已經受到我國各界人士的廣泛關注，國家統計局已經把信息處理技術列為關鍵性的創新技術工程之一。隨著我國大型計算機的迅速發展，處理大規模的復雜數據的能力逐漸提升，從這些大數據中提取有效信息的能力也逐步加強，毫無疑問，我國進入大數據時代的腳步將會進一步加快，人們將會感受到大數據時代下給其帶來的生活、工作上的便利。
1 大數據和大數據時代簡介
1.1 大數據
大數據是指遠大于一般數據的巨量資料，需要人們通過全新的處理模式才能獲取其中有價值的數據信息。“大數據”這一概念最早由維克托在《大數據時代》一書中引用得來，最開始對其定義為：不通過傳統的隨機分析方法直接對所有數據進行分析處理，主要有大量、高速、多樣和價值4個特征。
大數據可以分為大數據技術、大數據工程、大數據科學和大數據應用等領域。目前受到最多應用的是大數據技術和大數據應用。人們通過收集數據，提取有效信息就可以為企業發展或者社會活動提供最有效的實施途徑。因此，可以這樣說，在大數據的王國里，最成功的企業就是那些善于運用機遇的公司。
1.2 大數據時代
大數據時代是建立在信息時代的基礎上，通過互聯網、物聯網等渠道廣泛搜集海量數據資源并對其進行存儲、提取和展示。在大數據時代，幾乎所有人都能夠享受從任一數據中獲得所需要的信息，大數據時代也具有社會性、廣泛性、公開性和動態性4個特征。大數據時代的發展將會引領社會眾多領域和行業的變革，對人類的生產、生活方式產生深遠影響。
在大數據時代下，傳統的數據分析思想已經不再適用，應該做出改變。首先，應該轉變抽樣思想，大數據時代下的樣本即總體，已經不再依靠少量樣本分析事物的相關規律；其次，要轉變數據精確測量的思想，大數據時代要學會接受繁冗復雜的多樣性數據；最后要轉變探究事物的因果關系思想，轉為研究事物的相關規律。以上思想的轉變，均與統計學有關，因此，下面將分析大數據對統計學帶來的具體影響。
2 大數據對統計學研究工作的影響
2.1 大稻莘岣渙送臣蒲У難芯慷韻
大數據影響的領域范圍非常廣泛，在大數據時代，不僅能夠對以結構數據為度量單位的客觀主體，還可以對不能用數據衡量關系的文本、圖片、音像等非結構數據進行分析，大大擴展了傳統統計學的研究范疇。
2.2 大數據影響統計學的工作進程
統計學是對所搜集的數據進行整理和歸納的方法論學科。大數據時代的資料十分豐富，分析數據已經不再需要抽取樣本了，因為數據總體即是樣本。此時，傳統的統計學抽取樣本分析的工作方法已經不再適用，而是被現代化通過傳感器自動采集數據的方法所取代。
3 大數據時代下數據分析理念辨析
3.1 數據分析理念
傳統的數據分析是指用統計學方法將收集的數據資料進行系列分析，以便最大化地開發數據中的功能，從中提取有價值的數據，再和未經處理的數據進行對比，發揮數據的作用。大數據時代下的數據分析，由于數據量非常大，數據本身的動態特性使人們要研究的數據難度加大，因此，大數據時代的數據分析一般利用統計學的理念，采用更廣泛的方法統計和分析數據，以此擺脫對數據樣本的依賴，也可以避免數據的流動性給分析結果帶來的不確定性。大數據時代更加注重數據的增值分析工作，研究數據的未來走向，使其中有價值的數據可以增值，將有效數據有機整合，能夠及時發現問題和解決問題。
3.2 數據分析的主要程序
3.2.1 數據整理
統計數據的整理主要分為4個步驟：審核統計資料、對資料進行分組、匯總和編制統計表格或圖表、保管和公布。當統計對象為數據資料龐大、類型復雜、要求處理速度快的大數據時，這些步驟就顯得繁冗了，尤其是圖表的繪制是沒辦法實現的，因此，只需要對資料進行審核和存儲。大數據的審核和存儲不同于傳統意義上的數據審核和保存，大數據時代利用先進的現代化工具進行數據的審核和保存。
3.2.2 數據的開發
傳統數據的樣本量較小，目的主要著眼于解決問題，數據的時效性較強，數據的使用價值會隨時間流逝而降低。而大數據的流動性很強，隨著時間的推移會越來越壯大，而且具有推陳出新、價值重塑的可能，因此，在大數據時代，數據是會不斷增值的，開發大數據，是一項有重要意義的工作。
3.2.3 數據的應用
其中分別對教育、運輸、消費品、電力、石油與天然氣、醫療護理、消費金融等進行分析和預測。根據這些行業的特點，可以總結出大數據挖掘商業價值的基本方法為：客戶群體細分，為每個群體量定特別的服務；模擬現實環境，發掘新的需求的同時提高投資的回報率；降低部門聯系，提高整條管理鏈條和產業鏈條的效率；降低服務成本，發現隱藏線索產品和服務的創新。從圖1中可以看出，大數據的應用群體十分廣泛，能否對獲取的數據及時、迅速處理，對該行業的發展具有重要意義。
4 結語
該文主要對大數據時代下數據分析理念進行了相關的分析和研究。首先對大數據及大數據時代的概念做了簡要闡述，接著分析了大數據對統計學的兩點影響，最后分析了大數據時代下的數據分析理念。總而言之，在現代社會，大數據的應用已經成為時代新的特征，能否從海量數據中提取有價值的信息做出相應的預測，對于企業或者個人的發展具有重要意義。
參考文獻
[關鍵詞] 大數據Hadoop；分布式存儲；分布式計算；MapReduce HDFS
[中圖分類號] G258.6 [文獻標識碼] A
1 Hadoop的產生
大數據的概念最早是由麥肯錫這家公司提出的，他們指出：“數據，已經滲透到當今每一個行業和業務職能領域，成為重要的生產因素，人們對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來。”
進入2012年，大數據的概念開始被越來越多的提及，甚至已經上了紐約時報和華爾街日報的專欄封面。隨著系統信息化的建設，海量數據正呈現井噴式增長，如何消化和分析這些數據從中提煉出有價值的信息是企業所要面臨的新的難題和挑戰。
首先面臨的挑戰來自于系統硬件，雖然硬盤的存儲容量不斷增加，但是磁盤的尋址效率卻沒有隨之提高，因此當數據處于一個較大規模的時候，數據的定位和讀取會變得非常緩慢。這是硬件本身的局限性，很難從軟件方面得到突破點，然而同樣從硬件的角度考慮，雖然磁盤的尋址效率發展緩慢，但是傳輸效率卻相對迅速一些，因此基于大數據的處理，我們可以嘗試使用另外一種訪問方式――基于流式讀取[1]。
兩種方式有什么區別，或許有些人還不太清楚，基于磁盤尋址最典型的應用便是關系數據庫，首先定位到數據的存儲地址，然后從這個地址開始做局部的數據處理；而基于流式訪問首先獲取數據的輸入流，通過該流來讀取所有數據，做全局的數據分析，沒有數據尋址的過程。
基于流的訪問方式雖然可以不用考慮磁盤的尋址時間，但是缺陷也十分的明顯，比如會消耗很多的計算機資源（cpu，內存等），針對這些缺陷，我們能想到的最直接的處理方式便是將數據源進行切分，分散到多臺機器上進行并行的讀取，這樣不但加快了數據的讀取效率，也緩解了單臺機器性能的不足。但是，經過這種方式處理之后，又會帶來新的難題和挑戰：
首先，數據分散部署之后，有可能會帶來數據遺失的風險。
其次，對數據片段的解析需要有一個聚合的操作，來匯總最后的結果。
如何解決這些難題，正是hadoop框架的功能職責。
Hadoop框架提供了一種簡單的編程模型，用來對大數據集進行分布式處理；它的處理能力是可擴充的，由一臺機器擴充到成千上萬臺的集群，集群中的每臺機器都會參與存儲和計算[2]。從功能角度來看hadoop主要具備兩方面的特性，存儲和計算。存儲邏輯用到的是HDFS子框架，計算邏輯用到的是MapReduce子框架，每個子框架分別解決了上述難點。
2 HDFS子框架
2.1 體系結構
由圖片可以看到HDFS主要包含這樣幾個功能組件
Namenode，存儲文檔的元數據信息，還有整個文件系統的目錄結構。
DataNode，存儲文檔塊信息，并且文檔塊之間是有冗余備份的。
這里面提到了文檔塊的概念，同本地文件系統一樣，HDFS也是按塊存儲的，只不過塊的大小設置的相對大一些，默認為64M。如果一個文件不足64M，那么它只存儲在一個塊中，而且并不會占用64M的磁盤空間，這一點需要注意，HDFS不適用于小文件存儲的原因并不是因為小文件消耗磁盤空間，而是因為小文件占用了太多的塊信息，每個文檔塊的元數據是會存儲在namenode的內存里的，因此當文檔塊較多的時候會十分消耗namenode的內存。
從功能結構來看，namenode提供了數據定位的功能，datanode提供數據傳輸，也就是客戶端在訪問文件系統的時候是直接從datanode里面讀取數據的，而不是namenode。
2.2 IO操作
2.2.1 hdfs讀取文件流程
首先，連接到分布式文件系統，從namenode里獲取要訪問的文件由哪些塊組成，每一個塊的存儲地址是多少。
然后，定位到指定的datanode去讀取文件。
注意：每個塊的存儲地址是在hadoop啟動之后才加載到namenode的內存里的，而不是持久化存儲到namenode本地。namenode和datanode具備心跳通信的功能，它會定時從datanode那里收到一些反饋，包括block的存儲地址信息等等。
2.2.2 hdfs寫文件流程
首先，同樣是連接到分布式文件系統，向namenode發送創建文件的命令。
namenode保存文檔的元數據信息之后會調度具體的datanode來執行數據流的寫入操作，寫入成功后，需要執行冗余備份，將Block復制多份，每一分存儲到不同的機器節點中，防止單點故障的出現。
使用HDFS來存儲數據，每個block至少要備份一份，默認是3份，如果沒有指定備份，或者備份的過程中出現了異常，則文件的寫入操作不會成功。
2.3 hdfs不適用的場景
2.3.1 低延遲的數據訪問
HDFS主要針對大文件來設計的，多用于線下的數據分析，對于線上應用并且及時性要求較高的系統，可嘗試使用Hbase。
23.2 大量小文件
消耗namenode內存，可以使用SequenceFile或MapFile來作為小文件的容器
2.3.3 多線程寫入，隨機寫入
HDFS系統中，每個文件只能并發開啟一個Writer，并且寫入操作只能在文件的末尾進行。
3 MapReduce子框架
MapReduce的大體流程是這樣的，如圖所示：
由圖片可以看到mapreduce執行下來主要包含這樣幾個步驟：
（1）首先對輸入數據源進行切片。
（2）master調度worker執行map任務。
（3）worker讀取輸入源片段。
（4）worker執行map任務，將任務輸出保存在本地。
（5）master調度worker執行reduce任務，reduce worker讀取map任務的輸出文件。
（6）執行reduce任務，將任務輸出保存到HDFS。
若對流程細節進行深究，可以得到這樣一張流程圖：
角色描述：
JobClient，執行任務的客戶端。
JobTracker，任務調度器。
TaskTracker，任務跟蹤器。
Task，具體的任務（Map OR Reduce）。
從生命周期的角度來看，mapreduce流程大概經歷這樣幾個階段：初始化、分配、執行、反饋、成功與失敗的后續處理。
每個階段所做的事情大致如下
3.1 任務初始化
3.1.1 JobClient對數據源進行切片
切片信息由InputSplit對象封裝，接口定義如下：
public interface InputSplit extends Writable {
long getLength（） throws IOException； String[] getLocations（） throws IOException；
}
可以看到split并不包含具體的數據信息，而只是包含數據的引用，map任務會根據引用地址去加載數據。
InputSplit是由InputFormat來負責創建。
public interface InputFormat {
InputSplit[] getSplits（JobConf job， int numSplits） throws IOException；
RecordReader getRecordReader（InputSplit split，JobConf job，Reporter reporter） throws IOException； }
JobClient通過getSplits方法來計算切片信息，切片默認大小和HDFS的塊大小相同（64M），這樣有利于map任務的本地化執行，無需通過網絡傳遞數據
切片成功后，JobClient會將切片信息傳送至JobTracker
3.1.2 通過jobTracker生成jobId。
JobTracker.getNewJobId（）
3.1.3 檢查輸出目錄和輸入數據源是否存在。
輸出目錄已存在，系統拋出異常。
輸入源目錄不存在，系統拋出異常。
3.1.4 拷貝任務資源到jobTracker機器上（封裝任務的jar包、集群配置文件、輸入源切片信息）。
3.2 任務分配
JobTracker遍歷每一個InputSplit，根據其記錄的引用地址選擇距離最近的TaskTracker去執行，理想情況下切片信息就在TaskTracker的本地，這樣節省了網絡數據傳輸的時間。
JobTracker和TaskTracker之間是有心跳通信的邏輯的，通過彼此間不停的通信，JobTracker可以判斷出哪些TaskTracker正在執行任務，哪些TaskTracker處于空閑狀態，以此來合理分配任務。
3.3 任務執行
TaskTracker接到任務后開始執行如下操作：
3.3.1 將任務jar包從HDFS拷貝到本地并進行解壓
3.3.2 創建一個新的JVM來執行具體的任務，這樣做的好處是即使所執行的任務出現了異常，也不會影響TaskTracker的運行使用。
如果所執行的任務是map任務，則處理流程大致如下：
首先加載InputSplit記錄的數據源切片，通過InputFormat的getRecordReader（）方法，獲取到Reader后，執行如下操作：
Kkey=reader.createKey（）；
V value=reader.createValue（）；
while（reader.next（key，value））{//遍歷split中的每一條記錄，執行map功能函數。
mapper.map（key，value，output，reporter）；
}
3.4 執行反饋
mapreduce的執行是一個漫長的過程，執行期間會將任務的進度反饋給用戶。
任務結束后，控制臺會打印Counter信息，方便用戶以全局的視角來審查任務。
若執行成功：
清理MapReduce本地存儲（mapred.local.dir屬性指定的目錄）。
清理map任務的輸出文件。
若執行失敗：
（1）如果task出現問題（map或者reduce）
錯誤可能原因：用戶代碼出現異常；任務超過mapred.task.timeout指定的時間依然沒有返回
錯誤處理：
首先將錯誤信息寫入日志
然后jobtracker會調度其他tasktracker來重新執行次任務，如果失敗次數超過4次（通過mapred.map.max.attempts和mapred.reduce.max.attempts屬性來設置，默認為4），則job以失敗告終。
如果系統不想以這種方式結束退出，而是想通過Task成功數的百分比來決定job是否通過，則可以指定如下兩個屬性：
mapred.max.map.failures.percentmap任務最大失敗率
mapred.max.reduce.failures.percent reduce任務最大失敗率
如果失敗比率超過指定的值，則job以失敗告終。
（2）如果是tasktracker出現問題
判斷問題的依據：和jobtracker不再心跳通信jobtracker將該tasktracker從資源池中移除，以后不在調度它。
（3）jobtracker出現問題
jobtracker作為系統的單點如果出現問題也是最為嚴重的問題，系統將處于癱瘓。
參考文獻：
[1]TomWhite.Hadoop權威指南（第二版）[M].著清華大學出版社2011，7.
[2]chuckLam.Hadoop實戰[M].人民郵電出版社，2011，10.
智慧城市建設涉及多個領域、不同層面的數據資源獲取、處理和分析。這些數據應用于醫療衛生，能夠實現精準醫療；數據應用于教育行業，可以實施個性化教學；而城市監控數據為城市管理者所用，能夠提升管理效率、改善民生服務。
目前，以北京為例，覆蓋全城、多點布局的攝像頭數量達2000萬之多，而這些攝像頭捕捉到的數據信息往往是在“睡大覺”。一般1～2個星期、最多1～2個月為一個周期， 過往信息就會被覆蓋掉。
如何從這些信息中抓取有用數據、扔掉無用數據，是我們當前面臨的難題。這類音視頻多媒體數據要真正實現有效應用，面臨三大挑戰，即“存不下”、“看不清”、“找不到”。
優化編碼技術研究
這三大挑戰背后對應的技術問題是指我們的編碼算法技術還有提升的潛力和空間。
一方面，隨著攝像頭數量不斷增加，獲取的信息量不斷增長，可能導致“存不下”這一問題；另一方面，計算機識別圖像與我們人眼看東西不同，需要較高的清晰度。目前，我們城市攝像頭的數量基本已達到5米或10米一個，但人臉識別率還是較低，就存在“看不清”的問題。此外，攝像頭物理參數的不同也會導致出現這一現象：我們肉眼看某人從A點走到B點，A點攝像頭捕捉到這個人，但到了B點可能就“找不到”了，這就存在跨攝像頭搜索的問題。
針對這三個問題，我們需要三種不同的技術來應對它。
針對“存不下”問題，我們需要從更新編碼技術這個思路去尋找破解之道。高效視頻編碼是應對這一問題的直接技術手段。因為數字視頻其實是一個數字圖像序列，數字圖像表現的是數字信號，而數字信號我們可以對其進行處理。經過分析，我們發現數字圖像序列中有三類信息冗余，一是時間冗余，二是空間冗余，三是感知冗余，當然也有知識冗余等其他冗余。如果我們能夠把這些冗余擠掉，就能更有效地壓縮數字視頻。
針對不同類別的冗余，我們必須采用不同的方法。理論上，我們通過矩陣運算或通過矩陣分析可以找到視頻編碼的上界即最大壓縮程度。例如，針對2000×2000像素這樣尺寸的圖像，理論上我們能壓縮2000倍，即壓縮到2000：1，但實際上我們能做到的是600：1，中間還有很大空間，需要采用各種不同技術來突破。
編碼技術變革
1993年第一代編碼技術通過優化能把高清視頻壓縮到了1/75，2003年第二代編碼技術把編碼性能提高了一倍，2013年有了第三代編碼技術，壓縮能力又提升了一倍。以此類推，2023年將產生第四代編碼技術，其壓縮能力將達到1/600。我們把這種規律視為編碼領域的摩爾定律，十年性能翻一番。
其實，從第一代到第三代編碼技術，都是遵循最基本的編碼框架結構，即從視頻信號進來，切成塊變換處理，再進行濾波運能估計。但基于這一架構，編碼性能卻能十年翻一番。如何實現？主要是采用多種數學工具，如預測編碼、算術編碼等，或者多種工具混合利用使得編碼效率不斷提升。通過觀察分析，我們看到，在三代編碼技術不斷演變過程中，真正的變化是在預測與運動估計這一項上，每一代都不一樣。這也會給我們提供啟發，為尋找更高的編碼效率，預測與運動應該是我們關注的重點。那么，為何預測可以得到更高的編碼效率？因為預測主要解決的是空域冗余，隨著時間推移，它一幀一幀往前處理。我們知道圖像處理中很多東西不變化，這些不變化有效利用起來，就能獲得較高的編碼效率。
以監控視頻為例，一般而言，在會議活動中，演講人只有身體會偶爾搖動；在自然環境中，整片森林除了每天光照變化、葉子生長變化，其他都基本不變。因此，如果針對這些不變的因素實現建模，就能獲得很高的編碼效率。
因此，針對視頻監控應用，我們提出了背景建模技術，通過背景建波計算出背景模型，之后做預測時，用這套模型去做計算效率就會很高。在國際三個主流編碼技術團隊中，中國技術團隊在這一領域作出了較大貢獻，并已有了實際應用。
AVS2有效提升編碼效率
從性能上來看，以數字視頻廣播應用為例，中國超高清標準AVS2與目前H.265標準性能相當，而以監控視頻應用為例，AVS2標準相比H.265標準，性能為\41.77%，即碼率節省了41.77，性能提升了一倍。
對于監控視頻而言，AVS2已經邁入新時代。
2015年1月，廣電總局廣播電視、計量檢測中心針對AVS2標準和H.265標準專門做了一個對比實驗，并得出這樣的結論：AVS做超高清視頻很有優勢。對比視頻編碼標準HEVC，圖像質量下降的平均值是：AVS2為2.9%，HEVC為3%。一般而言，下降的值越低越好，這也表明了AVS2的優勢。
目前，已經有一些主流企業開始布局，準備用AVS2進軍全球市場。而AVS2能夠有效提高編碼效率和精度，能夠應對我們提到的第一個挑戰――“存不下”。
針對“看不清”即識別不準這一問題，傳統的做法是產生編碼和識別編碼是完全平行的兩套，彼此不通氣。通過背景建模技術，可以在編碼時把前景測出來，這樣的好處是可以進行分析、識別、提取。具體如何實現？以監控視頻碼流為例，我們可以理解為它是由兩個碼流構成的，一是背景碼流，二是前景碼流。測出前景后，我們可以處理、識別，并且跟蹤分析我們關注的對象。基于這個想法，AVS2也就支持感興趣區域（RCH），就是語法里面對前景手段你可以對其進行描述，這種描述可以采用特殊參數的編碼，背景一次性接過去就可以。基于這樣的構建我們可以很好地識別編碼模型，從感興趣的區域可以得到對象，根據對象之間的關聯，以及它們失去關系時構建的時間，我們可以在編碼的同時做運動分析、目標檢測、對象行為分析等。
傳統的方式下，識別時我們需要在視頻流上找，但是通過背景建模技術，任務就變得簡單很多。我們只需要知道背景是什么，就很容易把前景表述出來。AVS2國外版命名為HE1857，基于這一標準，可以對感興趣的區域提取對于對象的表達，對動作和行為檢測等。
針對跨攝像頭檢索“找不到”的問題，我們采用了CDVS（即緊縮描述式）技術。我們要想辦法達成這些目標：描述能力強、緊湊，檢索較快，特征規范化。這里面涉及到計算機視覺技術、機器學習技術等，最核心的就是興趣點提取和表述，一開始我們用的是（SIFT）特征，也是近期最好用的一個特征。
但（SIFT）特征在具體使用中有很多問題，后來我們對其做了改進，改進之后的效果比較好，所以我們把這一特征又分成局部和全局。改進的倍數CDVS比SIFT好三倍，特征大小好一百倍。針對一千萬幅圖像庫進行搜索，采用CDVS只需要500毫秒就能完成搜索，就是說如果我們要在一千萬張圖片中去找一張圖片，半秒鐘就能解決問題，搜索速度非常快，這只是在英特爾CPU上面就可以做到的。
關鍵詞：大數據分析; 工程造價; 精確性
一、大數據分析對工程造價精確性的影響原理
（一）工程造價影響評估數據優化處理利用大數據分析技術開展工程造價分析的過程中，需要針對工程收集相關的數據，針對數據進行全面的分析。針對工程確定造價的過程中，可以更好的收集相關信息，實現對于信息的全面管理。利用大數據分析技能夠對于工程造價項目進行精準評估，具體應用公式如下X=X-XminXmax-Xmin。根據該公式我們能夠看到，利用大數據分析技術減去最低值與最高值，通過這種方式確定工程造價的評估范圍，該范圍具有很強的適用性。
（二）恢復評估結果原值針對評估結果需要恢復其原值，這樣才能進一步縮小工程造價的影響范圍。具體的公式如下：X=X′（Xmax-Xmin）+Xmin。通過這一公式針對工程總價結果恢復原則，最終進一步提高評估數據的科學性與合理性，這樣工程造價數據更具真實性與可靠性。
（三）建立數據分析機制施工項目應該建立數據分析機制，建立專門的數據分析機構，針對施工項目的特征以及相關數據進行數據分析，全面評估施工項目的相關成本。施工企業應該在內部購入信息化設備，建立符合工程項目的模型，確定粒子群模型，通過建立相關的模型簡化計算過程，提升工程造價的核算價值。同時施工項目還要訓練相關的工作人員應用大數據技術的能力，這樣才能最大限度的保證數據分析工作的順利開展，提升大數據分析效果。
（四）靈活開展數據分析利用大數據分析技術開展工程造價工作的過程中，應該保證數據分析的靈活性，從不同的角度開展數據分析，全面的分析施工項目中的各種數據，及時發現問題。不同的數據之間能夠形成相互驗證的關系，這對于提升工程造價工作水準具有積極的效果。
二、大數據分析對于提升工程造價精準性的影響
（一）提升工程造價的合理性。大數據分析能夠對于大量的數據進行全面的分析，數據更加全面合理，因此能夠全面的提升工程造價的合理性，對于提高工程造價數據的科學性具有積極意義。大數據分析技術的應用能夠從不同角度提供工程預算數據，這樣能夠多方位的印證施工項目工程造價中的相關數據，發現問題能夠及時的進行更改，這樣才能全面的提升工程總價水平，為施工項目的開展提供更加可靠的數據。
（二）增加工程造價的動態性。傳統的工程造價項目數據都是固定的，不會根據工程項目的開展進行變動，這種情況下一旦實際工程中出現一些偏離，工程造價數據的利用價值就會降低。利用大數據分析進行工程造價的過程中，在項目施工的過程中能夠根據項目施工情況的變化調整工程施工項目數據，改變前期確定的工程造價。由此我們能夠看到大數據分析能夠提升工程造價的動態性，對于全面提升工程造價水平具有積極意義。
（三）增加工程造價的全面性工程造價需要對于工程項目各個方面進行數據分析，這樣才能全面提升工程造價數據的科學性。大數據分析是對于工程項目的各個方面的數據進行全面的收集，這樣工程項目的全面性得以提升。利用大數據分析計算不僅能夠分析工程項目數據中的各種財務數據，還會分析一些非財務數據，這些數據非常的全面，能夠從不同的角度體現工程項目施工情況，這對于提升工程造價精確性具有積極意義。
（四）增加工程造價的指導作用工程造價是為了更好的指導工程項目的施工工作，利用大數據分析技術能夠全面的開展對于工程項目相關數據的收集與分析，提高工程造價的可參考性，因此項目開展施工的過程中會更多的參考工程造價數據進行施工管理，這樣能夠全面的提升工程造價的實用性，對于提升工程項目管理水平具有積極意義。為了更好的發揮其指導意義，利用大數據分析計算開展工程造價工作的過程中，應該加強數據與施工項目數據之間的聯系，這樣才能保證工程造價的可參考價值，為施工項目的順利完成提供可靠的保證。
三、利用大數據分析提升工程造價精準性的措施
（一）優化硬件設施大數據分析的應用需要擁有良好的硬件設置作為保證，為了能夠更好地利用大數據分析技術開展工程造價工作，施工項目單位的工作人員應該不斷的優化數據分析相關的硬件設施。首先，施工項目應該引進更加先進的設備，通過硬件設備的完善為工程造價工作的開展提供良好的環境。其次，施工單位需要培養大量的優秀人才。大數據分析工作屬于一種系統性非常強的工作，需要大量的掌握計算機技術的人才，因此為了能夠讓大數據分析技術更好地應用工程造價，施工單位內部應該培養與之配套的人才，這樣才能讓大數據技術真正的應用工程造價工作中去，為工程造價工作更好地開展提供可靠地保證。再次，施工項目人員應該在內部建立一個數據庫，把項目施工中的各種數據信息都存在在數據庫中，這樣能夠更方面數據分析人員利用大數據技術開展數據分析，全面提升數據分析水準。
（二）加強軟件管理大數據技術的應用不僅需要硬件支撐，還需要與之配套的軟件設施，這樣才能最大限度的發揮大數據分析的優勢作用。因此，施工項目單位開展工程造價工作前應該加強對于單位內部的軟件管理。首先，應該優化人力資源，提升員工對數據分析技術的掌握程度，針對工作人員進行技能培訓，讓相關的工作人員掌握必要的大數據技術開展數據分析。其次，施工單位應該建立與施工項目適應的軟件設置，根據施工項目實際情況以及數據分析需要設置必要的數據分析職能，建立屬于施工項目自身的軟件系統，這樣才能更好地發揮大數據分析的優勢，讓數據分析全面的服務于工程造價工作，全面提升工程總價水準。
（三）建立造價分析工作常態化分工協作體系工程造價分析工作需要各個部門互相配合，這樣才能最大限度地提升工程總價工作水平。因此為了能夠更好地利用大數據分析技術開展工程造價工作，施工單位應該建立造價分析工作常態化的分工協調體系。優化單位內部工作流程，落實工作責任，把大數據分析的具體職能深入的落實到單位內部的各個人員以及相關部門手中，這樣才能最大限度的保證工程施工項目能夠更好地開展施工，提高工程造價數據的精確性。在數據收集的過程總，應該讓每個工作部門都積極的參與進來，這樣能夠提升數據的范圍，保證數據更加真實可靠。只有真實可靠的數據來源才能更好地保證大數據分析結果更加的科學。另外，還要做好數據的存儲與保管工作，把大量數據存儲于數據庫內部，這樣才能夠擴大大數據分析的范圍，提升分析結果的科學性。
（四）加強對于大數據分析環境下對于工程造價的監督為了能夠更好地利用大數據分析開展工程造價工作，施工單位利用大數據分析技術的過程中，應該加強對于大數據分析工作的監督與管理，這樣能夠及時的發現大數據分析中的問題，針對問題提出有效的解決措施，防止大數據分析技術應用不充分影響工程造價工作的開展。在監督管理工作開展的過程中，需要保證相關工作人員的獨立性與專業性，只有保證獨立性才能提升監督管理效果。保證專業性是為了更好地發揮監管職能，及時的發現問題，解決問題。
【摘 要】為了解決傳統運營商面臨的急需提升主動服務能力的問題，研究了大數據分析在客戶服務方面的應用，通過大數據分析鎖定
>> 電信運營商真正的優勢在于大數據分析 通信運營商基于位置信息的大數據安全應用研究 電信運營商大數據對外應用案例分析 電信運營商大數據引入策略分析 運營商大數據安全管理策略研究 運營商基于信令大數據的關系嗅探方案 運營商的大數據機會 大數據運營商們的“絕活兒” 大數據時代下的電信運營商變革 基于大數據分析的政府人事治理研究 基于大數據分析的運營監測信息系統應用 基于大數據分析的智慧倉儲運營支撐平臺設計 基于大數據的電信運營商業務模式研究 基于個性化服務需求的圖書館大數據分析平臺構建研究 運用大數據技術構建運營商網管數據互聯中心 提升網管數據服務能力 電信運營商跨行業大數據融合應用場景分析 基于大數據技術的告警日志數據分析 電信運營商大數據應用系統建設方案研究 運營商大數據在旅游行業應用探索研究 運營商大數據業務發展方向及策略研究 常見問題解答 當前所在位置：l.
[4] 華信郵電咨詢設計研究院有限公司. 北京移動數據業務客戶價值管理及提升項目建議書[Z]. 2013.
[5] 羅旭祥. 產品與數據――基于數據挖掘的產品設計[EB/OL]. （2016-06-26）. .
[7] 董智純，楊林，詹念武，等. 一種基于大數據技術的投訴分析與預測系統[J]. 信息通信， 2015（9）： 285-286.
[8] 吳蒙. 主動服務中服務發現及其主動機制的研究[D]. 武漢： 武漢理工大學， 2009.
[9] 林波，丁東輝，郭靖羽，等. 基于投訴文本記錄的數據挖掘系統[J]. 中國科技信息， 2015（21）： 51-54.
[10] 于愛民. 利用數據挖掘實現電信行業客戶流失分析[J]. 廣東通信技術， 2004（5）： 4-7.
【摘要】我國在90年代就已經開始慢慢的開發智能交通技術，而在“十二五”期間得到了飛速的發展，同時也讓我國明確了智能交通發展的目標，并把大數據分析云平臺的技術運用到了智能交通的建設之中。在充分發揮大數據分析云平臺優勢同時，大力發展我國的智能交通。而本文就針對智能交通大數據分析云平臺技術進行了簡單的分析。
【關鍵詞】智能交通；大數據；分析云平臺；技術探討；分析研究
隨著時代的發展和信息技術水平的提高，大數據的發展已經遍布于各行各業，當然在交通運輸方面也是如此。而且交通運輸部因為運用了大數據分析云平臺，在感知識別、網絡傳輸、智能處理以及數據挖掘面都有了非常好的效果。而且在重大工程的實驗中，通過加強對物聯網、云計算等新技術的研究，還能提高本行業的信息化技術水平。
一、大數據時代智能交通系統的優劣分析
1、大數據時代改變傳統公共交通管理路徑。大數據的特點是內容豐富和全面，而且還有自己的傳輸方式，所以不受任何區域的限制。在傳統的交通管理中，很容易因為不同區域的信息不夠暢通，導致交通管理的效果不是很好，同時經常出現各種信息丟失的情況。而把大數據分析云平臺的技術應用到交通管理中，不但能很好的完成不同信息的傳遞，而且還能最大限度的利用這些數據，發揮他們的作用，提高交通管理的質量和效率。2、大數據下智能交通的優勢分析。首先，通過大數據分析云平臺的應用，能在很大程度上降低各種費用，而且它還能很好的選擇最為行之有效的車輛配置方案，保證道路交通一直處于比較暢通的狀態。其次，當出現各種交通問題的時候，通過大數據的分析能給問題的處理和交通的調度提供良好的基礎，提高交通的暢通性。最后，在交通監管的系統中，通過大數據分析，還能很好的完成各種事件的預測，降低失誤的發生率。3、大數據下智能交通的弊端。由于大數據的應用能提高傳遞信息的效率，也就間接的會影響到相關安全隱患問題的發生。例如，在大數據下的智能交通，會因為相關人員的位置以及路線信息造成丟失，就會間接的給人們的生命財產造成威脅。除此之外，每個地方都有交通數據，而這些數據還能被大數據管理和應用，而很多車輛計算交通數據都是以靜態方式存儲，所以使系統所具備的特點無法被除本人以外的事物進行檢索。
二、智能大數據的融合
1、關于成熟度的融合。在新時期下，無論是大數據的應用技術還是現代智能交通的技術都發展的非常速度，而且也越來越成熟。在現代化的社會中，無論是智能卡扣電子警察還是智能監控系統，都已經對處理的技術進行了智能化的應用，而且完整度和深度也在慢慢的加深。所以在這種情況下，大數據時代下智能交通很有可能成為新興的應用領域中最先推廣和運用的領域。2、關于技術的融合分析。就目前的大數據分析云計算平臺來說，這項技術的應用結構和智能交通的平臺系統結構融合度是非常高的，而且的大數據分析云平臺技術在智能交通領域中的應用，給社會帶來了很大的好處和效應。所以說，這項技術可以作為整個智能建設中的領導者，帶領其他的子模塊進行很好發展。3、關于群眾基礎的分析。對智能交通來說，智能交通面向的服務群里就是人民大眾，廣大人民群眾來說，智能交通直接影響著人們的出行，給人們帶來非常方面的出行信息，在很大程度上方便了人們的出行，而且也降低了整城市的運營成本。更重要的是，人民群眾的生活也越來越有秩序，也會給交通執法人員降低出勤的頻率。
三、云平臺技術特點的分析
1、可以有效的整合交通大量的數據信息資源。云平臺計算技術最大的額特點就是能很好的整合數據信息，將不同系統的信息資源，交通對象信息資源以及和交通工具信息資源等有效的分類和整理，同時還能利用大數據分析處理技術，解決大量信息的時效性。2、可以提高交通數據信息的利用率，將數據信息發輝出最大的價值。因為云計算最大的特點就是整合數據，所以在智能交通的中運用這項技術，能在很大程度上幫助交通部門提取非常有用的信息資源，而且通過描述交通的情況，還能將數據信息發揮出它最大的價值，充分的將交通數據利用了起來。最后在通過大數據的應用技術，還能更好的優化信息的數據，提高云計算的分析能力。3、可以多維度的實時傳輸，提供個性化服務。在大數據下時代下，隨著時代的發展和信息技術水平的提高，并通過云平臺的利用，可以將路況信息通過電腦、電話等多種渠道進行傳輸，而且保證傳輸的內容是實時的、真實的和準確的，給人們提高非常好的個性化交通信息服務。最終實現道路交通管理的質量和高效。
結束語：
總而言之，隨著社會的發展和變化，智能交通已經貫穿于人們的生活中，對人們生活有非常大的影響。而且通過大數據分析云平臺技術的應用，還讓交通信息的數據變得非常準確、高效、便捷和安全。而且大數據的應用是未來的發展趨勢，通過大數據智能交通的建設，還能更好的促進各大城市的交通發展，同時還能對海量的信息資源進行很好的整理，最終通過這些信息數據的處理，幫助交通部門構建一個非常安全、智能、高效而且成本還低的智能交通系統。
關鍵詞：供電企業；信息安全；大數據；分析方法；思路；探討
前言
智能化的電網正在全面地實施建設。隨著以大數據為中心的IT技術的不斷融入，當前我國的供電企業展開了大數據分析的研究，以便更好地使得大數據應用到整個配網的規劃當中。此外，還要根據電網的實際數據情況，把數據應用到智能變電站的建立、智能電網的調度及供電信息的采集等各個方面。進而有效地提高我國供電企業的管理水平及處理業務的能力。然而，信息化新技術在應用的過程中也具有一定的風險因素，所以需要建立大數據的安全分析結構，進而對數據進行相應的處理并把安全分析方法應用到整個供電企業的信息系統中去，進而更好地為供電企業的數據安全提供保障。
1供電企業的信息完全風險分析
大數據作為供電企業的管理工具是一把雙刃劍，給供電企業管理提供了便利，提高供電企業的管理水平和管理能力的同時，也給供電企業帶來了一定的挑戰和風險因素。使得企業數據處理、收集及傳輸的風險等級提高。若企業內部的數據出現問題，則會使得數據在進行傳輸的過程中被盜取和竊聽，這給企業的管理帶來了很大的風險。除此之外，企業在進行數據中進行一定的儲存和利用的過程中，也會由于大數據系統的內部維護不到位而帶了很大的風險。若企業的數據被長時間地竊聽，就會使得不法分子有機可乘，采用各種方法來對數據后臺進行攻擊和試探，并尋找系統的薄弱之處。最后實行致命的攻擊，并造成系統的癱瘓。所以，大數據給在方便企業的信息管理的同時，也帶來了一定的信息安全挑戰。
2供電企業信息安全大數據所面臨的數據安全的需要
傳統的電力信息系統逐漸地走向了信息化處理的進程，智能化的電網模式帶給了供電企業信息系統數據安全更大的要求。每次進行數據的訪問時，都需要確定數據的訪問權限，并核實訪問者的身份，并查看是否被授權。供電企業的數據信息需要被完整地保護，并保障其不被刪除或者惡意的篡改。一旦供電企業發生一定的突發事件，需要大數據平臺對數據進行自動的備份，并使數據得到安全的保護。④要采取一定的措施來保證供電企業的數據在運行過程中的安全性不被破壞。⑤要切實保證整個供電企業的信息系統的網絡安全，控制供電企業信息系統的基礎安全信息網絡和供電企業內部比較重要的業務系統的安全。
3供電企業的信息安全大數據分析思路
當前供電企業內容的安全信息系統逐漸地向著對抗型的信息安全系統方式轉變，并使得電力系統的大數據網絡可以積極地應對外界的攻擊。并對潛在的敵人進行分析和識別，并歸納總結當前的供電企業的信息安全大數據的風險類型，從而采取相應的對策，并先發制人，提高安全大數據系統的防御能力。這就是當前供電企業的信息安全大數據的分析思路。大數據的分析和挖掘技術需要不斷地融入到大數據的安全分析中去，下圖是大數據的安全結構分析思路。供電企業的信息安全大數據分析思路是基于技術的安全分析和理念，是至今為止比較完善的大數據安全分析辦法，是供電企業大數據的核心環節，是對相對分散的信息進行采集并實現存儲，并對其進行一定的分析，最后把其分析結果進行分發，把所有的安全分析體系結合在一起，并實現安全技術的互動。
4供電企業信息安全大數據安全分析結構的數據處理
供電企業的信息安全大數據的結構具體根據業務的不同分為不同的數據庫進行處理。關系數據庫是當前最豐富的數據庫，是進行供電企業信息安全處理的主要形式。而數據倉庫屬于一種多維的數據結構，可以允許用戶進行匯總級別的計算，并對數據進行觀察。事務數據庫中記錄了每一個事務，并同時附帶了一些相互關聯的附加表。文本數據庫是對圖象進行描述的數據庫，文本數據庫與圖書館數據庫類似。而多媒體數據庫則是對圖像以及音頻和視頻的存儲，并用于存放內容的檢索。供電企業的信息安全大數據的存儲往往需要先確定好處理的目標，并對數據進行量化的處理，最后對數據進行一定的評估，最后進行結果的展示。將大量的數據進行集中化的處理可以切實地反映出安全數據的指標，并根據指標對安全數據進行相應的評估。
5供電企業信息安全大數據安全分析方法
當前，進行供電企業信息安全大數據安全分析的方法有很多，隨著大數據的技術體系逐漸成熟，目前對安全數據的分析算法也變得多樣化，很多分析方法比如分類技術方法、序列分析方法等等對大量的數據的分析具有很好的效果。而對于不同的數據庫可以采用不同的分析算法進行分析。比如，當利用關系數據庫和事務數據庫時，就可以利用序列分析的辦法進行數據的挖掘和統計；而數據倉庫除了需要進行聯機處理以外，還需要進行數據的挖掘；文本數據庫則是利用模式匹配以及關聯分析等方法相互結合來進行數據的挖掘分析。
6結論
針對供電企業的信息安全的大數據分析有很多的途徑，在進行供電企業信息安全的大數據分析時，需要對供電企業的安全數據信息進行全面預測，并利用多種分析辦法綜合處理。隨著當前大數據網絡技術的不斷發展，根據大數據的分析特點進行安全分析的辦法也在不斷地完善。基于信息安全的大數據分析方法和思路具有很大的發展前景，安全大數據技術的不斷革新，使得供電企業的防護網絡更加地發達，并逐漸實現了供電企業的大數據信息安全的評估系統的完善，使得供電企業的信息安全大數據發展更為迅速。
參考文獻
[1]鐘志琛.電力大數據信息安全分析技術研究[J].電力信息與通信技術,2015(9):45-46.
