時間：2022-05-24 20:01:46
開篇：寫作不僅是一種記錄，更是一種創(chuàng)造，它讓我們能夠捕捉那些稍縱即逝的靈感，將它們永久地定格在紙上。下面是小編精心整理的12篇大數(shù)據(jù)分析論文，希望這些內(nèi)容能成為您創(chuàng)作過程中的良師益友，陪伴您不斷探索和進(jìn)步。
大數(shù)據(jù)背景下的機(jī)器算法
專業(yè)
計(jì)算機(jī)科學(xué)與技術(shù)
學(xué)生姓名
楊宇瀟
學(xué)號
181719251864
一、 選題的背景、研究現(xiàn)狀與意義
為什么大數(shù)據(jù)分析很重要？大數(shù)據(jù)分析可幫助組織利用其數(shù)據(jù)并使用它來識別新的機(jī)會。反過來，這將導(dǎo)致更明智的業(yè)務(wù)移動，更有效的運(yùn)營，更高的利潤和更快樂的客戶。
在許多早期的互聯(lián)網(wǎng)和技術(shù)公司的支持下，大數(shù)據(jù)在2000年代初的數(shù)據(jù)熱潮期間出現(xiàn)。有史以來第一次，軟件和硬件功能是消費(fèi)者產(chǎn)生的大量非結(jié)構(gòu)化信息。搜索引擎，移動設(shè)備和工業(yè)機(jī)械等新技術(shù)可提供公司可以處理并持續(xù)增長的數(shù)據(jù)。隨著可以收集的天文數(shù)據(jù)數(shù)量的增長，很明顯，傳統(tǒng)數(shù)據(jù)技術(shù)（例如數(shù)據(jù)倉庫和關(guān)系數(shù)據(jù)庫）不適合與大量非結(jié)構(gòu)化數(shù)據(jù)一起使用。 Apache軟件基金會啟動了第一個大數(shù)據(jù)創(chuàng)新項(xiàng)目。最重要的貢獻(xiàn)來自Google，Yahoo，F(xiàn)acebook，IBM，Academia等。最常用的引擎是：ApacheHive / Hadoop是復(fù)雜數(shù)據(jù)準(zhǔn)備和ETL的旗艦，可以為許多數(shù)據(jù)存儲或分析環(huán)境提供信息以進(jìn)行深入分析。 Apache Spark（由加州大學(xué)伯克利分校開發(fā)）通常用于大容量計(jì)算任務(wù)。這些任務(wù)通常是批處理ETL和ML工作負(fù)載，但與Apache Kafka等技術(shù)結(jié)合使用。
隨著數(shù)據(jù)呈指數(shù)級增長，企業(yè)必須不斷擴(kuò)展其基礎(chǔ)架構(gòu)以最大化其數(shù)據(jù)的經(jīng)濟(jì)價值。在大數(shù)據(jù)的早期（大約2008年），Hadoop被大公司首次認(rèn)可時，維護(hù)有用的生產(chǎn)系統(tǒng)非常昂貴且效率低下。要使用大數(shù)據(jù)，您還需要適當(dāng)?shù)娜藛T和軟件技能，以及用于處理數(shù)據(jù)和查詢速度的硬件。協(xié)調(diào)所有內(nèi)容同時運(yùn)行是一項(xiàng)艱巨的任務(wù)，許多大數(shù)據(jù)項(xiàng)目都將失敗。如今，云計(jì)算已成為市場瞬息萬變的趨勢。因?yàn)楦鞣N規(guī)模的公司都可以通過單擊幾下立即訪問復(fù)雜的基礎(chǔ)架構(gòu)和技術(shù)。在這里，云提供了強(qiáng)大的基礎(chǔ)架構(gòu)，使企業(yè)能夠勝過現(xiàn)有系統(tǒng)。
二、 擬研究的主要內(nèi)容（提綱）和預(yù)期目標(biāo)
隨著行業(yè)中數(shù)據(jù)量的爆炸性增長，大數(shù)據(jù)的概念越來越受到關(guān)注。 由于大數(shù)據(jù)的大，復(fù)雜和快速變化的性質(zhì)，許多用于小數(shù)據(jù)的傳統(tǒng)機(jī)器學(xué)習(xí)算法不再適用于大數(shù)據(jù)環(huán)境中的應(yīng)用程序問題。 因此，在大數(shù)據(jù)環(huán)境下研究機(jī)器學(xué)習(xí)算法已成為學(xué)術(shù)界和業(yè)界的普遍關(guān)注。 本文主要討論和總結(jié)用于處理大數(shù)據(jù)的機(jī)器學(xué)習(xí)算法的研究現(xiàn)狀。 另外，由于并行處理是處理大數(shù)據(jù)的主要方法，因此我們介紹了一些并行算法，介紹了大數(shù)據(jù)環(huán)境中機(jī)器學(xué)習(xí)研究所面臨的問題，最后介紹了機(jī)器學(xué)習(xí)的研究趨勢，我們的目標(biāo)就是研究數(shù)據(jù)量大的情況下算法和模型的關(guān)系，同時也會探討大部分細(xì)分行業(yè)數(shù)據(jù)量不大不小的情況下算法的關(guān)系。
三、 擬采用的研究方法（思路、技術(shù)路線、可行性分析論證等）
1.視覺分析。大數(shù)據(jù)分析用戶包括大數(shù)據(jù)分析專業(yè)人士和一般用戶，但是大數(shù)據(jù)分析的最基本要求是視覺分析。視覺分析直觀地介紹了大數(shù)據(jù)的特征，并像閱讀照片的讀者一樣容易接受。 2.數(shù)據(jù)挖掘算法。大數(shù)據(jù)分析的理論中心是數(shù)據(jù)挖掘算法。不同的數(shù)據(jù)挖掘算法依賴于不同的數(shù)據(jù)類型和格式來更科學(xué)地表征數(shù)據(jù)本身。由于它們被全世界的統(tǒng)計(jì)學(xué)家所公認(rèn)，因此各種統(tǒng)計(jì)方法（稱為真值）可以深入到數(shù)據(jù)中并挖掘公認(rèn)的值。另一方面是這些數(shù)據(jù)挖掘算法可以更快地處理大數(shù)據(jù)。如果該算法需要花費(fèi)幾年時間才能得出結(jié)論，那么大數(shù)據(jù)的價值是未知的。 3.預(yù)測分析。大數(shù)據(jù)分析的最后一個應(yīng)用領(lǐng)域是預(yù)測分析，發(fā)現(xiàn)大數(shù)據(jù)功能，科學(xué)地建立模型以及通過模型吸收新數(shù)據(jù)以預(yù)測未來數(shù)據(jù)。 4.語義引擎。非結(jié)構(gòu)化數(shù)據(jù)的多樣化為數(shù)據(jù)分析提出了新的挑戰(zhàn)。您需要一套工具來分析和調(diào)整數(shù)據(jù)。語義引擎必須設(shè)計(jì)有足夠的人工智能，以主動從數(shù)據(jù)中提取信息。 5.數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。大數(shù)據(jù)分析是數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理的組成部分。高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理確保了分析結(jié)果在學(xué)術(shù)研究和商業(yè)應(yīng)用中的可靠性和價值。大數(shù)據(jù)分析的基礎(chǔ)是前五個方面。當(dāng)然，如果您更深入地研究大數(shù)據(jù)分析，則還有更多特征，更深入，更專業(yè)的大數(shù)據(jù)分析方法。
四、 論文（設(shè)計(jì)）的工作進(jìn)度安排
2020.03.18-2020.03.20 明確論文內(nèi)容，進(jìn)行相關(guān)論文資料的查找與翻譯。2020.04.04-2020.04.27：撰寫開題報告 。
2020.04.28-2020.04.30 ：設(shè)計(jì)實(shí)驗(yàn)。
2020.05.01-2020.05.07 ：開展實(shí)驗(yàn)。
2020.05.08-2020.05.15 ：準(zhǔn)備中期檢查。
2020.05.16-2020.05.23：根據(jù)中期檢查的問題，進(jìn)一步完善實(shí)驗(yàn)2020.05.24-2020.05.28 ：完成論文初稿。
2020.05.29-2020.06.26 ：論文修改完善。
五、 參考文獻(xiàn)（不少于5篇）
1 . 王偉,王珊,杜小勇,覃雄派,王會舉.大數(shù)據(jù)分析——rdbms與mapreduce的競爭與共生 .計(jì)算機(jī)光盤軟件與應(yīng)用,2012.被引量：273.
2 . 喻國明. 大數(shù)據(jù)分析下的中國社會輿情:總體態(tài)勢與結(jié)構(gòu)性特征——基于百度熱搜詞(2009—2 012)的輿情模型構(gòu)建.中國人民大學(xué)學(xué)報,2013.被引量：9. 3 . 李廣建,化柏林.大數(shù)據(jù)分析與情報分析關(guān)系辨析.中國圖書館學(xué)報,2014.被引量：16.
4 . 王智,于戈,郭朝鵬,張一川,宋杰.大數(shù)據(jù)分析的分布式molap技術(shù) .軟件學(xué)報,2014.被引量：6.
5 . 王德文,孫志偉.電力用戶側(cè)大數(shù)據(jù)分析與并行負(fù)荷預(yù)測 .中國電機(jī)工程學(xué)報,2015.被引量：19.
6 . 江秀臣,杜修明,嚴(yán)英杰,盛戈皞,陳玉峰 ,郭志紅.基于大數(shù)據(jù)分析的輸變電設(shè)備狀態(tài)數(shù)據(jù)異常檢測方法 .中國電機(jī)工程學(xué)報,2015.被引量：8.
7 . 喻國明. 呼喚“社會最大公約數(shù)”:2012年社會輿情運(yùn)行態(tài)勢研究——基于百度熱搜詞的大 數(shù)據(jù)分析.編輯之友,2013.被引量：4.
六、指導(dǎo)教師意見
簽字： 年 月 日
七、學(xué)院院長意見及簽字
[關(guān)鍵詞]Hadoop;大數(shù)據(jù);分布式計(jì)算;HDFS;MapReduce
doi：10.3969/j.issn.1673 - 0194.2015.20.032
[中圖分類號]TP308;TP311.13 [文獻(xiàn)標(biāo)識碼]A [文章編號]1673-0194（2015）20-0041-01
1 大數(shù)據(jù)
大數(shù)據(jù)需要新處理模式才具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)的核心是預(yù)測，它把數(shù)學(xué)算法應(yīng)用到海量數(shù)據(jù)上來預(yù)測事件發(fā)生的可能性。大數(shù)據(jù)同時意味著思維的變革：①小數(shù)據(jù)分析的是隨機(jī)樣本，而大數(shù)據(jù)分析的是全體數(shù)據(jù)，全面展示樣本無法表達(dá)的細(xì)節(jié)信息;②小數(shù)據(jù)分析追求精確性，而大數(shù)據(jù)分析具有混雜性，這意味著大數(shù)據(jù)的簡單算法比采樣數(shù)據(jù)的復(fù)雜算法更有效;③小數(shù)據(jù)分析關(guān)注因果關(guān)系，而大數(shù)據(jù)分析更關(guān)注相關(guān)關(guān)系，通過分析事物之間的關(guān)聯(lián)性，來預(yù)測事件的發(fā)展趨勢。
2 Hadoop大數(shù)據(jù)平臺
Hadoop是Apache的開源分布式計(jì)算平臺。受Google大數(shù)據(jù)論文的啟發(fā)，Doug Cutting用JAVA實(shí)現(xiàn)了以MapReduce和HDFS為核心的Hadoop，并將源代碼完全貢獻(xiàn)出來。Hadoop充分發(fā)揮集群的計(jì)算和存儲能力，快速完成海量數(shù)據(jù)的處理。Hadoop采用分布式存儲來提高讀寫速度和擴(kuò)大存儲容量;采用MapReduce整合分布式文件系統(tǒng)上的數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)高速處理;采用存儲冗余數(shù)據(jù)來保證數(shù)據(jù)的安全性。
2.1 HDFS
HDFS是基于流模式訪問和處理超大文件的需求而開發(fā)的，它可以運(yùn)行于廉價的商用服務(wù)器上，HDFS的主要特點(diǎn)有以下3個方面。①處理超大文件：在實(shí)際應(yīng)用中，HDFS已經(jīng)能夠用來存儲管理PB級的數(shù)據(jù)了。②流式訪問數(shù)據(jù)：請求讀取整個數(shù)據(jù)集要比讀取一條記錄更加高效。③運(yùn)行于廉價的商用機(jī)器集群上：HDFS對硬件要求較低，無需昂貴的高可用性機(jī)器。
HDFS體系結(jié)構(gòu)中有兩類節(jié)點(diǎn)：NameNode和DataNode，NameNode負(fù)責(zé)管理集群中的執(zhí)行調(diào)度，DataNode是具體任務(wù)的執(zhí)行節(jié)點(diǎn)。當(dāng)執(zhí)行任務(wù)時，客戶端訪問NameNode獲取文件數(shù)據(jù)信息，與DataNode進(jìn)行交互以訪問整個文件系統(tǒng)。HDFS向用戶提供類似POSIX的文件接口，開發(fā)者在編程時無需考慮NameNode和DataNode的實(shí)現(xiàn)細(xì)節(jié)。
2.2 MapReduce
MapReduce是Google公司的核心計(jì)算模型。在Hadoop中，用于執(zhí)行MapReduce任務(wù)的機(jī)器有兩種角色：JobTracker和TaskTracker，一個Hadoop集群中只有一個JobTracker，用于任務(wù)管理和調(diào)度。一般來說，為了減輕網(wǎng)絡(luò)傳輸?shù)膲毫Γ瑪?shù)據(jù)存儲在哪個節(jié)點(diǎn)上，就由哪個節(jié)點(diǎn)進(jìn)行這部分?jǐn)?shù)據(jù)的計(jì)算。JobTracker監(jiān)控任務(wù)運(yùn)行情況，當(dāng)一個TaskTracker出現(xiàn)故障時，JobTracker會將其承擔(dān)的任務(wù)轉(zhuǎn)交到另一個空閑的TaskTracker重新運(yùn)行。TaskTracker用于執(zhí)行具體的工作。
3 大數(shù)據(jù)在智能電網(wǎng)中的應(yīng)用構(gòu)想
通過Hadoop大數(shù)據(jù)平臺，技術(shù)人員可實(shí)時觀察到全網(wǎng)范圍內(nèi)的電能流動狀態(tài)、電能負(fù)載熱區(qū)、設(shè)備故障高發(fā)區(qū)和客戶集中區(qū)等數(shù)據(jù)，實(shí)現(xiàn)更加智能化的電網(wǎng)。具體包括以下4個方面。
3.1 電網(wǎng)數(shù)據(jù)可視化
在未來智能電網(wǎng)中，通過大數(shù)據(jù)分析融合調(diào)度、配電、輸電、發(fā)電和用電客戶數(shù)據(jù)，實(shí)現(xiàn)實(shí)時和非實(shí)時數(shù)據(jù)的高度信息化集成，通過實(shí)時可視化運(yùn)算分析，全面展示完整和精細(xì)的電網(wǎng)運(yùn)行狀態(tài)圖，為管理層提供輔助決策支持和依據(jù)。
3.2 電網(wǎng)負(fù)載趨勢預(yù)測
在未來智能電網(wǎng)中，通過大數(shù)據(jù)分析電網(wǎng)負(fù)載的歷史數(shù)據(jù)和實(shí)時數(shù)據(jù)，展示全網(wǎng)實(shí)時負(fù)載狀態(tài)，預(yù)測電網(wǎng)負(fù)載變化趨勢，通過現(xiàn)代化管理技術(shù)的綜合應(yīng)用，提高設(shè)備的使用效率，降低電能損耗，使電網(wǎng)運(yùn)行更加經(jīng)濟(jì)和高效。
3.3 設(shè)備故障趨勢預(yù)測
在未來智能電網(wǎng)中，通過大數(shù)據(jù)分析電網(wǎng)中部分故障設(shè)備的故障類型、歷史狀態(tài)和運(yùn)行參數(shù)之間的相關(guān)性，預(yù)測電網(wǎng)故障發(fā)生的規(guī)律，評估電網(wǎng)運(yùn)行風(fēng)險，開展實(shí)時預(yù)警，提前做好設(shè)備巡檢和消缺工作，為電網(wǎng)安全穩(wěn)定運(yùn)行保駕護(hù)航。
3.4 客戶電力需求預(yù)測
在未來智能電網(wǎng)中，通過大數(shù)據(jù)分析電網(wǎng)客戶的用電數(shù)據(jù)，預(yù)測區(qū)域用電和大客戶用電需求變化趨勢，針對客戶需求提前制訂高質(zhì)量的服務(wù)計(jì)劃，提升社會滿意度。
4 結(jié) 語
Hadoop充分發(fā)揮集群的計(jì)算和存儲能力，完成海量數(shù)據(jù)的實(shí)時處理。在未來的智能電網(wǎng)中，大數(shù)據(jù)分析可以應(yīng)用到電網(wǎng)運(yùn)行全景可視化、電網(wǎng)負(fù)載預(yù)測、設(shè)備故障趨勢預(yù)測和客戶需求趨勢預(yù)測等需求，充分挖掘海量數(shù)據(jù)的價值，為智能電網(wǎng)提供技術(shù)參考。
（湖南城市學(xué)院圖書館，湖南 益陽413000）
【摘 要】在云計(jì)算、物聯(lián)網(wǎng)等技術(shù)的推動下，世界已經(jīng)進(jìn)入了一個“大數(shù)據(jù)”時代。本文旨在討論大數(shù)據(jù)時代下，圖書館與大數(shù)據(jù)相關(guān)的研究內(nèi)容、發(fā)展存在的問題以及總體發(fā)展趨勢。在大數(shù)據(jù)時代下，圖書館應(yīng)該進(jìn)行服務(wù)模式創(chuàng)新與重構(gòu)、服務(wù)內(nèi)容創(chuàng)新與重構(gòu)，從而解決發(fā)展瓶頸。
關(guān)鍵詞 大數(shù)據(jù)；圖書館；云計(jì)算
0 引言
在云計(jì)算、物聯(lián)網(wǎng)等技術(shù)的推動下，世界已經(jīng)進(jìn)入了一個“大數(shù)據(jù)”時代。如何有效地利用大數(shù)據(jù)成為政府公共管理和企業(yè)界共同關(guān)注的問題，但這些數(shù)據(jù)集的規(guī)模往往超出數(shù)據(jù)處理者的能力。圖書館主要工作為實(shí)踐，研究和教育。以最大限度地利用人類的知識，促進(jìn)專業(yè)的交流為責(zé)任。圖書館職業(yè)無法離開專業(yè)知識和信息，影響人類社會的可持續(xù)發(fā)展。數(shù)據(jù)是圖書館藏書的重要組成部分。數(shù)據(jù)作為原始類的產(chǎn)品，可以加工、整理、分析，最后提煉成人與人之間的生產(chǎn)和生活中發(fā)揮更大作用的信息和知識。因此，大數(shù)據(jù)主題是圖書館行業(yè)內(nèi)應(yīng)當(dāng)研究的問題，展示了圖書館界在信息社會求生存，謀發(fā)展能力的提升。本文旨在討論大數(shù)據(jù)時代下，圖書館與大數(shù)據(jù)相關(guān)的研究內(nèi)容、發(fā)展存在的問題以及總體發(fā)展趨勢。
1 圖書館學(xué)研究教育與大數(shù)據(jù)現(xiàn)狀
圖書館已有的研究中有文獻(xiàn)計(jì)量學(xué)等和大數(shù)據(jù)有關(guān)。研究人員為了促進(jìn)信息科學(xué)與社會科學(xué)的進(jìn)步，通過大型網(wǎng)絡(luò)規(guī)模的收集獲得數(shù)據(jù)和分析數(shù)據(jù)得出相關(guān)結(jié)論來實(shí)現(xiàn)目標(biāo)。由于大數(shù)據(jù)技術(shù)的應(yīng)用，傳統(tǒng)的文獻(xiàn)計(jì)量學(xué)的研究從過去只有簡單的描述性研究擴(kuò)展到評估和預(yù)測的研究。圖書館學(xué)研究人員參與了很多相關(guān)的項(xiàng)目，例如，新西蘭的奧塔哥大學(xué)的圖書館承擔(dān)了研究數(shù)據(jù)管理項(xiàng)目的任務(wù)，在麻省理工大學(xué)設(shè)立項(xiàng)目研究圖書館數(shù)據(jù)存儲、需求分析數(shù)據(jù)的管理，和傳播數(shù)據(jù)，并完成數(shù)據(jù)收集保存標(biāo)準(zhǔn)的制定工作。烏里韋和麥克唐納在認(rèn)為數(shù)據(jù)監(jiān)測工作將從傳統(tǒng)的信息技術(shù)受益。Huwe建議采取政治手段，以促進(jìn)圖書館和數(shù)據(jù)中心的發(fā)展，他認(rèn)為高等教育機(jī)構(gòu)應(yīng)該認(rèn)可圖書館對學(xué)術(shù)研究的支持。通過分析2008非常流行的“數(shù)字化監(jiān)控中心的生命周期模型”，希金斯提出，圖書館的“數(shù)據(jù)保留計(jì)劃”的生命周期可以被納入其數(shù)字機(jī)構(gòu)庫文件管理實(shí)體。此外，美國學(xué)者對館員在大數(shù)據(jù)環(huán)境中的作用和專業(yè)知識進(jìn)行了調(diào)查，他們一致認(rèn)為圖書館可以在大數(shù)據(jù)時代承擔(dān)數(shù)據(jù)管理職責(zé)。謝菲爾德大學(xué)還安排了基礎(chǔ)的信息學(xué)專業(yè)課程。 2011年6月倫敦國際監(jiān)護(hù)教育論壇投入使用的，也給數(shù)字監(jiān)控領(lǐng)域的發(fā)展提供了一個機(jī)會。
國內(nèi)目前的相關(guān)研究課題還處于剛起步的狀態(tài)，CNKI與該主題相關(guān)的文章也只有寥寥幾篇。相比之下，國內(nèi)對“數(shù)據(jù)監(jiān)護(hù)權(quán)”的關(guān)注度更高這，主要是針對大學(xué)圖書館在這個專業(yè)領(lǐng)域展開更多的研究。這方面的論文在2012年之后有一個井噴式的增長，但總體來說，國內(nèi)相關(guān)文獻(xiàn)還相對較少，研究項(xiàng)目也幾乎沒有。
2 圖書館的大數(shù)據(jù)特征
在數(shù)字化時代，數(shù)據(jù)處理更容易、更快。圖書館的數(shù)據(jù)資源種類多、數(shù)量大、形式多樣。截至2008年底，CALS的文檔數(shù)據(jù)量達(dá)到180T，2010年底的國家圖書館數(shù)字資源總量達(dá)到480 T。目前，國家博物館進(jìn)行維護(hù)之后，數(shù)字圖書館的非結(jié)構(gòu)化數(shù)據(jù)的存儲容量將非常大。總數(shù)字資源工程也達(dá)到108TB。由此看來，圖書館的數(shù)字資源總量已聚集為一個大的數(shù)據(jù)集。再次，圖書館自動化服務(wù)水平已發(fā)展到了一個新的階段。此外，用戶服務(wù)信息每日激增，用戶對服務(wù)的要求越來越高，圖書館要根據(jù)用戶的服務(wù)信息，做出相應(yīng)的調(diào)整。因此，根據(jù)各自限定的環(huán)境和條件，從大量的數(shù)據(jù)分析中挖掘出用戶當(dāng)前和未來的需求都非常迫切。
3 大數(shù)據(jù)背景下圖書館發(fā)展趨勢
3.1 服務(wù)模式創(chuàng)新與重構(gòu)
目前，隨著科學(xué)技術(shù)的不斷發(fā)展，傳統(tǒng)的紙質(zhì)圖書館向電子、數(shù)字圖書館的轉(zhuǎn)變，因此圖書館服務(wù)的性質(zhì)已經(jīng)發(fā)生了很大的變化。傳統(tǒng)圖書館是點(diǎn)對點(diǎn)的服務(wù)，而目前數(shù)字圖書館已經(jīng)成為綜合，服務(wù)的風(fēng)格和方法等方面都發(fā)生了很大的變化。在服務(wù)理念上，數(shù)字圖書館是基于數(shù)據(jù)服務(wù)的基礎(chǔ)上，在大數(shù)據(jù)的基礎(chǔ)上，從數(shù)據(jù)采集，智能服務(wù)，提供綜合服務(wù)，創(chuàng)新了服務(wù)模式。在大數(shù)據(jù)時代，數(shù)據(jù)資源是豐富的，每個圖書館可以利用網(wǎng)絡(luò)來收集大量的數(shù)據(jù)資源，基于資源共享提供各種數(shù)據(jù)管理的資源之間的無縫連接。
3.2 服務(wù)內(nèi)容創(chuàng)新與重構(gòu)
在大數(shù)據(jù)時代背景下，競爭已經(jīng)不再是一個簡單的數(shù)據(jù)資源所有權(quán)的競爭，而是在數(shù)據(jù)的結(jié)構(gòu)以及類型上、數(shù)據(jù)的開發(fā)以及利用上的競爭。從圖書館的角度來看，它是在大數(shù)據(jù)背景下，為了避免自己被邊緣化，就必須分析數(shù)據(jù)，來進(jìn)行相關(guān)的數(shù)據(jù)分析服務(wù)。分析數(shù)據(jù)庫業(yè)務(wù)有以下幾個方面：首先，圖書館需要建立自己的大數(shù)據(jù)分析，數(shù)據(jù)分析通常在現(xiàn)有的數(shù)據(jù)，如讀者愛好的書籍等。另外是對讀者的分析，這類似企業(yè)和其他客戶群體參考提供的數(shù)據(jù)分析、競爭情報分析，但也有很大的區(qū)別，不同之處在于數(shù)據(jù)分析對象、用于數(shù)據(jù)分析和數(shù)據(jù)分析的目的等。對于這樣的數(shù)據(jù)，可能不會被圖書館所擁有，所以它必然成為在這個行業(yè)發(fā)展的瓶頸限制，我們應(yīng)該想辦法解決這些問題。
參考文獻(xiàn)
［1］劉瓊.大數(shù)據(jù)環(huán)境下圖書館面臨的影響與挑戰(zhàn)[J].理論觀察,2013(8):112-113.
［2］孫琳.大數(shù)據(jù)時代圖書館服務(wù)體系創(chuàng)新研究[J].理論觀察,2013(4):99-100.
［3］李立.大數(shù)據(jù)在數(shù)字圖書館中的應(yīng)用分析[J].高校實(shí)驗(yàn)室工作研究,2014(3): 35-37.
關(guān)鍵詞：大數(shù)據(jù)時代；地方應(yīng)用型高校；軟件工程專業(yè)；課程體系
0引言
大數(shù)據(jù)作為繼云計(jì)算、物聯(lián)網(wǎng)之后IT行業(yè)又一顛覆性的技術(shù)，備受人們的關(guān)注，大數(shù)據(jù)技術(shù)正從概念轉(zhuǎn)向?qū)嶋H的應(yīng)用，涌現(xiàn)出越來越多的大數(shù)據(jù)技術(shù)應(yīng)用成功案例，大數(shù)據(jù)的價值也在迅速增長。2015年，中國大數(shù)據(jù)市場規(guī)模達(dá)到115．9億元人民幣，增速達(dá)38％，預(yù)計(jì)2016～2018年中國大數(shù)據(jù)市場規(guī)模將維持40％左右的高速增長［1］。大數(shù)據(jù)時代的到來，使得軟件行業(yè)對人才的應(yīng)用能力和綜合素質(zhì)提出了更高的要求。咸陽師范學(xué)院作為咸陽市地方應(yīng)用型高校以服務(wù)咸陽地區(qū)經(jīng)濟(jì)社會發(fā)展為己任，肩負(fù)著培養(yǎng)滿足咸陽地方社會需求軟件人才的使命，需要把培養(yǎng)面向大數(shù)據(jù)時代的軟件工程專業(yè)人才作為戰(zhàn)略任務(wù)來抓。而課程體系的建設(shè)是軟件工程專業(yè)人才培養(yǎng)體系最重要的一個方面。本文通過分析我院傳統(tǒng)軟件工程專業(yè)課程體系，以及大數(shù)據(jù)時代下企業(yè)對軟件工程專業(yè)人才要求，找出大數(shù)據(jù)時代下軟件工程專業(yè)應(yīng)用型人才中課程體系存在的問題，探索出我院面向大數(shù)據(jù)環(huán)境的應(yīng)用型軟件工程人才中課程體系的建設(shè)。
1我院軟件工程專業(yè)傳統(tǒng)的課程體系
自我院計(jì)算機(jī)系成立以來，軟件工程專業(yè)一直是我院重點(diǎn)建設(shè)專業(yè)。2013年，“‘3＋1’校企合作軟件人才培養(yǎng)模式創(chuàng)新實(shí)驗(yàn)區(qū)”被確定為省級人才培養(yǎng)模式創(chuàng)新實(shí)驗(yàn)區(qū)。一直以來，該專業(yè)以培養(yǎng)“厚基礎(chǔ)、強(qiáng)能力、高素質(zhì)”應(yīng)用型人才的為培養(yǎng)目標(biāo)，以企業(yè)、市場需求為導(dǎo)向，重視實(shí)踐、技能和應(yīng)用能力的培養(yǎng)，與尚觀科技、中軟國際、華清遠(yuǎn)見、藍(lán)鷗科技等西安多家企業(yè)聯(lián)合，采取3＋1嵌入式校企聯(lián)合教育培養(yǎng)模式，將課程教學(xué)、工程實(shí)踐、行業(yè)理念進(jìn)行無縫結(jié)合。課程體系是一個專業(yè)所設(shè)置的課程相互間的分工與配合［2］，主要反映在基礎(chǔ)課與專業(yè)課，理論課與實(shí)踐課，必修課與選修課之間的比例關(guān)系上［3］。地方應(yīng)用型本科院校的課程體系設(shè)計(jì)既要體現(xiàn)基礎(chǔ)知識的傳授，也要體現(xiàn)實(shí)踐能力的培養(yǎng)，同時還要考慮學(xué)生的職業(yè)能力規(guī)劃發(fā)展問題。我院2013－2015級軟件工程專業(yè)課程體系結(jié)構(gòu)圖如圖1所示。圖12013－2015級軟件工程專業(yè)課程體系結(jié)構(gòu)圖從圖1可以看出通識教育必修課程的教學(xué)階段共3個半學(xué)年，主要涉及思想政治基礎(chǔ)知識、體育、人文歷史、外語應(yīng)用能力等；相關(guān)學(xué)科基礎(chǔ)類課程主要包括高數(shù)、線性代數(shù)、數(shù)字邏輯等數(shù)學(xué)類課程；本學(xué)科基礎(chǔ)類課程主要涉及程序設(shè)計(jì)語言、計(jì)算機(jī)網(wǎng)絡(luò)、操作系統(tǒng)、數(shù)據(jù)結(jié)構(gòu)、計(jì)算機(jī)組成原理等；專業(yè)技能教學(xué)階段強(qiáng)調(diào)對學(xué)生工程性、實(shí)用性、技術(shù)性和復(fù)合型能力的培養(yǎng)，主要安排專業(yè)必修課程和專業(yè)選修課程。專業(yè)必修課程包括面向?qū)ο蟪绦蛟O(shè)計(jì)、軟件工程、數(shù)據(jù)庫原理與應(yīng)用、軟件設(shè)計(jì)與體系結(jié)構(gòu)、算法分析與設(shè)計(jì)等，專業(yè)選修課程包括Web軟件開發(fā)、Linux系統(tǒng)應(yīng)用程序開發(fā)、移動終端開發(fā)等。根據(jù)教育部專業(yè)教學(xué)指導(dǎo)委員會軟件工程行業(yè)規(guī)范［4］，本著“輕理論，重實(shí)踐”的原則，我院在一定程度上壓縮理論課課時，增加實(shí)踐課課時，優(yōu)化專業(yè)課程體系結(jié)構(gòu)。我院2015級軟件工程專業(yè)的人才培養(yǎng)計(jì)劃中，各類課程學(xué)分設(shè)置與所占比例。
2大數(shù)據(jù)時代企業(yè)對軟件工程專業(yè)人才的要求
大數(shù)據(jù)時代所需要的人才是一定擁有數(shù)據(jù)處理、分析技術(shù)的，也就是對數(shù)據(jù)有敏銳的直覺和本質(zhì)的認(rèn)知、能夠運(yùn)用統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)、分布式處理等技術(shù)，從海量、復(fù)雜的數(shù)據(jù)中挖掘出有用的信息，以清晰易懂的形式傳達(dá)給決策者，并創(chuàng)造出豐富有價值的專業(yè)人士［5］。在大數(shù)據(jù)時代下，對軟件專業(yè)人才培養(yǎng)，應(yīng)具備以下四個方面的技能。（1）具有厚實(shí)的數(shù)學(xué)、統(tǒng)計(jì)和計(jì)算機(jī)學(xué)科的相關(guān)知識，能夠根據(jù)具體案例大數(shù)據(jù)分析任務(wù)的要求，運(yùn)用大數(shù)據(jù)處理、分析平臺，收集整理海量數(shù)據(jù)并加以分析，挖掘出有價值的信息。（2）掌握大數(shù)據(jù)處理技術(shù)及可視化工具，能根據(jù)具體任務(wù)的需求，對數(shù)據(jù)進(jìn)行選擇、轉(zhuǎn)換、加工等處理操作，采用有效方法和模型對數(shù)據(jù)進(jìn)行分析并形成數(shù)據(jù)分析報告，用易于用戶理解的方式，提供科學(xué)的決策依據(jù)。（3）熟悉行業(yè)知識、專門業(yè)務(wù)及流程，將大數(shù)據(jù)技術(shù)和企業(yè)文化相結(jié)合，充分利用大數(shù)據(jù)分析處理的結(jié)果，挖掘出海量數(shù)據(jù)中隱藏的價值并應(yīng)用于企業(yè)市場領(lǐng)域。（4）團(tuán)隊(duì)合作精神，大量數(shù)據(jù)的收集整理、存儲、分析和處理，一個人是很難完成的，需要一個由團(tuán)隊(duì)成員合理分工、共同協(xié)作完成。
3大數(shù)據(jù)時代我院軟件工程專業(yè)傳統(tǒng)的課程體系存在的問題
地方高校一直以來受傳統(tǒng)的“學(xué)術(shù)型”、“研究型”人才培養(yǎng)模式的影響較大，形成了適合于“精英教育”為培養(yǎng)研究型人才的課程體系，無法適應(yīng)以工程實(shí)踐能力、創(chuàng)新創(chuàng)業(yè)意識、新技術(shù)新方向?yàn)槟繕?biāo)的人才培養(yǎng)，課程體系中理論教學(xué)占主導(dǎo)地位，實(shí)踐教學(xué)往往處于次要地位［6］。而目前處于大數(shù)據(jù)時代，信息技術(shù)的不斷創(chuàng)新、企業(yè)需求不斷變化、綜合型人才需求巨大等因素的影響下，傳統(tǒng)的培養(yǎng)研究型人才的課程體系，無法適應(yīng)大數(shù)據(jù)時代以工程實(shí)踐能力、創(chuàng)新創(chuàng)業(yè)意識、新技術(shù)新方向?yàn)槟繕?biāo)的人才培養(yǎng)。通過了解大數(shù)據(jù)環(huán)境企業(yè)對軟件工程人才的要求，分析我院2013－2015級軟件工程專業(yè)人才培養(yǎng)課程體系結(jié)構(gòu)，發(fā)現(xiàn)存在以下問題：（1）缺少大數(shù)據(jù)技術(shù)方面的課程。傳統(tǒng)的課程體系中主要包括軟件工程專業(yè)一些傳統(tǒng)的課程，如數(shù)據(jù)結(jié)構(gòu)、軟件工程、軟件體系結(jié)構(gòu)等，而且課程內(nèi)容較陳舊，所開設(shè)的一些應(yīng)用軟件的學(xué)習(xí)不能緊密貼合行業(yè)和技術(shù)發(fā)展，軟件工程專業(yè)教育必須適應(yīng)互聯(lián)網(wǎng)時展和大數(shù)據(jù)技術(shù)的需求，關(guān)注企業(yè)發(fā)展及大數(shù)據(jù)系統(tǒng)的建設(shè)問題，以滿足企業(yè)對應(yīng)用型人才的需要。（2）實(shí)踐類課程學(xué)時所占比例較少。我院2015級軟件工程專業(yè)實(shí)踐類課程占總學(xué)時的10．8％，是因?yàn)閭鹘y(tǒng)的課程體系注重知識傳授，而忽略了學(xué)生解決問題、動手能力的提高。地方高校在人才培養(yǎng)中重視理論內(nèi)容、計(jì)算機(jī)編程能力，而忽略學(xué)生探索能力的培養(yǎng)，這些都不利于學(xué)生對新技術(shù)、新方向發(fā)展的把握，學(xué)生難以應(yīng)對各種層出不窮、錯綜復(fù)雜的海量數(shù)據(jù)，很難挖掘出隱藏的數(shù)據(jù)價值并有效利用。（3）課程體系結(jié)構(gòu)設(shè)置方面，一是存在通識教育類課程教學(xué)階段持續(xù)時間長，一直到第7個學(xué)期，這就影響了后面專業(yè)類課程的學(xué)習(xí)；二是專業(yè)基礎(chǔ)類分為專業(yè)必修和選修，沒有從課程教學(xué)階段不同來劃分，不能體現(xiàn)課程先后的銜接關(guān)系。
4大數(shù)據(jù)時代我院軟件工程專業(yè)課程體系建設(shè)改革
在大數(shù)據(jù)時代，軟件工程專業(yè)教育必須適應(yīng)企業(yè)發(fā)展和大數(shù)據(jù)行業(yè)的需求。教學(xué)內(nèi)容的設(shè)置應(yīng)與行業(yè)需求接軌，根據(jù)我院學(xué)生特點(diǎn)調(diào)整2016級軟件工程專業(yè)課程體系。具體做了以下幾點(diǎn)的調(diào)整。（1）課程體系結(jié)構(gòu)更合理。一是通識教育類課程的調(diào)整。一方面將教學(xué)階段全部調(diào)整到第1、2學(xué)年完成，這樣在第3學(xué)年學(xué)生就可以重點(diǎn)學(xué)習(xí)專業(yè)類技能課程；另一方面此部分增加了大學(xué)生心理健康和創(chuàng)新創(chuàng)業(yè)教育課程，主要可以加強(qiáng)學(xué)生團(tuán)隊(duì)合作精神的培養(yǎng)。二是專業(yè)類課程結(jié)構(gòu)的調(diào)整。將專業(yè)類課程分為專業(yè)（學(xué)科）基礎(chǔ)課程和專業(yè)技能課程兩大類，專業(yè)（學(xué)科）基礎(chǔ)課程主要包括數(shù)學(xué)類課程、計(jì)算機(jī)導(dǎo)論、程序設(shè)計(jì)語言、數(shù)據(jù)結(jié)構(gòu)、操作系統(tǒng)、軟件工程、運(yùn)籌學(xué)、數(shù)據(jù)分析與處理。專業(yè)技能課程又分為專業(yè)核心課程和專業(yè)方向課，專業(yè)核心課程包括面向?qū)ο蟪绦蛘Z言類、軟件設(shè)計(jì)模式、算法分析與設(shè)計(jì)、軟件測試等軟件工程專業(yè)要求的核心課程，而專業(yè)方向課分為3個方向：大數(shù)據(jù)分析、Web技術(shù)應(yīng)用、移動終端開發(fā)，鼓勵學(xué)生在學(xué)好專業(yè)基礎(chǔ)和核心課程的同時，發(fā)現(xiàn)自己專業(yè)類的興趣，選擇一個自己感興趣的方向集中學(xué)習(xí)，大數(shù)據(jù)分析方向是重點(diǎn)向?qū)W生推薦。在教學(xué)階段安排上，一般專業(yè)（學(xué)科）基礎(chǔ)課程要優(yōu)先于專業(yè)技能課程，這樣可以讓學(xué)生在掌握了學(xué)科、專業(yè)基礎(chǔ)上，充分了解軟件工程專業(yè)技能的訓(xùn)練。（2）增加了大數(shù)據(jù)技術(shù)方面的課程。在新調(diào)整的課程體系中，專業(yè)（學(xué)科）基礎(chǔ)課程和專業(yè)技能課程都增加了大數(shù)據(jù)相關(guān)內(nèi)容。基礎(chǔ)課設(shè)置增添運(yùn)籌學(xué)、數(shù)據(jù)分析與處理等，使學(xué)生了解大數(shù)據(jù)行業(yè)基礎(chǔ)知識，激發(fā)學(xué)生對大數(shù)據(jù)行業(yè)發(fā)展及大數(shù)據(jù)應(yīng)用前景的興趣；專業(yè)技能課設(shè)置了數(shù)據(jù)倉庫與數(shù)據(jù)挖掘、大數(shù)據(jù)統(tǒng)計(jì)分析與應(yīng)用、數(shù)據(jù)挖掘算法與應(yīng)用等前沿科學(xué)技術(shù)相關(guān)課程以滿足大數(shù)據(jù)系統(tǒng)建設(shè)與應(yīng)用的需要，培養(yǎng)更多企業(yè)需要的大數(shù)據(jù)管理分析軟件專業(yè)人才。院級選修課鼓勵研究大數(shù)據(jù)方向的教師積極申請大數(shù)據(jù)案例分析、大數(shù)據(jù)安全與隱私保護(hù)、HadoopMap／Reduce技術(shù)原理與應(yīng)用等實(shí)用性強(qiáng)的課程，以補(bǔ)充對大數(shù)據(jù)方向特別感興趣學(xué)生的學(xué)習(xí)內(nèi)容。（3）增加實(shí)踐類課程所占比例。相比較2015級，以培養(yǎng)地方應(yīng)用型人才為總目標(biāo)，實(shí)踐類課程課時由19課時增加到28課時，所占總課時比例提高了約50％。實(shí)踐類課程包括校內(nèi)（課程設(shè)計(jì)和實(shí)訓(xùn)）和校外（見習(xí)、實(shí)習(xí)、實(shí)訓(xùn)、畢業(yè)論文），種類多樣化，使得學(xué)生多方面提升自己解決問題和動手操作能力。針對校內(nèi)實(shí)驗(yàn)我院教師結(jié)合大數(shù)據(jù)教學(xué)實(shí)驗(yàn)平臺，根據(jù)課程內(nèi)容設(shè)計(jì)實(shí)驗(yàn)項(xiàng)目，從初級到高級，安排合理的階梯式學(xué)習(xí)，實(shí)驗(yàn)內(nèi)容持續(xù)更新，加入最新、主流的分析建模工具和挖掘算法，學(xué)生在免費(fèi)、開放的平臺環(huán)境下進(jìn)行大數(shù)據(jù)構(gòu)建、存儲、分析統(tǒng)計(jì)等實(shí)驗(yàn)內(nèi)容，使學(xué)生熟練掌握Ha－doop、HBase、Spark等關(guān)鍵技術(shù)，提高大數(shù)據(jù)理論分析及技術(shù)應(yīng)用的能力。做好校內(nèi)實(shí)踐的同時，校外實(shí)踐更是尤為重要，首先在實(shí)習(xí)、實(shí)訓(xùn)企業(yè)的選擇上，盡量選擇“口碑好、技術(shù)強(qiáng)、理念先進(jìn)”的單位，目前我院已與鄰近城市西安與尚觀科技、中軟國際、華清遠(yuǎn)見、藍(lán)鷗科技等西安多家企業(yè)聯(lián)合，第四學(xué)年分批組織學(xué)生到合作企業(yè)的實(shí)訓(xùn)基地參加真實(shí)的實(shí)訓(xùn)項(xiàng)目，體驗(yàn)IT企業(yè)真實(shí)的工作環(huán)境、工作流程和企業(yè)文化，了解互聯(lián)網(wǎng)大數(shù)據(jù)、零售大數(shù)據(jù)、金融大數(shù)據(jù)等領(lǐng)域知識，學(xué)習(xí)海量數(shù)據(jù)搜集、分析、存儲技術(shù)，引導(dǎo)學(xué)生按照項(xiàng)目的需求、總體設(shè)計(jì)、詳細(xì)設(shè)計(jì)、編碼、測試等流程完成實(shí)踐內(nèi)容，規(guī)范化文檔和代碼的編寫，培養(yǎng)學(xué)生的行業(yè)、職業(yè)素養(yǎng)。
5應(yīng)用效果
目前應(yīng)用此方案有2016和2017級兩級學(xué)生，雖然這兩級學(xué)生都還沒有就業(yè)，但在創(chuàng)新應(yīng)用能力方面都較2015級之前學(xué)生有顯著提升。近兩年有10余組學(xué)生團(tuán)隊(duì)獲得國家級、省級、校級“大學(xué)生科研訓(xùn)練項(xiàng)目”立項(xiàng)資助，有8名同學(xué)獲得“藍(lán)橋杯”程序設(shè)計(jì)大賽國家級二等獎、三等獎，省級一等獎2項(xiàng)，二等獎、三等獎多項(xiàng)。2016年有兩隊(duì)學(xué)生獲得陜西省高校“互聯(lián)網(wǎng)＋”創(chuàng)新創(chuàng)業(yè)大賽三等獎，一隊(duì)學(xué)生獲得咸陽市青年創(chuàng)業(yè)大賽二等獎。數(shù)十名學(xué)生在核心期刊上公開發(fā)表學(xué)術(shù)論文。從目前取得的成績來看，課程體系結(jié)構(gòu)的調(diào)整，使得學(xué)生不僅獲得扎實(shí)的理論知識，而且具備了過硬的實(shí)踐和創(chuàng)新能力，我院軟件工程專業(yè)畢業(yè)生一定會深受用人單位喜歡。
6總結(jié)
針對大數(shù)據(jù)時代下地方本科院校軟件專業(yè)人才培養(yǎng)中課程體系存在的一些問題，筆者分析了大數(shù)據(jù)環(huán)境對軟件工程專業(yè)人才的要求，以地方本科院校咸陽師范學(xué)院為例，改革調(diào)整了課程體系，主要在在理論教學(xué)和實(shí)踐教學(xué)中增加大數(shù)據(jù)相關(guān)理論及技術(shù)內(nèi)容，通過近年來的探索與實(shí)踐，此課程體系結(jié)構(gòu)有效提高了學(xué)生的創(chuàng)新應(yīng)用能力，為大數(shù)據(jù)時代企業(yè)發(fā)展培養(yǎng)了高水平、高素質(zhì)的大數(shù)據(jù)分析人才，新的課程體系適應(yīng)了大數(shù)據(jù)環(huán)境下軟件工程人才的培養(yǎng)。
參考文獻(xiàn)
［1］孫琳．大數(shù)據(jù)應(yīng)用的創(chuàng)新路徑［N］．人民政協(xié)報，2016－05－17．
［2］潘正高．地方應(yīng)用型高校軟件工程專業(yè)課程體系的研究［J］．西昌學(xué)院學(xué)報，2017，31（3）：94－97．
［3］潘怡．應(yīng)用型本科院校軟件工程專業(yè)課程體系設(shè)置探討［J］．長沙大學(xué)學(xué)報，2008，22（5）：98－100．
［4］教育部專業(yè)教學(xué)指導(dǎo)委員會．高等學(xué)校軟件工程專業(yè)規(guī)范［M］．北京：高等教育出版社，2011．
用戶如何從這龐大的數(shù)據(jù)庫中提取對自己有用的信息呢？這就需要大數(shù)據(jù)分析技術(shù)和工具，而傳統(tǒng)的商業(yè)智能（BI）工具已經(jīng)抵擋不住企業(yè)如此龐大的數(shù)據(jù)信息。提到大數(shù)據(jù)，不得不說的是與大數(shù)據(jù)相關(guān)的技術(shù)名詞：Hadoop、MapReduce、HBase、NoSQL等。業(yè)界的眾多廠商也都開始從技術(shù)入手，打造各自的大數(shù)據(jù)解決方案。一時間，Hadoop紅遍了全球，就像當(dāng)年的Linux開源軟件系統(tǒng)一樣，成為了研究和設(shè)計(jì)大數(shù)據(jù)解決方案的主流平臺。
華麗的變形
Hadoop的發(fā)展基本上經(jīng)歷了這樣一個過程：從一個開源的Apache基金會項(xiàng)目，隨著越來越多的用戶的加入，不斷地被使用、貢獻(xiàn)和完善，逐漸形成了一個強(qiáng)大的生態(tài)系統(tǒng)。
隨著云計(jì)算和大數(shù)據(jù)的發(fā)展，如今Hadoop已經(jīng)是一個能夠讓用戶輕松駕馭和使用的分布式計(jì)算平臺。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序，并能充分利用集群的威力實(shí)現(xiàn)高速運(yùn)算和存儲。Hadoop實(shí)現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性的特點(diǎn)，并且設(shè)計(jì)用來部署在價格低廉的硬件上，而且它提供高傳輸率來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。HDFS放寬了POSIX的要求，這樣可以用流的形式訪問文件系統(tǒng)中的數(shù)據(jù)。
Hadoop最受歡迎的是在Internet上對搜索關(guān)鍵字進(jìn)行內(nèi)容分類的工具，但它也可以解決許多要求極大伸縮性的問題。例如，如果您要grep一個100TB的巨型文件，會出現(xiàn)什么情況？在傳統(tǒng)的系統(tǒng)上，這將需要很長的時間。但是Hadoop在設(shè)計(jì)時就考慮到這些問題，采用并行執(zhí)行機(jī)制，因此能大大提高效率。
如今，基于Hadoop的應(yīng)用已經(jīng)遍地開花：Yahoo通過集群運(yùn)行Hadoop，以支持廣告系統(tǒng)和Web搜索的研究；Facebook借助集群運(yùn)行Hadoop，以支持其數(shù)據(jù)分析和機(jī)器學(xué)習(xí)；百度則使用Hadoop進(jìn)行搜索日志的分析和網(wǎng)頁數(shù)據(jù)的挖掘工作；淘寶的Hadoop系統(tǒng)用于存儲并處理電子商務(wù)交易的相關(guān)數(shù)據(jù)。
九年的長跑，Hadoop已從初出茅廬的小象華麗變形，成為了行業(yè)巨人，但還需戒驕戒躁、不斷完善。
性能大提升
Hadoop還是一個能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。Hadoop是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。
Hadoop是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲會失敗，因此它維護(hù)多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點(diǎn)重新分布處理。
Hadoop是高效的，因?yàn)樗圆⑿械姆绞焦ぷ鳎ㄟ^并行處理加快處理速度。Hadoop可以將數(shù)千個節(jié)點(diǎn)投入計(jì)算，非常具有性能潛力。但并非所有的工作都可以進(jìn)行并行處理，如用戶交互進(jìn)行的數(shù)據(jù)分析。如果你設(shè)計(jì)的應(yīng)用沒有專門為 Hadoop集群進(jìn)行優(yōu)化，那么性能并不理想，因?yàn)槊總€Map/Reduce任務(wù)都要等待之前的工作完成。
英特爾針對大數(shù)據(jù)的開放架構(gòu)核心產(chǎn)品線，推出了英特爾Hadoop分發(fā)版，讓用戶可以實(shí)現(xiàn)“軟硬協(xié)同，體驗(yàn)至上”的創(chuàng)新效果。例如，利用英特爾至強(qiáng)處理器平臺對網(wǎng)絡(luò)和I/O 技術(shù)所做的優(yōu)化，與英特爾Hadoop分發(fā)版進(jìn)行強(qiáng)力組合，以往分析1TB的數(shù)據(jù)需要4個多小時才能完全處理完，現(xiàn)在僅需要短短的7分鐘即可完成，極大地提升了大數(shù)據(jù)分析的速度。
Hadoop還是可伸縮的，能夠處理PB級數(shù)據(jù)。由于批量處理功能，Hadoop最好部署在這些場合：索引編制、模式識別、推薦引擎建立和情緒分析。在所有這些場合下，數(shù)據(jù)大量生成，存儲在Hadoop中，然后最終使用MapReduce函數(shù)來進(jìn)行查詢。但是這并不意味著，Hadoop會取代數(shù)據(jù)中心里面目前的組件。恰恰相反，Hadoop會集成到現(xiàn)有的IT基礎(chǔ)設(shè)施里面，以便充分利用進(jìn)入到該企業(yè)的海量數(shù)據(jù)。
曾聽過這樣一則案例：Hadoop集成到一家企業(yè)網(wǎng)站后，情況較之先前大有改觀：大大節(jié)省了時間和精力。來自Web服務(wù)器的日志數(shù)據(jù)不用經(jīng)歷ETL操作，而是直接被完整地發(fā)送到了Hadoop里面的HDFS。然后，對日志數(shù)據(jù)執(zhí)行同樣的清理過程，現(xiàn)在只使用MapReduce任務(wù)，一旦數(shù)據(jù)清理完畢，隨后被發(fā)送到數(shù)據(jù)倉庫。這個操作要迅速得多，這歸因于省去了ETL這一步，加上MapReduce操作速度快。而且，所有數(shù)據(jù)仍然保存在Hadoop里面，網(wǎng)站操作人員后續(xù)所需數(shù)據(jù)都可以查詢到。
開源的典范
Hadoop依賴于社區(qū)服務(wù)器，任何人都可以自由的下載、安裝并運(yùn)行。由于它是一個開源項(xiàng)目，所以沒有軟件成本，這使得它成為一種非常吸引人的解決方案。Hadoop帶有用Java語言編寫的框架，因此運(yùn)行在Linux生產(chǎn)平臺上是非常理想的。Hadoop上的應(yīng)用程序也可以使用其他語言編寫，比如C++。
Hadoop稱得上開源創(chuàng)新領(lǐng)域的杰出典范。思科的James Urquhart曾經(jīng)這樣說過：“Hadoop可以說是不涉及任何現(xiàn)有專利的開源項(xiàng)目在企業(yè)軟件方面所取得的首個里程碑式成功”。盡管里程碑不只這么一個，但能夠以這樣的規(guī)模將成功果實(shí)迅速擴(kuò)展的例子還真不多見。
雖然大量的行業(yè)用戶開始學(xué)習(xí)Hadoop的技術(shù)架構(gòu)，但在真實(shí)的生產(chǎn)環(huán)境中，依然顯得相當(dāng)謹(jǐn)慎，很大一部分也是因?yàn)殚_源。Google雖然公開了MapReduce論文，但底層的GFS、BigTable等技術(shù)都不是開源的，因?yàn)檫@是互聯(lián)網(wǎng)的核心競爭力。很多企業(yè)的確想用這個技術(shù)，但是技術(shù)門檻比較高，前期投入非常之大。一旦進(jìn)入維護(hù)和開發(fā)階段，Hadoop的真實(shí)成本就會凸顯出來。
群體的智慧
Hadoop作為海量數(shù)據(jù)分析的最佳解決方案，已經(jīng)受到眾多IT廠商的關(guān)注，并由此而錘煉出風(fēng)格迥異的Hadoop發(fā)行版以及支持Hadoop的產(chǎn)品。
例如，IBM在Hadoop系統(tǒng)領(lǐng)域的代表產(chǎn)品InfoSphere BigInsights，它是基于開源Apache Hadoop框架實(shí)現(xiàn)，增加了包括管理能力、工作流、安全管理等能力，并融入了IBM研究實(shí)驗(yàn)室的數(shù)據(jù)分析、機(jī)器學(xué)習(xí)技術(shù)以及文本數(shù)據(jù)分析挖掘；IBM在流計(jì)算領(lǐng)域的代表產(chǎn)品是InfoSphere Streams，是目前業(yè)界獨(dú)有的流數(shù)據(jù)處理技術(shù)。Streams能夠在對諸如氣象信息、通訊信息、金融交易數(shù)據(jù)的管理中動態(tài)捕捉信息、進(jìn)行實(shí)時分析，能夠?qū)o態(tài)數(shù)據(jù)的處理提供有效補(bǔ)充；在數(shù)據(jù)倉庫方面是InfoSphere Warehouse和etezza。Netezza克服了傳統(tǒng)數(shù)據(jù)倉庫在面臨大數(shù)據(jù)挑戰(zhàn)時的瓶頸，可以將大量數(shù)據(jù)整合到統(tǒng)一的平臺上，計(jì)算能力高達(dá)TB級。
關(guān)鍵詞：實(shí)踐教學(xué)；統(tǒng)計(jì)學(xué)；高校
中圖分類號：G642.3 文獻(xiàn)標(biāo)識碼：A 文章編號：1002-4107（2017）04-0036-03
“大數(shù)據(jù)”是時下全球熱議的話題之一，數(shù)據(jù)無處不在，涉及各個行業(yè)領(lǐng)域。大數(shù)據(jù)技術(shù)研究與價值應(yīng)用已成為新一輪科技競爭的戰(zhàn)略制高點(diǎn)，它給科學(xué)和教育事業(yè)帶來了新的生命力，同時對傳統(tǒng)教育也提出了新的挑戰(zhàn)。2014年中國大數(shù)據(jù)技術(shù)大會上了《中國大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書（2014 年）》和《2015 年大數(shù)據(jù)十大發(fā)展趨勢預(yù)測》，指出“跨學(xué)科領(lǐng)域交叉的數(shù)據(jù)融合分析與應(yīng)用將成為今后大數(shù)據(jù)分析應(yīng)用發(fā)展的重大趨勢”[1]。在這種背景下，統(tǒng)計(jì)學(xué)專業(yè)應(yīng)順應(yīng)社會發(fā)展，探索教學(xué)模式，融合計(jì)算機(jī)、數(shù)據(jù)分析、統(tǒng)計(jì)等相關(guān)學(xué)科，引導(dǎo)學(xué)生認(rèn)識和掌握數(shù)據(jù)處理的新技術(shù)，推動交叉學(xué)科應(yīng)用型本科人才的培養(yǎng)。本文探索提升本科生的智能數(shù)據(jù)分析實(shí)踐能力的培養(yǎng)模式，以便提高其就業(yè)競爭力，滿足社會需求。
一、大數(shù)據(jù)新形勢對統(tǒng)計(jì)人才的新需求
統(tǒng)計(jì)學(xué)作為一個與大數(shù)據(jù)密切相關(guān)的學(xué)科專業(yè)，其需要及時調(diào)整和優(yōu)化課程結(jié)構(gòu)，改變教學(xué)內(nèi)容與手段
等，以滿足社會人才需求和適應(yīng)外部變化的環(huán)境。華東師范大學(xué)副校長朱自強(qiáng)接受光明日報采訪時指出：大數(shù)據(jù)技術(shù)會通過“學(xué)科交叉”戰(zhàn)略，為相關(guān)學(xué)科向更高層次的發(fā)展提供歷史性機(jī)遇[2]。據(jù)調(diào)查報告指出，數(shù)據(jù)科學(xué)家需要扎實(shí)的教育背景，其研究領(lǐng)域分布為數(shù)學(xué)與統(tǒng)計(jì)學(xué)（32%），其次是計(jì)算機(jī)科學(xué)（19%）以及工程學(xué)（16%）[3]。該領(lǐng)域中跨界融合型人才是未來的人才培養(yǎng)趨勢，統(tǒng)計(jì)學(xué)專業(yè)有獨(dú)特的優(yōu)勢。據(jù)不完全調(diào)查發(fā)現(xiàn)，涉獵網(wǎng)站上谷歌、百度和格力等部分大公司對于大數(shù)據(jù)人才崗位需求及相關(guān)技能提出各自具體要求（見表1）[4]。
從表1中可以看出：數(shù)學(xué)和統(tǒng)計(jì)學(xué)功底、建模能力、運(yùn)用R，SAS，Python等輔助軟件及掌握大數(shù)據(jù)平臺是大數(shù)據(jù)崗位的基本要求。處理數(shù)據(jù)是為了應(yīng)用，無論哪一個崗位都會要求分析數(shù)據(jù)，包括需求分析、特征提取、結(jié)果分析與關(guān)聯(lián)分析。因此數(shù)據(jù)分析最重要的可能并不是軟件、算法，而是熟悉整個流程，例如數(shù)據(jù)清洗、分析工具的選取、參數(shù)的設(shè)置及原理、結(jié)果價值分析與解釋等。這要求統(tǒng)計(jì)專業(yè)的學(xué)生精通相關(guān)的軟件與編程的同時，還要熟練掌握本專業(yè)知識。因此，學(xué)生只有經(jīng)歷過一套完整的程序過程，才能懂得如何從數(shù)據(jù)中發(fā)掘知識的原理及技術(shù)流程。
目前高校數(shù)學(xué)系開設(shè)的統(tǒng)計(jì)學(xué)專業(yè)主要是數(shù)理統(tǒng)計(jì)方向，重視統(tǒng)計(jì)推斷，進(jìn)行各種證明，但案例教學(xué)較少，淡化了培養(yǎng)學(xué)生分析社會經(jīng)濟(jì)現(xiàn)象的能力，其不利于學(xué)生應(yīng)用統(tǒng)計(jì)知識解決實(shí)際問題。本文從分析當(dāng)前的社會需求出發(fā)，借鑒“設(shè)計(jì)型學(xué)習(xí)”模式探索實(shí)踐教學(xué)改革，以此來提升培養(yǎng)學(xué)生認(rèn)識數(shù)據(jù)和理解數(shù)據(jù)的能力[5-6]。
二、新需求導(dǎo)向下的統(tǒng)計(jì)學(xué)實(shí)踐教學(xué)改革
（一）重新定位人才培養(yǎng)目標(biāo)
在網(wǎng)絡(luò)、大數(shù)據(jù)、云計(jì)算等新技術(shù)不斷發(fā)展的背景下，社會人才需求、教學(xué)資源和外部環(huán)境都在迅速發(fā)生改變，其促使各專業(yè)進(jìn)行教學(xué)改革。對于統(tǒng)計(jì)學(xué)而言，統(tǒng)計(jì)數(shù)據(jù)已完全突破了傳統(tǒng)統(tǒng)計(jì)學(xué)所涉及的統(tǒng)計(jì)數(shù)據(jù)概念內(nèi)涵，統(tǒng)計(jì)數(shù)據(jù)從數(shù)量、結(jié)構(gòu)、類型上已經(jīng)完全不同于魍騁庖逑碌耐臣剖據(jù)，其更具有現(xiàn)代“信息”的含義[7]。相應(yīng)的統(tǒng)計(jì)數(shù)據(jù)收集技術(shù)，整理、傳輸和存儲管理方法、指標(biāo)體系、分析方法等內(nèi)容已發(fā)生根本變化。“懂?dāng)?shù)據(jù)、會分析”的復(fù)合型人才缺乏是當(dāng)下國內(nèi)外面臨的共同困難[8]。統(tǒng)計(jì)學(xué)專業(yè)應(yīng)具有國際視野，重新定位培養(yǎng)目標(biāo)、教學(xué)理念與機(jī)制，結(jié)合區(qū)域經(jīng)濟(jì)發(fā)展為學(xué)生提供未來職業(yè)規(guī)劃指導(dǎo)服務(wù)，在各個環(huán)節(jié)中提升學(xué)生的數(shù)據(jù)處理能力，培養(yǎng)具有高階思維和高階能力的應(yīng)用型人才。
（二）優(yōu)化課程設(shè)置與教學(xué)手段
統(tǒng)計(jì)學(xué)本科專業(yè)課程設(shè)置要體現(xiàn)大數(shù)據(jù)時代對統(tǒng)計(jì)人才培養(yǎng)的要求。大數(shù)據(jù)背景下數(shù)據(jù)的管理、分析與挖掘類課程需要增加，尤其是實(shí)踐類課程，形成突出實(shí)踐能力培養(yǎng)的課程群或課程模塊。最主要的是針對社會需求，依托學(xué)校與數(shù)據(jù)相關(guān)的優(yōu)勢學(xué)科，通過學(xué)科交叉和行業(yè)、企業(yè)、實(shí)務(wù)部門開展深度合作建設(shè)實(shí)踐教學(xué)基地，集聚相關(guān)資源協(xié)同創(chuàng)新，提升本科生數(shù)據(jù)分析能力。通過設(shè)計(jì)實(shí)踐課程的模塊，以產(chǎn)教融合、協(xié)同育人方式形成有效的課本知識與實(shí)踐操作的銜接，為學(xué)生創(chuàng)造理論與實(shí)踐相融合的社會情境。
當(dāng)下，知識更新較快，需要課內(nèi)和課外相互配合完成教學(xué)任務(wù)。慕課、微課、翻轉(zhuǎn)課堂已成為重要的課堂教學(xué)補(bǔ)充資源和課外自學(xué)學(xué)習(xí)平臺。豐富形象的圖片和視頻等教學(xué)材料，多感官的刺激不但符合現(xiàn)代學(xué)生的學(xué)習(xí)特點(diǎn)，而且能夠極大地激發(fā)學(xué)生的學(xué)習(xí)動力[9]。教師應(yīng)積極應(yīng)對這些新變化，及時學(xué)習(xí)新知識、新技術(shù)，調(diào)整教學(xué)觀念、教學(xué)內(nèi)容、教學(xué)方法，更多地開展實(shí)踐教學(xué)。教師也應(yīng)瞄準(zhǔn)國際前沿，采取先進(jìn)的教學(xué)理念，有效利用優(yōu)秀的網(wǎng)絡(luò)資源開展課前和課后輔助教學(xué)和互動交流，引導(dǎo)學(xué)生逐漸實(shí)現(xiàn)自主發(fā)現(xiàn)式學(xué)習(xí)。在實(shí)踐教學(xué)手段中，重視高階思維和高階能力的培養(yǎng)，借鑒國外的先進(jìn)實(shí)踐教學(xué)模型，改變實(shí)踐層面以嘗試和經(jīng)驗(yàn)總結(jié)為主的教學(xué)手段。例如設(shè)計(jì)型學(xué)習(xí)正在國際教育界興起，其強(qiáng)調(diào)學(xué)生在具體的任務(wù)或挑戰(zhàn)情境中主動探究，具有設(shè)計(jì)性、整合性、迭代性、反思性等品質(zhì)特征。在分析和解決問題的能力、合作能力及創(chuàng)新能力等實(shí)踐上，設(shè)計(jì)型學(xué)習(xí)彰顯了其獨(dú)特價值。與過去那種單純強(qiáng)調(diào)知識呈現(xiàn)與傳遞的教學(xué)方式不同，設(shè)計(jì)型學(xué)習(xí)蘊(yùn)含著新的學(xué)習(xí)和教學(xué)設(shè)計(jì)假設(shè)，其有效地融合了自主、協(xié)作、探究等新型學(xué)習(xí)方式。因此，設(shè)計(jì)型學(xué)習(xí)可以為當(dāng)前教學(xué)方式改革提供一種新思路。借助于這一先進(jìn)的實(shí)踐教學(xué)手段，引導(dǎo)學(xué)生注重“功在平時”。在課前教師幫助學(xué)生甄別選擇合適的資源，如問題背景、相關(guān)知識講解的網(wǎng)絡(luò)資源等。在課堂上，教師掌握課堂教學(xué)和學(xué)生自主學(xué)習(xí)結(jié)合策略，針對學(xué)生遇到的問題進(jìn)行講解，小組之間進(jìn)行交流、分享成果。然后讓學(xué)生在課后進(jìn)行反思、修改、再設(shè)計(jì)，同時注意引導(dǎo)和關(guān)心后進(jìn)生的學(xué)習(xí)狀態(tài)和方法，直到任務(wù)圓滿完成，從而形成線上線下相互配合的教學(xué)手段。
（三）強(qiáng)化校內(nèi)實(shí)驗(yàn)與實(shí)踐環(huán)節(jié)
以專業(yè)實(shí)驗(yàn)室和教師科研課題為載體，依托學(xué)校相關(guān)的優(yōu)勢學(xué)科，對接社會需求，利用學(xué)科交叉和對外合作機(jī)會匯聚各種創(chuàng)新要素，踐行協(xié)同創(chuàng)新理念，構(gòu)建適合本科生的多層次的實(shí)踐教學(xué)體系。針對不同年級的學(xué)生，制訂不同的進(jìn)實(shí)驗(yàn)室計(jì)劃，一年級學(xué)生以認(rèn)知教學(xué)為主，開拓其對理論基礎(chǔ)課的應(yīng)用性和數(shù)據(jù)分析價值的認(rèn)知視野。二、三年級的學(xué)生已經(jīng)開始學(xué)習(xí)統(tǒng)計(jì)學(xué)專業(yè)基礎(chǔ)課和統(tǒng)計(jì)軟件，在相關(guān)課程實(shí)踐環(huán)節(jié)中以大作業(yè)形式，設(shè)計(jì)與課堂教學(xué)相關(guān)的擴(kuò)展數(shù)據(jù)分析主題，引導(dǎo)學(xué)生對生活中的數(shù)據(jù)分析問題進(jìn)行深入分析、尋找合適的選題，并依托各類相關(guān)科研課題達(dá)到對實(shí)際背景數(shù)據(jù)的理解、推理、發(fā)現(xiàn)和決策。例如：網(wǎng)上調(diào)查是一項(xiàng)重要的社會活動，用其得到的數(shù)據(jù)來分析和反映人們的活動規(guī)律及觀點(diǎn)。引導(dǎo)學(xué)生針對分析某類現(xiàn)象等進(jìn)行設(shè)計(jì)問卷、發(fā)放問卷、回收統(tǒng)計(jì)和統(tǒng)計(jì)分析等活動。這一完整的環(huán)節(jié)讓學(xué)生了解調(diào)查過程中統(tǒng)計(jì)誤差成因及控制手段，加深對統(tǒng)計(jì)過程、數(shù)據(jù)質(zhì)量的理解。鼓勵四年級學(xué)生利用實(shí)驗(yàn)室、實(shí)習(xí)基地與專業(yè)教師的各類科研項(xiàng)目的資源，開展畢業(yè)論文工作，并獨(dú)立完成有關(guān)的實(shí)驗(yàn)，全面培養(yǎng)學(xué)生的數(shù)據(jù)處理能力。例如，可以引導(dǎo)學(xué)生對某門課程輔助教學(xué)App需求統(tǒng)計(jì)分析、智能測試系統(tǒng)設(shè)計(jì)、代碼編寫。通過實(shí)踐活動，引導(dǎo)學(xué)生自主地基于已學(xué)的專業(yè)知識去學(xué)習(xí)新知識，自主走進(jìn)數(shù)據(jù)世界、探索數(shù)據(jù)王國。
與此同時，學(xué)分設(shè)置、考核評價體系也要做出適當(dāng)?shù)恼{(diào)整。在實(shí)踐教學(xué)方面，積極推動“大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃”和“優(yōu)秀本科生走進(jìn)實(shí)驗(yàn)室計(jì)劃”等創(chuàng)新實(shí)踐活動保障機(jī)制。在總學(xué)時不增加的前提下，施行大學(xué)生創(chuàng)新實(shí)踐學(xué)分確認(rèn)制度，對學(xué)生在各種學(xué)科競賽、創(chuàng)業(yè)競賽及學(xué)術(shù)研究中獲得的成績給予學(xué)分認(rèn)定。考核注重“功在平時”，評價學(xué)生的多方面能力，尤其是應(yīng)用相關(guān)理論處理實(shí)際問題的能力。具體可以采用多種考核方法相結(jié)合的方式。如：增加平時的考核力度、增加實(shí)踐項(xiàng)目的考核、通過布置適當(dāng)?shù)捻?xiàng)目論文，采用答辯的形式，以鍛煉學(xué)生獨(dú)立分析解決問題的能力[10]。
（四）注重校外實(shí)踐學(xué)習(xí)
目前統(tǒng)計(jì)學(xué)課程的校內(nèi)實(shí)踐教學(xué)過程中，由于實(shí)踐資源不夠的限制，所涉及數(shù)據(jù)處理及統(tǒng)計(jì)建模等活動較多地使用統(tǒng)計(jì)年鑒或其他公開數(shù)據(jù)集，這種學(xué)習(xí)模式與真正的實(shí)際應(yīng)用還有一段距離。為了更大程度上調(diào)動學(xué)生的學(xué)習(xí)積極性來接觸科技前沿，應(yīng)充分發(fā)揮學(xué)科競賽與社會創(chuàng)新模式和平臺優(yōu)勢，形成校扔胄M饈導(dǎo)教學(xué)協(xié)調(diào)促進(jìn)的模式。
目前與統(tǒng)計(jì)學(xué)相關(guān)的競賽受到大型互聯(lián)網(wǎng)企業(yè)、學(xué)術(shù)團(tuán)體及政府部門的關(guān)注，不定期舉辦開放型競賽為選手提供施展才華本領(lǐng)的機(jī)會。例如有全國大學(xué)生統(tǒng)計(jì)建模大賽、全國大學(xué)生大數(shù)據(jù)挖掘競賽和阿里巴巴大數(shù)據(jù)競賽等。這些競賽一方面是為高校學(xué)子提供接地氣的大數(shù)據(jù)實(shí)戰(zhàn)機(jī)會，推動高校和研究機(jī)構(gòu)對大數(shù)據(jù)和算法的研究發(fā)展；另一方面也是為了加快相關(guān)領(lǐng)域的人才成長。這些競賽主題及選題、難度均適合統(tǒng)計(jì)學(xué)專業(yè)學(xué)生參與，其可以讓學(xué)生和教師接觸前沿的應(yīng)用方向、有機(jī)會學(xué)習(xí)和嘗試解決真實(shí)的業(yè)務(wù)與社會問題。跟蹤這樣的競賽有助于提高學(xué)生的學(xué)習(xí)興趣，進(jìn)而促進(jìn)實(shí)踐教學(xué)方法的改革、提高創(chuàng)新人才培養(yǎng)的質(zhì)量。
在大眾創(chuàng)業(yè)、萬眾創(chuàng)新的時代背景下，社會創(chuàng)新模式與平臺有助于開闊師生的視野，并可以為校內(nèi)實(shí)踐學(xué)習(xí)與實(shí)踐應(yīng)用提供有針對性的引導(dǎo)。因此在統(tǒng)計(jì)實(shí)踐過程中，嵌入創(chuàng)客教育的模式，與相關(guān)的創(chuàng)客平臺合作建立實(shí)習(xí)基地，讓學(xué)生接觸社會決策活動，拉近學(xué)習(xí)者與生活的距離[11]。創(chuàng)客教育強(qiáng)調(diào)的創(chuàng)新精神和綜合運(yùn)用知識技能解決實(shí)際問題的能力，是將來學(xué)生在求職和就業(yè)中必不可少的能力，其可為學(xué)生創(chuàng)造理論與實(shí)際相結(jié)合的認(rèn)知機(jī)會、促使學(xué)生形成以自身專業(yè)特長與興趣愛好結(jié)合的主動學(xué)習(xí)模式。
針對社會對人才的新需求，通過設(shè)計(jì)不同模塊的實(shí)踐活動對統(tǒng)計(jì)學(xué)專業(yè)實(shí)踐教學(xué)環(huán)節(jié)進(jìn)行改革，其有利于發(fā)揮學(xué)生的特長，調(diào)動學(xué)生的學(xué)習(xí)興趣，為學(xué)生的職業(yè)發(fā)展做好充分的準(zhǔn)備，從而順應(yīng)大數(shù)據(jù)時代的發(fā)展，進(jìn)而促進(jìn)人才培養(yǎng)質(zhì)量、促進(jìn)專業(yè)辦學(xué)特色、促進(jìn)經(jīng)濟(jì)社會發(fā)展。
參考文獻(xiàn)：
[1]2015年大數(shù)據(jù)十大發(fā)展趨勢預(yù)測[J].中國教育網(wǎng)絡(luò)，
2015，（Z1）.
[2]朱自強(qiáng).高校可借大數(shù)據(jù)自我提升[N].光明網(wǎng)，2013-
11-12.
[3]九個成為數(shù)據(jù)科學(xué)家的必備技能[EB/OL].[2016-09-03].
http：///archives/38264.
[4]數(shù)據(jù)科學(xué)領(lǐng)域的職位劃分以及職責(zé)技能[EB/OL].
[2016-09-03].http：///archives/37376.
[5]李美鳳，孫玉杰.國外“設(shè)計(jì)型學(xué)習(xí)”研究與應(yīng)用綜述
[J].現(xiàn)代教育技術(shù)，2015，（7）.
[6]丁美榮，陳壹華.基于設(shè)計(jì)型學(xué)習(xí)的計(jì)算機(jī)網(wǎng)絡(luò)實(shí)驗(yàn)教
學(xué)研究[J].計(jì)算機(jī)教育，2011，（1）.
[7]張維群.大數(shù)據(jù)時代統(tǒng)計(jì)學(xué)科建設(shè)與教學(xué)改革專家研討
會紀(jì)要[J].統(tǒng)計(jì)與信息論壇，2015，（2）.
[8]徐宗本.用好大數(shù)據(jù)須有大智慧――準(zhǔn)確把握、科學(xué)應(yīng)
對大數(shù)據(jù)帶來的機(jī)遇和挑戰(zhàn)[N].人民日報，2016-03-15.
[9]謝小蕓，李立清.項(xiàng)目教學(xué)法在獨(dú)立學(xué)院統(tǒng)計(jì)學(xué)實(shí)踐教
學(xué)中的應(yīng)用[J].中國農(nóng)業(yè)教育，2007，（4）.
[10]王麗麗，楊帆.“互聯(lián)網(wǎng)+”時代背景下大學(xué)英語教學(xué)改
革與發(fā)展研究[J].黑龍江高教研究，2015，（8）.
[11]李小濤，高海燕，鄒佳人等.“互聯(lián)網(wǎng)+”背景下的STEAM
關(guān)鍵詞：智慧管理；云計(jì)算；大數(shù)據(jù)；物聯(lián)網(wǎng)；能耗增值服務(wù)；智慧校園
一、引言
隨著信息技術(shù)的飛速推進(jìn)，已然進(jìn)入一個互聯(lián)網(wǎng)的時代。社會中，各方的發(fā)展也已是幾何級速度的發(fā)展，在這個物聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)推動社會前行的大潮中，對高校后勤集團(tuán)能源管理也提出了更高的要求。節(jié)能管理由“綠色環(huán)保，打造節(jié)能型社會”作為一項(xiàng)國策寫入“十二五”規(guī)劃起進(jìn)入了一個全新的時代。目前，科技創(chuàng)新管理的概念普遍被大眾所認(rèn)知。管理中有一個被一再提及的詞語――量化，其歸根結(jié)底是對數(shù)據(jù)的需求體現(xiàn)。即量化要求的結(jié)果是數(shù)據(jù)的產(chǎn)出，這里的數(shù)據(jù)既包括管理中表面的數(shù)據(jù)，如被管理對象的數(shù)量、狀態(tài)等屬性基礎(chǔ)數(shù)據(jù)，也包括對基礎(chǔ)數(shù)據(jù)通過管理模型分析后所得到的具有決策依據(jù)功能數(shù)據(jù)，數(shù)據(jù)是實(shí)現(xiàn)管理智慧化關(guān)鍵。
高校后勤集團(tuán)能源管理智慧化即利用大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)等新一代信息通信技術(shù)，并通過這些技術(shù)變革原有的管理模式。［1］具體表現(xiàn)為，建立基于互聯(lián)網(wǎng)的開放系統(tǒng)，通過云計(jì)算技術(shù)實(shí)現(xiàn)能耗大數(shù)據(jù)潛在價值的挖掘，隨后，通過數(shù)字化和智能化技術(shù)應(yīng)用決策數(shù)據(jù)進(jìn)行實(shí)際的管理工作。這對高校后勤集團(tuán)能源管理工作提出了更高的要求，以往的能源管理信息系統(tǒng)的設(shè)計(jì)已經(jīng)遠(yuǎn)遠(yuǎn)不能適應(yīng)發(fā)展的需要，其能力尚停留在能耗數(shù)據(jù)的采集、存儲、統(tǒng)計(jì)以及初級的簡單報警上，對于管理智慧化顯得力不從心。為了適應(yīng)高校后勤集團(tuán)能源管理的需要，應(yīng)以物聯(lián)網(wǎng)、云計(jì)算技術(shù)、大數(shù)據(jù)分析技術(shù)為核心，以移動互聯(lián)網(wǎng)為有益補(bǔ)充，建立具備對能源，特別是能對水電能源具有監(jiān)控、預(yù)警、測算、系統(tǒng)聯(lián)動和消費(fèi)支付等管理決策及服務(wù)延伸能力的高校后勤集團(tuán)能源管理智慧系統(tǒng)。這將是高校后勤集團(tuán)能源管理由傳統(tǒng)的信息化管理轉(zhuǎn)型為能源管理智慧化的初期階段，兩種管理方法對于數(shù)據(jù)的處理及運(yùn)用理念是截然不同的。
二、能源管理現(xiàn)狀分析
隨著教育的普及，學(xué)校需要不斷地提高教學(xué)質(zhì)量和管理水平，而學(xué)校后勤管理就是對在校后勤情況的全方位管理。［2］其中，能耗管理是工作的難點(diǎn)與重點(diǎn)，學(xué)校是否以資源的高效利用和循環(huán)利用為核心，以“減量化、再利用、資源化”為原則，以低消耗、低排放、高效率為基本特征，符合可持續(xù)發(fā)展理念的經(jīng)濟(jì)增長模式運(yùn)行，［3］均與后勤集團(tuán)能耗管理有著密不可分的關(guān)系。節(jié)約型校園概念的提出使得學(xué)校在辦學(xué)及校園設(shè)施建設(shè)、運(yùn)營管理中遵循科學(xué)發(fā)展觀，充分體現(xiàn)節(jié)能、節(jié)水、節(jié)地、節(jié)材、環(huán)境保護(hù)建設(shè)及運(yùn)營的管理思路和節(jié)約教育理念、形成良好節(jié)約型校園文化的校園。［3］目前，高校后勤集團(tuán)能源管理主要依托于多年完善的管理制度，以及在這套制度上經(jīng)過業(yè)務(wù)流程提煉后所開發(fā)的管理信息系統(tǒng)。
（1）管理制度化。各地高校后勤集團(tuán)能源管理工作經(jīng)過多年經(jīng)驗(yàn)累計(jì)，在校園能耗統(tǒng)計(jì)、校園能源審計(jì)、校園能效公示、需求管理、分項(xiàng)計(jì)量等方面均建立了較為完善的管理制度，并做到了不同部門、單位間的有效協(xié)調(diào)。在管理模式上采用了根據(jù)學(xué)科門類、各單位性質(zhì)、事業(yè)發(fā)展情況、使用水電需求，科學(xué)合理定量，將水、電能源消耗指標(biāo)分配到各有關(guān)學(xué)院和部門，對運(yùn)行情況進(jìn)行跟蹤分析，統(tǒng)籌協(xié)調(diào)，兼顧利益，量化管理，促進(jìn)節(jié)約水電長效管理機(jī)制的形成。能耗管理制度的完善進(jìn)一步推進(jìn)了管理信息系統(tǒng)的建立與運(yùn)行。
（2）管理信息化。隨著計(jì)算機(jī)及通信技術(shù)的不斷發(fā)展，結(jié)合自身管理的需要，高校后勤集團(tuán)對于能源管理工作也做了業(yè)務(wù)的流程化定制，并依托物聯(lián)網(wǎng)工程、通信工程、計(jì)算機(jī)工程、工業(yè)設(shè)計(jì)、環(huán)境工程等學(xué)科，自主創(chuàng)新、自主研發(fā)了數(shù)字化能源監(jiān)管系統(tǒng)。數(shù)字化能源監(jiān)管系統(tǒng)分為計(jì)量采集部分、數(shù)據(jù)傳輸網(wǎng)絡(luò)、數(shù)據(jù)存儲系統(tǒng)，以及用戶交互系統(tǒng)等幾個主要部分。完成了能耗數(shù)據(jù)的采集、傳輸、存儲與展示，有效地?cái)?shù)據(jù)處理方法提高管理中對于數(shù)據(jù)統(tǒng)計(jì)的需求。數(shù)字化能源監(jiān)管系統(tǒng)的建立有效地提高了高校后勤集團(tuán)能源管理水平，通過系統(tǒng)實(shí)現(xiàn)了能耗數(shù)據(jù)的實(shí)時性、完整性和準(zhǔn)確性。即通過科技手段，實(shí)現(xiàn)高效管理，提高社會效益。
（3）存在的問題。如上，簡述了高校后勤集團(tuán)能源管理的兩個主要方面，即制度與監(jiān)管系統(tǒng)。制度與監(jiān)管系統(tǒng)有效的提高了管理的水平與準(zhǔn)確性，但在實(shí)際的工作中依然存在很多問題，如下列舉最為表層的三種。第一，設(shè)備的改造優(yōu)化。高校中諸如學(xué)生宿舍、教學(xué)樓、實(shí)驗(yàn)室等用能熱點(diǎn)比比皆是，僅就采用何種照明器具一項(xiàng)，就存在不同的說法，但很大一部分取自于照明器具廠家的宣傳與器具參數(shù)，沒有一個科學(xué)有效的方法能夠給出設(shè)備改造優(yōu)化的決策方案。第二，消缺的即時高效。在能耗估計(jì)的過程中，由于設(shè)備和人為的因素會造成故障的出現(xiàn)，即時做出故障報警，迅速消除缺陷是節(jié)能的重中之重。舉例而言，校園供水會存在水管爆裂故障、籠頭節(jié)點(diǎn)故障、人為使用浪費(fèi)等問題，這些問題單靠人員巡檢和制度約束是無能為力的，只有采用更新的技術(shù)手段，才能做到有效的管控。第三，用能指標(biāo)的制定。在上文中提及高校后勤集團(tuán)能源管理模式是根據(jù)學(xué)科門類、各單位性質(zhì)、事業(yè)發(fā)展情況、使用水電需求，科學(xué)合理定量，將水、電能源消耗指標(biāo)分配到各有關(guān)學(xué)院和部門，超標(biāo)自負(fù)。實(shí)際上這里所謂的科學(xué)合理定量并沒有可靠的數(shù)據(jù)作為支撐，最常見的方法就是根據(jù)上一階段的用能歷史數(shù)據(jù)“大致”確定現(xiàn)階段的用量，看似合理，但并不科學(xué)，缺少合理的指標(biāo)定制模型。
二、管理系統(tǒng)的智慧化變革與應(yīng)用
對于高校后勤集團(tuán)能源管理而言，僅就目前的數(shù)字化能源監(jiān)管系統(tǒng)已經(jīng)不能滿足發(fā)展的需要。高校后勤集團(tuán)能源管理智慧化的設(shè)計(jì)目的是在與管理制度不斷的交互完善中，利用大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)等新一代信息通信技術(shù)，并通過這些技術(shù)變革原有的管理模式，［1］這也包括原有數(shù)字化能源監(jiān)管系統(tǒng)的功能，但絕不是簡單的系統(tǒng)升級。所有的管理變革均以建立新的管理智慧化平臺為基礎(chǔ)，提供“能源管理＋能源便利＋校區(qū)通信”的高校能源管理云服務(wù)。
（1）信息系統(tǒng)的變革。第一，系統(tǒng)架構(gòu)的改變。高校后勤集團(tuán)能源管理所采用的傳統(tǒng)C/S或B/S架構(gòu)已經(jīng)不能適應(yīng)智慧化的需要。智慧化是建立在大數(shù)據(jù)分析的基礎(chǔ)之上，通過海量的數(shù)據(jù)分析，提煉決策數(shù)據(jù)。傳統(tǒng)的系統(tǒng)架構(gòu)，能耗數(shù)據(jù)的采集密度對于分析工作遠(yuǎn)遠(yuǎn)不能滿足。加之，高校的擴(kuò)招、擴(kuò)建，分校機(jī)構(gòu)的設(shè)立都對高校后勤集團(tuán)能源管理的信息化系統(tǒng)提出了改變需求。就目前發(fā)展而言，其系統(tǒng)架構(gòu)應(yīng)該包含：數(shù)據(jù)采集服務(wù)、數(shù)據(jù)存儲服務(wù)、關(guān)系型數(shù)據(jù)庫服務(wù)和模型計(jì)算服務(wù)等部分，以及任務(wù)調(diào)度、安全管理和資源管理等方面的底層支持。第二，存儲方式的更新。系統(tǒng)架構(gòu)的變革，為了適應(yīng)更多的數(shù)據(jù)需求服務(wù)，這勢必產(chǎn)出海量的能耗數(shù)據(jù)，隨之而來的將是數(shù)據(jù)存儲問題。以往的數(shù)據(jù)庫服務(wù)器及熱備方式很難適應(yīng)海量數(shù)據(jù)的壓力，建立或委托數(shù)據(jù)云存儲業(yè)務(wù)將是最終的出路，有效的數(shù)據(jù)存儲將是后期大數(shù)據(jù)分析的堅(jiān)實(shí)基礎(chǔ)。第三，大數(shù)據(jù)的分析，如上一、二小節(jié)所講，系統(tǒng)架構(gòu)的變革與存儲方式的更新皆是為了海量的能耗管理數(shù)據(jù)而進(jìn)行。對數(shù)據(jù)做了如此之多的支持最終為了什么？這些數(shù)據(jù)有何意義呢？答案就是大數(shù)據(jù)分析。例如，Google通過全美各地區(qū)搜索H1N1及流感相關(guān)關(guān)鍵字頻率和分布，得出疫情暴發(fā)警報；對沖基金通過全球Twitter用戶每天關(guān)于情緒的關(guān)鍵字進(jìn)行以億為單位的數(shù)據(jù)分析，用以為買入和拋售股票做參考依據(jù)；波士頓馬拉松爆炸案，警方通過數(shù)據(jù)分析，第二天抓獲嫌疑犯，制止再次作案；這些都是根據(jù)大數(shù)據(jù)分析的結(jié)果做出的決策。預(yù)測，是大數(shù)據(jù)的核心，準(zhǔn)確的預(yù)測是最大的競爭力。高校后勤集團(tuán)能源管理智慧化的核心就是對用能做出分析，根據(jù)結(jié)果做出科學(xué)的預(yù)測及決策。這也是智慧化與信息自動化的區(qū)別。
（2）應(yīng)用功能的變革。目前，高校后勤集團(tuán)能源管理的數(shù)字化能源監(jiān)管系統(tǒng)具備實(shí)時監(jiān)測用能情況的功能。智慧化依托于大數(shù)據(jù)分析及高效的分析模型為平臺帶來更多功能。能耗報警方面將不完全依附于計(jì)量終端的硬件功能，而是通過特定時段的用能數(shù)據(jù)分析，確定問題，并通過監(jiān)控頁面、短信等方式推送報警信息。例如，用水管線的查漏報警和超指標(biāo)報警等。節(jié)能測算，為用能改造提供依據(jù)。通過對實(shí)驗(yàn)對象更換用能設(shè)備前后的數(shù)據(jù)對比分析，可以得出該改造方案及所采用的設(shè)備是否真正做到了節(jié)能。指標(biāo)規(guī)劃，高校能耗管理的終極目標(biāo)之一是能耗定額管理。通過能耗歷史數(shù)據(jù)的環(huán)比、同比，分析能耗大戶用電趨勢，結(jié)合人員設(shè)備總量，為能耗指標(biāo)的合理分配提供支撐。系統(tǒng)聯(lián)動，管理智慧化要求系統(tǒng)與其他系統(tǒng)的聯(lián)動響應(yīng)，如能耗監(jiān)管系統(tǒng)與課表系統(tǒng)、宿管系統(tǒng)的聯(lián)動數(shù)據(jù)共享，達(dá)到根據(jù)課程及生活作息數(shù)據(jù)，利用能耗模型控制重點(diǎn)部位大型儀器開啟與關(guān)閉時間，通過能耗合理性分析，加強(qiáng)重點(diǎn)部位能耗監(jiān)控。
（3）管理的最終蛻變。大數(shù)據(jù)分析帶來決策與預(yù)測依據(jù)，可以對特定用戶提供用能合理性分析服務(wù)；通過對線路負(fù)載數(shù)據(jù)的分析，判斷線路負(fù)荷是否正常，做出警報預(yù)測，即時整改。多系統(tǒng)協(xié)作，將延伸能耗系統(tǒng)的增值服務(wù)，如用能消費(fèi)的支付手段，可以結(jié)合第三方支付系統(tǒng)完成用能的繳費(fèi)。這樣，無論是實(shí)體充值點(diǎn)，或是移動支付，都能方便快捷完成支付動作。高校后勤集團(tuán)能源管理智慧化帶來高校能源工作由管控到服務(wù)的最終蛻變。
三、新技術(shù)驅(qū)動下的發(fā)展方向
高校后勤集團(tuán)能源管理是智慧校園的數(shù)據(jù)核心區(qū)域，其發(fā)展中涉及的互聯(lián)網(wǎng)（數(shù)據(jù)通訊）、移動互聯(lián)網(wǎng)（支付）、物聯(lián)網(wǎng)（采集傳感器）、安全監(jiān)控、電信（通話、短信）都在產(chǎn)生海量數(shù)據(jù)。半個世紀(jì)以來，隨著計(jì)算機(jī)技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個概念。再則，云計(jì)算已經(jīng)成為當(dāng)今信息技術(shù)領(lǐng)域中最重要的新概念，正在成為未來互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)結(jié)合的一種新型的計(jì)算模式。［4］
高校后勤集團(tuán)能源管理將依托物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等技術(shù)，變革原有的管理模式。最終形成能耗云平臺，提供大數(shù)據(jù)分析服務(wù)，能源監(jiān)管將以大數(shù)據(jù)分析的結(jié)果作為決策的依據(jù)，逐步演進(jìn)為智慧化能源服務(wù)。
參考文獻(xiàn)：
［1］ 黃念根.霧霾鎖城倒逼傳統(tǒng)能源智慧變革［J］.智慧城市，2014
（3）：60.
［2］ 謝珊.學(xué)校后勤管理信息系統(tǒng)的設(shè)計(jì)與應(yīng)用［D］.成都電子科
技大學(xué)工學(xué)碩士學(xué)位論文，2010.
［3］ 中華人民共和國住房和城鄉(xiāng)建設(shè)部、中華人民共和國教育部.高
等學(xué)校節(jié)約型校園建設(shè)管理與技術(shù)導(dǎo)則（試行）［Z］.2008.
（一）大數(shù)據(jù)思維的內(nèi)涵
對于大數(shù)據(jù)思維的詮釋有多種說法，《大數(shù)據(jù)時代》的作者維克托•邁爾-舍恩伯格認(rèn)為：所謂大數(shù)據(jù)思維，是指一種意識，認(rèn)為公開的數(shù)據(jù)一旦處理得當(dāng)就能為千百萬人急需解決的問題提供答案[1]。王建華認(rèn)為：大數(shù)據(jù)思維，指的是用大數(shù)據(jù)思想文化去思考解決問題的一種方法。大數(shù)據(jù)思想文化也就是用大數(shù)據(jù)去反映事物發(fā)展過程的環(huán)節(jié)、要素等，在此基礎(chǔ)上通過建立多種模型模式加以控制，以達(dá)到精準(zhǔn)解決各類問題的目的[2]。黃欣榮認(rèn)為：人們迅速地以數(shù)據(jù)的眼光來觀察世界和理解、解釋這個紛繁復(fù)雜的世界，就是所謂的大數(shù)據(jù)思維[3]。不管哪一種詮釋，都包含兩層意思：數(shù)據(jù)可以反映問題、數(shù)據(jù)可以指導(dǎo)問題的解決。借助大數(shù)據(jù)思維，開放教育教學(xué)工作者能夠進(jìn)一步靠近并挖掘教育教學(xué)的潛在現(xiàn)實(shí)，有機(jī)會深入探索教育教學(xué)的變革與發(fā)展。
（二）大數(shù)據(jù)思維的特征
維克托•邁爾-舍恩伯格從數(shù)據(jù)本身出發(fā)，認(rèn)為大數(shù)據(jù)有三個主要特點(diǎn)，分別是全體、混雜和相關(guān)關(guān)系。全體，指的是收集和分析更多數(shù)據(jù)，通過這種方式可以看到很多隨機(jī)抽樣得不到的細(xì)節(jié)。混雜，指的是接受混雜，大數(shù)據(jù)時代追求的，是在宏觀上失去精確性，在微觀上獲得準(zhǔn)確性。相關(guān)關(guān)系，則是指應(yīng)該關(guān)注“是什么”，而非“為什么”[4]。黃欣榮將大數(shù)據(jù)思維與小數(shù)據(jù)思維相比較，從數(shù)據(jù)的增長速率、使用范圍考慮，認(rèn)為大數(shù)據(jù)思維具有整體性、多樣性、平等性、開放性、相關(guān)性和生長性等六大特征[5]。周世佳從數(shù)據(jù)產(chǎn)生的狀態(tài)、處理的模式、結(jié)果的呈現(xiàn)樣式出發(fā)，認(rèn)為大數(shù)據(jù)思維的特征是：整體性與涌現(xiàn)性、多樣性與非線性、相關(guān)性與不確定性、并行性與實(shí)時性[6]。大數(shù)據(jù)思維是大數(shù)據(jù)時代形成的特定思維方式，與傳統(tǒng)的數(shù)據(jù)思維有所差別。本文從數(shù)據(jù)對象、關(guān)注點(diǎn)、數(shù)據(jù)處理方式、支撐技術(shù)等方面總結(jié)歸納了大數(shù)據(jù)思維與傳統(tǒng)數(shù)據(jù)思維的差異，如表1所示。
（三）大數(shù)據(jù)思維的教育應(yīng)用
大數(shù)據(jù)思維在商業(yè)、金融、通訊、經(jīng)濟(jì)、醫(yī)療等行業(yè)的應(yīng)用已有較長時間，近期伴隨著移動互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)的發(fā)展而引起國內(nèi)外廣泛關(guān)注[7]。然而大數(shù)據(jù)在教育領(lǐng)域的應(yīng)用并不深入，“教學(xué)應(yīng)用大數(shù)據(jù)分析處于起步階段，還需要幾年才能成熟。”[8]2012年10月，美國教育部了《通過教育數(shù)據(jù)挖掘和學(xué)習(xí)分析促進(jìn)教與學(xué)》的報告，宣告了“數(shù)據(jù)驅(qū)動學(xué)校，分析變革教育”的教育大數(shù)據(jù)時代已經(jīng)來臨，掀起人類教與學(xué)的又一次變革[9]。目前，大數(shù)據(jù)分析已應(yīng)用到美國公共教育領(lǐng)域，成為教學(xué)改革的重要力量[10]。美國教育部門創(chuàng)造了“學(xué)習(xí)分析系統(tǒng)”——一個數(shù)據(jù)挖掘、模化和案例運(yùn)用的聯(lián)合框架，旨在向教育工作者提供更多、更好、更精確的信息，從而了解學(xué)生到底是“怎樣”學(xué)習(xí)的[11]。美國的新興企業(yè)“希維塔斯學(xué)習(xí)”（CivitasLearning）運(yùn)用預(yù)測性分析、機(jī)器學(xué)習(xí)來提高學(xué)生成績。加拿大“渴望學(xué)習(xí)”（Desire2Learn）教育科技公司的“學(xué)生成功系統(tǒng)”（StudentSuccessSystem）通過監(jiān)控學(xué)生閱讀電子化課程材料、提交電子版作業(yè)、在線與同學(xué)交流、完成考試與測驗(yàn)，讓其計(jì)算程序持續(xù)、系統(tǒng)地分析每個學(xué)生的教育數(shù)據(jù)[12]。2013年是中國的大數(shù)據(jù)元年，也是我國大數(shù)據(jù)在教育領(lǐng)域應(yīng)用研究的起步階段[13]。國內(nèi)教育技術(shù)領(lǐng)域掀起了基于大數(shù)據(jù)技術(shù)促進(jìn)教育改革和創(chuàng)新發(fā)展相關(guān)研究的熱潮，大數(shù)據(jù)的教育應(yīng)用研究迅速發(fā)展起來。部分高校開始實(shí)踐對教育數(shù)據(jù)的挖掘與利用。清華大學(xué)的“大規(guī)模在線教育研究中心”，通過大數(shù)據(jù)技術(shù)對眾多學(xué)習(xí)者在平臺留下的學(xué)習(xí)行為數(shù)據(jù)進(jìn)行分析，得出學(xué)習(xí)者對哪些知識點(diǎn)比較感興趣、哪些學(xué)習(xí)工具和學(xué)習(xí)資料使用頻率最高等規(guī)律[14]，進(jìn)而打造更具適應(yīng)性的智能學(xué)習(xí)平臺。華東師范大學(xué)對校園網(wǎng)站數(shù)據(jù)進(jìn)行分析，從而改善用戶體驗(yàn)[15]。浙江大學(xué)通過對資產(chǎn)的歸納、整理，最終形成權(quán)威、全面的資產(chǎn)數(shù)據(jù)，并基于資產(chǎn)數(shù)據(jù)提供數(shù)據(jù)查詢和分析服務(wù)[16]，幫助教務(wù)處更好地利用教室、實(shí)驗(yàn)室等資源。
二、開放教育領(lǐng)域教育教學(xué)數(shù)據(jù)應(yīng)用現(xiàn)狀
（一）開放教育領(lǐng)域教育教學(xué)數(shù)據(jù)類型
隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展與應(yīng)用，遠(yuǎn)程開放教育領(lǐng)域部署了眾多學(xué)習(xí)管理系統(tǒng)，比如三級“電大在線”遠(yuǎn)程教學(xué)平臺、形成性測評系統(tǒng)、國家開放大學(xué)學(xué)習(xí)網(wǎng)，除此以外，還有招生、教務(wù)、考試報名等信息管理系統(tǒng)，這些系統(tǒng)經(jīng)過多年的教育實(shí)踐，不但存儲著海量學(xué)習(xí)者信息及學(xué)習(xí)過程數(shù)據(jù)，還存儲著大量的管理數(shù)據(jù)。2012年，葛道凱等人根據(jù)教育活動中技術(shù)手段的差異，將教育數(shù)據(jù)來源劃分為傳統(tǒng)教育數(shù)據(jù)和遠(yuǎn)程教育數(shù)據(jù)。根據(jù)業(yè)務(wù)活動的不同，將教育數(shù)據(jù)挖掘的數(shù)據(jù)來源劃分為教學(xué)數(shù)據(jù)、管理數(shù)據(jù)、科研數(shù)據(jù)三大類。[17]1.教學(xué)數(shù)據(jù)挖掘遠(yuǎn)程教學(xué)數(shù)據(jù)主要來源于各類數(shù)字化學(xué)習(xí)環(huán)境，既可以是保存在服務(wù)器和客戶端上的日志數(shù)據(jù)[18]，還可以是圖片信息、動畫、視頻、地理位置信息等，前者多為結(jié)構(gòu)化數(shù)據(jù)，后者多為半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。隨著智慧課堂等信息化項(xiàng)目的建設(shè)，各種電子教具、智能設(shè)備逐漸進(jìn)入課堂，課堂教學(xué)過程也會產(chǎn)生并保存豐富的數(shù)據(jù)。對教學(xué)數(shù)據(jù)進(jìn)行挖掘，對學(xué)習(xí)過程中產(chǎn)生的各類信息進(jìn)行深度分析，能夠?qū)崟r洞察學(xué)習(xí)者的行為，從而預(yù)測和把握每一個學(xué)習(xí)者的學(xué)習(xí)需求、學(xué)習(xí)風(fēng)格、學(xué)習(xí)態(tài)度乃至學(xué)習(xí)模式，學(xué)校、教師可以為不同學(xué)習(xí)者提供合適的學(xué)習(xí)內(nèi)容與指導(dǎo)，實(shí)現(xiàn)真正意義上的個性化教育。2.管理數(shù)據(jù)挖掘管理數(shù)據(jù)主要來自于教育機(jī)構(gòu)、部門使用數(shù)字化管理系統(tǒng)過程中錄入、保存和管理的數(shù)據(jù)，主要表現(xiàn)為結(jié)構(gòu)良好的報表形式。比如人事管理、招生管理、學(xué)籍管理、教務(wù)管理、師資管理等常見系統(tǒng)。在現(xiàn)今管理中，學(xué)校決策很多時候仍然主要依賴領(lǐng)導(dǎo)的經(jīng)驗(yàn)和直覺，而非基于客觀的數(shù)據(jù)。大數(shù)據(jù)思維可以重構(gòu)決策路徑。挖掘并分析管理數(shù)據(jù)，能夠?yàn)榻逃芾砣藛T提供參考，實(shí)現(xiàn)對管理對象（學(xué)生、教職工）及各種業(yè)務(wù)流程的更好理解，并據(jù)此優(yōu)化各項(xiàng)管理工作。3.科研數(shù)據(jù)挖掘目前許多與科學(xué)研究有關(guān)的信息資料已被轉(zhuǎn)換為數(shù)字形式，存于數(shù)據(jù)庫中，并可通過各類檢索系統(tǒng)檢索使用。科研數(shù)據(jù)結(jié)構(gòu)良好，非常適合進(jìn)行數(shù)據(jù)挖掘。將科研數(shù)據(jù)庫，如文獻(xiàn)數(shù)據(jù)庫、政策數(shù)據(jù)庫、語料庫等的原始數(shù)據(jù)轉(zhuǎn)換為有用信息，可提高研究效率，優(yōu)化研究成果的呈現(xiàn)方式，實(shí)現(xiàn)全面、快速、準(zhǔn)確地了解某一研究領(lǐng)域的現(xiàn)狀，并預(yù)測未來的發(fā)展方向。比如，基于CNKI期刊論文數(shù)據(jù)庫的“終身教育與遠(yuǎn)程教育”之關(guān)系的文獻(xiàn)研究[19]。
（二）開放教育領(lǐng)域教育教學(xué)數(shù)據(jù)應(yīng)用現(xiàn)狀
盡管開放教育領(lǐng)域早已形成了“大數(shù)據(jù)倉庫”，但學(xué)校缺乏對數(shù)據(jù)的集中管理與有效利用，對數(shù)據(jù)的應(yīng)用相當(dāng)有限，絕大部分?jǐn)?shù)據(jù)只是沉寂在數(shù)據(jù)庫中，很難從中發(fā)現(xiàn)規(guī)律和有價值的信息，這種情況主要表現(xiàn)為以下幾方面：1.業(yè)務(wù)部門難以提出數(shù)據(jù)的準(zhǔn)確需求學(xué)校的業(yè)務(wù)部門對數(shù)據(jù)的采集、整理、分析主要出于業(yè)務(wù)驅(qū)動，業(yè)務(wù)流程結(jié)束后，數(shù)據(jù)也隨之沉睡，數(shù)據(jù)分析處于被動狀態(tài)。此外，很多業(yè)務(wù)部門不了解大數(shù)據(jù)及其應(yīng)用場景和價值，尚未形成大數(shù)據(jù)思維來指導(dǎo)各項(xiàng)工作的開展，在實(shí)際工作中難以提出大數(shù)據(jù)的準(zhǔn)確需求：要優(yōu)化某項(xiàng)業(yè)務(wù)，到底需要哪些數(shù)據(jù)？這些數(shù)據(jù)應(yīng)當(dāng)如何獲取？采集的數(shù)據(jù)要按什么標(biāo)準(zhǔn)進(jìn)行整理、挖掘和分析？數(shù)據(jù)的可視化處理應(yīng)做到什么程度？2.對數(shù)據(jù)的應(yīng)用受制于平臺和技術(shù)學(xué)校各級各類學(xué)習(xí)系統(tǒng)、信息管理系統(tǒng)的數(shù)據(jù)產(chǎn)量很大，但對數(shù)據(jù)的保存和利用率總體偏低。就數(shù)據(jù)的存儲和處理來說，存在數(shù)據(jù)類型多樣化、數(shù)據(jù)讀寫瓶頸、存儲壓力、系統(tǒng)性能瓶頸、數(shù)據(jù)分析效率低、數(shù)據(jù)安全等問題。比如開放教育的教務(wù)管理系統(tǒng)，龐大的學(xué)生成績數(shù)據(jù)已超出傳統(tǒng)系統(tǒng)的存儲和分析能力，導(dǎo)致對成績數(shù)據(jù)的處理停留在簡單的查詢、統(tǒng)計(jì)、打印和報表階段，未能對數(shù)據(jù)進(jìn)行深入分析，獲得有利于教學(xué)工作的信息[20]。3.現(xiàn)存的數(shù)據(jù)分析是零散的、割裂的大數(shù)據(jù)時代，強(qiáng)調(diào)形成機(jī)構(gòu)內(nèi)部各模塊數(shù)據(jù)、數(shù)據(jù)庫網(wǎng)、多媒體數(shù)據(jù)、各類平臺數(shù)據(jù)、各類信息載體數(shù)據(jù)之間的互聯(lián)，力求最大限度地利用數(shù)據(jù)。但現(xiàn)有的教育數(shù)據(jù)存在機(jī)構(gòu)化、部門化問題，數(shù)據(jù)呈現(xiàn)割裂、零散狀態(tài)，數(shù)據(jù)分析也較少關(guān)注數(shù)據(jù)之間的相關(guān)性。比如，教務(wù)處會有意識地整理每學(xué)期的在籍生人數(shù)、各專業(yè)人數(shù)、開設(shè)課程明細(xì)、學(xué)期選課人次、學(xué)生到課率、按期畢業(yè)率、學(xué)位獲取率、退學(xué)率、終結(jié)性考試及格率等數(shù)據(jù)，但卻很少挖掘這些數(shù)據(jù)之間的相關(guān)性和影響關(guān)系，更不用說不同部門數(shù)據(jù)之間的聯(lián)動關(guān)系。4.缺乏專門的數(shù)據(jù)分析崗位及人才大數(shù)據(jù)時代帶來很多新的理念和技術(shù)，擁有與過去完全不同的數(shù)據(jù)存儲和處理模式，但現(xiàn)有的系統(tǒng)管理員、數(shù)據(jù)庫管理員仍然習(xí)慣使用傳統(tǒng)關(guān)系數(shù)據(jù)庫管理系統(tǒng)，短期內(nèi)很難具備面向未來的數(shù)據(jù)分析技能。究其原因，一方面在于學(xué)校對數(shù)據(jù)分析相關(guān)崗位和人才的需求態(tài)度尚未明朗，另一方面，新技術(shù)應(yīng)用門檻較高，許多大數(shù)據(jù)技術(shù)在成熟度和可訪問性方面暫時不及傳統(tǒng)數(shù)據(jù)庫和數(shù)據(jù)管理套件，可用于幫助系統(tǒng)管理員熟悉這些環(huán)境的補(bǔ)充分析工具也非常有限。
三、大數(shù)據(jù)思維對開放教育數(shù)據(jù)挖掘的若干啟示
（一）自上而下，形成教育教學(xué)管理的數(shù)據(jù)思維
隨著廣播電視大學(xué)向開放大學(xué)的轉(zhuǎn)型，成人院校在辦學(xué)種類、辦學(xué)規(guī)模、專業(yè)結(jié)構(gòu)和數(shù)量、師生來源、甚至所處環(huán)境都會發(fā)生變化。對開放教育數(shù)據(jù)進(jìn)行挖掘與分析，有助于成人院校找準(zhǔn)辦學(xué)定位，提高教育、教學(xué)、管理的科學(xué)性，也為學(xué)校改進(jìn)和加強(qiáng)宏觀管理提供了有益的檢測模式和評估技術(shù)。大數(shù)據(jù)思維的推廣應(yīng)用，需要學(xué)校的管理方式、架構(gòu)、技術(shù)均與大數(shù)據(jù)時代相適配。因而有必要在區(qū)域或?qū)W校層面形成整體的大數(shù)據(jù)戰(zhàn)略，并將此作為學(xué)校的重要任務(wù)，通過大數(shù)據(jù)思維將信息化教學(xué)、信息化管理、遠(yuǎn)程教育支持服務(wù)與學(xué)校日常工作相整合，通過協(xié)調(diào)化方式，所有部門共同培養(yǎng)和提高收集、存儲、管理、分析和共享海量數(shù)據(jù)所需的思維與技術(shù)，逐步實(shí)現(xiàn)數(shù)據(jù)管理的常規(guī)化、即時化、網(wǎng)絡(luò)化、公開化。
（二）從智慧校園建設(shè)入手，為數(shù)據(jù)挖掘與分析創(chuàng)造充分條件
隨著云計(jì)算和物聯(lián)網(wǎng)的出現(xiàn)，校園信息化建設(shè)應(yīng)盡快從數(shù)字校園向智慧校園過渡。智慧校園建設(shè)通過把傳感器嵌入到校園的各種系統(tǒng)中，將校園管理的眾多軟件系統(tǒng)平臺融入到校園云，實(shí)現(xiàn)云、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)的串通聯(lián)接，由此可實(shí)現(xiàn)校園實(shí)時數(shù)據(jù)的獲取、存儲和加工分析，從而為學(xué)校發(fā)展和教學(xué)應(yīng)用提供有效的決策依據(jù)，智慧校園作為教育信息化建設(shè)的一個實(shí)體，對實(shí)踐大數(shù)據(jù)的價值提純有重要的現(xiàn)實(shí)意義[21]。此外，智慧校園還包括大數(shù)據(jù)的標(biāo)準(zhǔn)體系、校園數(shù)字化生態(tài)環(huán)境以及相應(yīng)的信息化組織管理體系等方面的建設(shè)[22]。從基礎(chǔ)設(shè)施建設(shè)著手，逐步開展基于云計(jì)算的大數(shù)據(jù)應(yīng)用，實(shí)現(xiàn)對教師網(wǎng)絡(luò)教學(xué)行為、學(xué)生遠(yuǎn)程學(xué)習(xí)行為、學(xué)生個性特征等的分析和預(yù)測，為促進(jìn)學(xué)生身心發(fā)展提供適時引導(dǎo)和幫助，提供學(xué)校運(yùn)轉(zhuǎn)的實(shí)時動態(tài)數(shù)據(jù)，助力教學(xué)管理科學(xué)化、智能化。
（三）腳踏實(shí)地，充分挖掘和分析現(xiàn)有數(shù)據(jù)
大數(shù)據(jù)時代，數(shù)據(jù)類型豐富，除結(jié)構(gòu)化數(shù)據(jù)以外，還混雜著大量的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。掌握分析半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的能力對大多數(shù)學(xué)校來說是一個持續(xù)的挑戰(zhàn)。學(xué)校應(yīng)將結(jié)構(gòu)化數(shù)據(jù)挖掘作為大數(shù)據(jù)思維應(yīng)用的切入點(diǎn)，注重收集和存儲用戶信息和行為數(shù)據(jù)，為將來各項(xiàng)應(yīng)用做好充分準(zhǔn)備；與此同時，借助已有的數(shù)據(jù)分析手段和研究方法，借助數(shù)據(jù)指導(dǎo)開放教育的發(fā)展。在初級應(yīng)用階段，可以考慮從教學(xué)數(shù)據(jù)、管理數(shù)據(jù)兩方面進(jìn)行教育數(shù)據(jù)挖掘：1.基于網(wǎng)絡(luò)教學(xué)平臺的數(shù)據(jù)挖掘（1）學(xué)習(xí)者特征識別：識別學(xué)習(xí)者特征，特別是學(xué)習(xí)者群體的特征，并依據(jù)某些關(guān)鍵特征對學(xué)習(xí)者群體加以細(xì)分，有助于做好前期的教學(xué)設(shè)計(jì)，并為個性化學(xué)習(xí)的實(shí)施提供依據(jù)。比如“學(xué)生數(shù)量統(tǒng)計(jì)與趨勢預(yù)測”和“學(xué)生特征分類與相關(guān)分析”。（2）學(xué)習(xí)者在線學(xué)習(xí)行為分析：基于網(wǎng)絡(luò)教學(xué)平臺中師生學(xué)習(xí)過程的數(shù)據(jù)，針對教師和學(xué)生的行為方式，如登錄、瀏覽資源、發(fā)帖、練習(xí)等行為和行為發(fā)生時間，以及各類資源、課程模塊的使用情況進(jìn)行統(tǒng)計(jì)、可視化和挖掘。比如“學(xué)生登錄行為分析”、“學(xué)生資源瀏覽模式分析”、“師生交互論壇分析”和“學(xué)生行為影響因素分析”等。（3）師生交互分析：對網(wǎng)絡(luò)教學(xué)平臺交互論壇中的數(shù)據(jù)進(jìn)行分析，幫助教師診斷學(xué)生對教學(xué)目標(biāo)的掌握程度，以便給學(xué)生提供及時的反饋和指導(dǎo)。2.基于教育管理信息系統(tǒng)的數(shù)據(jù)挖掘（1）教職工管理：從人事信息數(shù)據(jù)庫、后勤信息系統(tǒng)、師資管理和測評系統(tǒng)挖掘現(xiàn)有數(shù)據(jù)，對學(xué)校在人才引進(jìn)、教師績效評價、教師發(fā)展、職業(yè)規(guī)劃、后勤管理、教育決策支持系統(tǒng)等方面提供快速、準(zhǔn)確的決策幫助。（2）學(xué)生管理：基于學(xué)籍?dāng)?shù)據(jù)庫、招生數(shù)據(jù)庫開展數(shù)據(jù)挖掘，優(yōu)化學(xué)生管理工作，為學(xué)校的招生決策、就業(yè)指導(dǎo)、畢業(yè)生追蹤、課程設(shè)置等提供有益幫助。比如挖掘?qū)W生修業(yè)結(jié)果數(shù)據(jù)，開展畢業(yè)生（輟學(xué)學(xué)生）特征分析、畢業(yè)（輟學(xué)）結(jié)果影響因素和畢業(yè)（輟學(xué)）時間影響因素分析，進(jìn)行畢業(yè)（輟學(xué)）結(jié)果預(yù)測規(guī)則和畢業(yè)（輟學(xué)）時間預(yù)測規(guī)則等。
（四）著眼未來，做好數(shù)據(jù)型人才儲備
大數(shù)據(jù)時代，學(xué)校的管理決策、課堂的教學(xué)決策和對成人學(xué)習(xí)者的學(xué)習(xí)支持服務(wù)決策都將依賴于海量數(shù)據(jù)的分析結(jié)果，數(shù)據(jù)分析與挖掘?qū)⒅饾u成為學(xué)校的常規(guī)工作，除了注重提升各部門人員的數(shù)據(jù)分析能力外，成人院校還需有意識地培養(yǎng)和儲備以下人才：1.大數(shù)據(jù)管理人才在大數(shù)據(jù)教育應(yīng)用的萌芽階段，學(xué)校對大數(shù)據(jù)管理人才需求的迫切性要遠(yuǎn)超對技術(shù)人才的需求。信息技術(shù)發(fā)展日新月異，過去的教學(xué)、管理經(jīng)驗(yàn)甚至可能成為現(xiàn)在的束縛。為了應(yīng)對新時代的挑戰(zhàn)，除設(shè)立專門的數(shù)據(jù)管理崗位外，管理者必須要有意識地轉(zhuǎn)變思維方式，學(xué)會用數(shù)據(jù)思考、說話和管理；必須學(xué)會用大數(shù)據(jù)的方法，去尋找合適的解決方案。2.大數(shù)據(jù)技術(shù)人才[23]要想對教育教學(xué)數(shù)據(jù)進(jìn)行充分挖掘，成人院校無疑需要一批懂得大數(shù)據(jù)，且善于研究大數(shù)據(jù)、深挖大數(shù)據(jù)的專家。這部分人才要綜合掌握數(shù)學(xué)、統(tǒng)計(jì)學(xué)、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和自然語言處理等多方面知識。（1）數(shù)據(jù)科學(xué)家：具有數(shù)據(jù)分析能力，精通各類算法，能夠直接處理數(shù)據(jù)的人。（2）數(shù)據(jù)架構(gòu)師：精通開放教育各項(xiàng)業(yè)務(wù)，了解業(yè)務(wù)需求和業(yè)務(wù)系統(tǒng)架構(gòu)，能夠把數(shù)據(jù)和業(yè)務(wù)進(jìn)行對接的人。（3）數(shù)據(jù)工程師：能夠搭建數(shù)據(jù)存儲、管理以及處理的平臺，并支撐數(shù)據(jù)科學(xué)家提出的數(shù)學(xué)模型或算法的運(yùn)行。
四、小結(jié)
關(guān)鍵詞：大數(shù)據(jù)；發(fā)展脈絡(luò)；營銷趨勢；研究評析
一、問題的提出
云計(jì)算、移動互聯(lián)網(wǎng)等新信息技術(shù)的廣泛應(yīng)用及社會化網(wǎng)絡(luò)的興起，使信息數(shù)據(jù)產(chǎn)生機(jī)制更復(fù)雜、傳播速度更快、類型更多樣，全球進(jìn)入信息數(shù)據(jù)量“井噴式”增長的大數(shù)據(jù)時代。國際數(shù)據(jù)公司（In原ternationalDataCorporation，IDC）指出：全球創(chuàng)建和復(fù)制的數(shù)據(jù)量五年內(nèi)增長近九倍，預(yù)計(jì)將以每兩年至少翻一番的速度繼續(xù)增長。僅2013年，世界范圍存儲的數(shù)據(jù)就達(dá)1.2ZB（1ZB抑1021B），將這些數(shù)據(jù)刻錄到CDR只讀光盤并堆起，其高度將是地球到月球距離的五倍[1]。生產(chǎn)和信息方式的變革引起管理規(guī)范及其深層次上價值觀的轉(zhuǎn)變。傳統(tǒng)企業(yè)營銷中，為避免無法獲取整體數(shù)據(jù)的弊端，多依據(jù)小樣本采樣統(tǒng)計(jì)推斷以形成所謂“科學(xué)決策”。然而采樣分析的成功取決于樣本的絕對隨機(jī)性，大數(shù)據(jù)時代，營銷調(diào)研建立在對大樣本持續(xù)收集數(shù)據(jù)的基礎(chǔ)上，實(shí)時分析和輸出調(diào)查結(jié)果將為營銷決策提供及時判斷臨界值。在大數(shù)據(jù)背景下對營銷活動進(jìn)行研究，具有聚焦數(shù)據(jù)，提高營銷決策科學(xué)性；強(qiáng)調(diào)洞察，增強(qiáng)營銷活動“預(yù)見性”；重視創(chuàng)新，增強(qiáng)營銷理論“前瞻性”等研究價值[2]。特別是中國具有眾多人口和龐大市場，也使中國成為最為復(fù)雜的大數(shù)據(jù)國家之一。那么，大數(shù)據(jù)對營銷活動究竟會產(chǎn)生怎樣的影響？其內(nèi)在機(jī)理是什么？通過文獻(xiàn)綜述，對大數(shù)據(jù)概念進(jìn)行界定，梳理其發(fā)展的歷史脈絡(luò)，在此基礎(chǔ)上分析大數(shù)據(jù)對消費(fèi)者行為、營銷決策模式、營銷戰(zhàn)略、營銷要素等的影響表征及其機(jī)理，最后對大數(shù)據(jù)的營銷應(yīng)用研究做出述評。
二、大數(shù)據(jù)的發(fā)展脈絡(luò)及概念界定
（一）大數(shù)據(jù)的發(fā)展脈絡(luò)
大數(shù)據(jù)的概念最早要追溯到上世紀(jì)，只是在互聯(lián)網(wǎng)時代，大數(shù)據(jù)才從規(guī)模、類型等方面得以實(shí)現(xiàn)。早在1981年，美國著名未來學(xué)家Toffler在其著作《TheThirdWave》中，提及“大數(shù)據(jù)”，并稱之為“第三浪潮的華章”[3]。2001年，META集團(tuán)（現(xiàn)為Gartner）的分析師Laney指出數(shù)據(jù)增長帶來規(guī)模性（Volume）、高速性（Velocity）、多樣性（Variety）等變化[4]。《Nature》則在2008年9月開設(shè)“BigData”專刊[5-7]，同時《Sci原ence》也推出數(shù)據(jù)處理研究專刊“DealingWithDa原ta”，對數(shù)據(jù)洪流（DataDeluge）所帶來的社會變革及影響做出討論[8]。大數(shù)據(jù)研究的開創(chuàng)性論文是Gins原bergetal（2009）的“DetectingInfluenzaEpidemicsUsingSearchEngineQueryData”，該文探討了如何利用谷歌搜索引擎查詢詞來預(yù)測流行病[9]。只是在最近幾年，大數(shù)據(jù)才成為高頻詞。2011年5月，麥肯錫公司《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一前沿》報告，指出“在數(shù)據(jù)滲透于各領(lǐng)域并成為生產(chǎn)要素的背景下，對海量數(shù)據(jù)挖掘應(yīng)用，將帶來新的生產(chǎn)增長和消費(fèi)者盈余浪潮”[10]。2012年3月，美國開始實(shí)施“大數(shù)據(jù)研發(fā)計(jì)劃（BigDataRe原searchandDevelopmentInitiative）”，將大數(shù)據(jù)喻為“未來新石油”，并視為與互聯(lián)網(wǎng)、超級計(jì)算機(jī)同等重要的國家戰(zhàn)略，這也是美國在“信息高速公路”計(jì)劃后所實(shí)施的又一國家級重大科技戰(zhàn)略。日本緊隨其后，推出“新ICT戰(zhàn)略研究計(jì)劃”。同年，世界經(jīng)濟(jì)論壇《大數(shù)據(jù)、大影響》報告，從多個行業(yè)領(lǐng)域闡述大數(shù)據(jù)給世界經(jīng)濟(jì)帶來的發(fā)展機(jī)會[11]。就國內(nèi)而言，2011年12月，國金證券開創(chuàng)國內(nèi)大數(shù)據(jù)研究先河，將其研究成果引入資本市場[12]。2012年5月，香山科學(xué)會議組織“大數(shù)據(jù)科學(xué)與工程：一門新興的交叉學(xué)科”為論題的會議，同年6月，中國計(jì)算機(jī)學(xué)會青年計(jì)算機(jī)科技論壇（CCFYOC原SEF）舉辦“大數(shù)據(jù)時代，智謀未來”會議，對大數(shù)據(jù)挖掘技術(shù)、組織架構(gòu)、平臺治理等展開探討。2013年6月，國家自然科學(xué)基金委管理科學(xué)部、美國營銷科學(xué)學(xué)會（MSI）、南京大學(xué)商學(xué)院（管理學(xué)院）和香港中文大學(xué)工商管理學(xué)院聯(lián)合主辦“2013營銷科學(xué)與應(yīng)用國際論壇”，也將“大數(shù)據(jù)、社會化、移動化對市場營銷的新挑戰(zhàn)”作為主要議題之一。2014年2月，北京銀行與小米科技就移動支付、便捷信貸、產(chǎn)品定制、渠道拓展等簽署協(xié)議，表明國內(nèi)企業(yè)運(yùn)用大數(shù)據(jù)戰(zhàn)略進(jìn)入實(shí)質(zhì)性階段。2014年3月5日，總理第一次把大數(shù)據(jù)寫進(jìn)政府工作報告，闡明了國家對大數(shù)據(jù)產(chǎn)業(yè)鼎力支持的政策，隨后一系列公開講話進(jìn)一步明確了這一戰(zhàn)略部署。2015年2月，百度公司利用百度遷徙、百度指數(shù)等大數(shù)據(jù)產(chǎn)品直觀地呈現(xiàn)了春運(yùn)“景觀”，把大數(shù)據(jù)研究成果可視化地展示在電視屏幕上。2015年3月，政府工作報告中進(jìn)一步提出“互聯(lián)網(wǎng)+”計(jì)劃，推動大數(shù)據(jù)與現(xiàn)代工業(yè)相結(jié)合。
（二）大數(shù)據(jù)的概念界定
大數(shù)據(jù)本身就是抽象的概念，當(dāng)前對其概念界定尚未達(dá)成統(tǒng)一，不同組織及學(xué)者給予不同的表述，見表1。盡管各方對大數(shù)據(jù)概念并不統(tǒng)一，但其中“大規(guī)模數(shù)據(jù)”“體量、復(fù)雜性及速度超越傳統(tǒng)數(shù)據(jù)”“超越現(xiàn)代技術(shù)手段處理能力”等觀點(diǎn)得到基本認(rèn)可。IBM公司及Laneyetal（2001）認(rèn)為大數(shù)據(jù)具有“3V”特征：規(guī)模性（Volume），數(shù)據(jù)量一般要達(dá)到TB級甚至PB級；多樣性（Variety），數(shù)據(jù)結(jié)構(gòu)類型包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；高速性（Ve原locity），產(chǎn)生、處理、分析數(shù)據(jù)的速度加快。國際數(shù)據(jù)公司（IDC）在此基礎(chǔ)上，增加“價值性（Value），即“大數(shù)據(jù)價值很大但呈現(xiàn)低密度性”的特點(diǎn)，從而形成大數(shù)據(jù)的“4V”特征[16]。而NetApp公司認(rèn)為大數(shù)據(jù)具有“ABC”三特征：大分析（BigAnalytic），通過對大數(shù)據(jù)實(shí)時分析構(gòu)建新的業(yè)務(wù)模式并更好地了解顧客需求；高帶寬（BigBandwidth），快速有效地對數(shù)據(jù)進(jìn)行處理分析；大內(nèi)容（BigContent），包括各種類型數(shù)據(jù)，同時對數(shù)據(jù)存儲、擴(kuò)展、安全等管理的高要求[17]。
三、大數(shù)據(jù)對未來市場營銷的沖擊
根據(jù)（移動）互聯(lián)網(wǎng)時代大數(shù)據(jù)的特征、消費(fèi)者行為變化及營銷模式的可能演變，通過相關(guān)文獻(xiàn)梳理，勾畫的大數(shù)據(jù)對未來營銷活動的影響趨勢，見圖1。
（一）大數(shù)據(jù)對消費(fèi)行為的影響
1援消費(fèi)行為更理性。工業(yè)化時代，信息不對稱的客觀存在，消費(fèi)者易受各種如低價促銷、廣告宣傳等影響。而大數(shù)據(jù)時代，消費(fèi)者有更多、更方便的途徑獲取更詳細(xì)的商品價格、成本、產(chǎn)地、質(zhì)量等信息，并可更方便地搜尋、比對和遴選，從而做出更理性的選擇[18]。2援消費(fèi)行為冪律分布。大數(shù)據(jù)時代，消費(fèi)者評價系統(tǒng)更廣泛，先前購物者的購后評價及經(jīng)驗(yàn)對新消費(fèi)者具有重要參考。相比先前購物者的好評，消費(fèi)者則會更關(guān)注其差評，以便做出正確的消費(fèi)決策。同類產(chǎn)品中，質(zhì)量好、價格有優(yōu)勢、服務(wù)好的產(chǎn)品受到越來越多的青睞，并不斷吸引新的消費(fèi)者，形成“滾雪球式”的“馬太效應(yīng)”，消費(fèi)行為呈現(xiàn)冪律分布。3援消費(fèi)行為更個性化。工業(yè)化時代，商家追求規(guī)模經(jīng)濟(jì)的考慮，只能在有限范圍滿足消費(fèi)者個性化消費(fèi)。而大數(shù)據(jù)時代，信息廣泛并快速傳播，消費(fèi)者的消費(fèi)認(rèn)知及創(chuàng)造力大大提升，消費(fèi)異質(zhì)性不斷增大，對產(chǎn)品或服務(wù)的關(guān)注并不僅限于以往的質(zhì)量、品牌、價格、售后等，更關(guān)注其個性化的滿足程度。
（二）大數(shù)據(jù)對營銷決策模式的影響
大數(shù)據(jù)時代，思維方式發(fā)生三個變革：其一，要分析與事務(wù)相關(guān)所有數(shù)據(jù)而不是少量數(shù)據(jù)所構(gòu)成的樣本；其二，要接受數(shù)據(jù)紛亂復(fù)雜的事實(shí)，而不能過于苛求精確；其三，更加主動地分析相關(guān)關(guān)系而不再探究難以捉摸的因果關(guān)系[19]，可以說，數(shù)據(jù)驅(qū)動型決策（Data‐drivenDecisionMaking）是大數(shù)據(jù)背景下決策的特點(diǎn)[20]，以“數(shù)據(jù)化、智能化、實(shí)時化垣經(jīng)驗(yàn)”將成為大數(shù)據(jù)時代的營銷決策范式。1援?dāng)?shù)據(jù)決策技術(shù)升級，注重實(shí)時處理及相關(guān)分析。傳統(tǒng)分析多基于多元統(tǒng)計(jì)、計(jì)量經(jīng)濟(jì)學(xué)模型等方法，對大量一手和二手結(jié)構(gòu)化數(shù)據(jù)實(shí)施分析，從中尋求研究對象的內(nèi)在聯(lián)系，常用方法有：聚類分析、因子分析、相關(guān)分析、回歸分析、A/B測試、數(shù)據(jù)挖掘等。大數(shù)據(jù)背景下，數(shù)據(jù)規(guī)模大、傳遞速度快、非結(jié)構(gòu)化數(shù)據(jù)多等特點(diǎn)，使得傳統(tǒng)數(shù)據(jù)分析及數(shù)據(jù)庫管理手段很難適應(yīng)時代要求。數(shù)據(jù)產(chǎn)生及傳播速度加快，要求數(shù)據(jù)應(yīng)用實(shí)現(xiàn)從離線（Offline）向在線（On原line）的實(shí)時處理轉(zhuǎn)化[21]。數(shù)據(jù)關(guān)聯(lián)成為大數(shù)據(jù)的主要價值來源，但數(shù)據(jù)間交互廣、價值密度低、碎片化嚴(yán)重，也使決策重點(diǎn)從以往因果關(guān)系分析向相關(guān)關(guān)系分析轉(zhuǎn)變。2援決策參與主體向社會大眾傾斜，數(shù)據(jù)分析師地位加強(qiáng)。大數(shù)據(jù)使?fàn)I銷決策越來越依賴于數(shù)據(jù)分析而非經(jīng)驗(yàn)或直覺[22]，直覺判斷將被精準(zhǔn)的數(shù)據(jù)分析代替。管理者決策重心在于正確發(fā)現(xiàn)并提出問題，一線員工對決策參與度將大大提升，決策主體從社會精英向社會大眾傾斜，扁平化組織架構(gòu)、學(xué)習(xí)型企業(yè)文化將得到加強(qiáng)。同時，能綜合運(yùn)用數(shù)據(jù)分析、分布式管理的數(shù)據(jù)分析師，將為企業(yè)營銷決策提供更多智力支持。
（三）大數(shù)據(jù)對營銷戰(zhàn)略的影響
1援激發(fā)協(xié)同營銷的競爭格局。大數(shù)據(jù)環(huán)境下企業(yè)與行業(yè)的邊界日趨模糊，營銷系統(tǒng)開放性更明顯。企業(yè)競爭不再局限于個體之間或供應(yīng)鏈的鏈條間，而是向多主體所構(gòu)建的商業(yè)生態(tài)系統(tǒng)間延伸[23]。企業(yè)營銷戰(zhàn)略的設(shè)計(jì)應(yīng)打破傳統(tǒng)的個體競爭思維，在不斷提升自身營銷網(wǎng)絡(luò)化和動態(tài)化能力基礎(chǔ)上，利用外部資源，形成協(xié)同營銷格局。2援一對一營銷的精準(zhǔn)定位。大數(shù)據(jù)背景下，企業(yè)可以記錄消費(fèi)者在產(chǎn)品各個生命周期階段的品牌偏好、口碑評價等行為數(shù)據(jù)，基于社會學(xué)、心理學(xué)、營銷學(xué)、傳播學(xué)等相關(guān)理論，并借助數(shù)據(jù)挖掘、統(tǒng)計(jì)計(jì)量等，按一定的細(xì)分標(biāo)準(zhǔn)進(jìn)行消費(fèi)行為細(xì)分，從而結(jié)合自身資源優(yōu)勢，形成目標(biāo)市場的選擇和一對一營銷的精準(zhǔn)定位。
（四）大數(shù)據(jù)對營銷要素的影響
1援產(chǎn)品：顧客參與式的產(chǎn)品設(shè)計(jì)和個人定制。大數(shù)據(jù)背景下，虛擬企業(yè)和智能車間將會越來越多地被采用，顧客參與式的產(chǎn)品設(shè)計(jì)和個人定制將大行其道。那些市場價值在較短時間發(fā)生貶值的短生命周期產(chǎn)品的時效性更強(qiáng)、需求波動大，與外界存在著復(fù)雜非線性關(guān)系[24]。而長周期產(chǎn)品特別是其中生產(chǎn)工藝復(fù)雜、流程管理復(fù)雜、客戶需求復(fù)雜的復(fù)雜品（ComplicatedProduct）將實(shí)現(xiàn)供應(yīng)鏈縱向一體化整合及全生命周期數(shù)據(jù)整合[25]。“全息”生命周期的完整大數(shù)據(jù)可幫助企業(yè)構(gòu)建消費(fèi)者興趣圖譜，從而應(yīng)用于營銷和新媒體關(guān)系定位中。2援渠道：渠道縮短及渠道多元化。大數(shù)據(jù)背景下，信息技術(shù)更為成熟，經(jīng)由中間商的渠道模式將讓位于直銷，渠道長度越來越短。特別是具有及時反饋交互關(guān)系平臺技術(shù)的實(shí)施，使企業(yè)可開發(fā)出更多、更便捷的渠道與顧客連接，實(shí)現(xiàn)多渠道及跨渠道營銷。諸如微商等“屏幕+手指+快遞”的購物方式，配合超低的價格，使?fàn)I銷渠道更趨多元化。3援價格：透明度更高，基于支付意愿的差異化定價。傳統(tǒng)營銷定價多從產(chǎn)品成本、利潤率、顧客接受度等簡單因素考慮，并依據(jù)先前相關(guān)銷售經(jīng)驗(yàn)建立精算模型。大數(shù)據(jù)背景下，傳統(tǒng)精算模型將被顛覆，價格不對稱性有所改善，定價透明度越來越高，明智的價格策略是企業(yè)“陽光”定價，基于支付意愿的差異化定價將成為主導(dǎo)，電子支付成為主流。4援促銷策略：促銷手段的數(shù)字化、互動化趨勢。大數(shù)據(jù)背景下，傳統(tǒng)電視、報紙、廣播等大眾傳媒的傳播效率不斷下降，而建立在數(shù)據(jù)庫基礎(chǔ)上的移動互聯(lián)網(wǎng)將成為促銷信息的重要傳播手段，促銷手段更具數(shù)字化。同時，促銷手段更新穎，目標(biāo)受眾被多元化數(shù)據(jù)鎖定，并特別強(qiáng)調(diào)與顧客間的互動和情感溝通。
四、大數(shù)據(jù)研究在營銷中的應(yīng)用評析
（一）研究層次：偏宏觀層面研究，輕微觀分析
當(dāng)前對大數(shù)據(jù)的相關(guān)研究，更多從宏觀層面對其概念內(nèi)涵、形成脈絡(luò)及其對社會所產(chǎn)生的影響方面展開描述，而對大數(shù)據(jù)所形成各種影響的內(nèi)在機(jī)理缺少必要的微觀分析。大數(shù)據(jù)為未來營銷帶來深刻影響，但機(jī)會和挑戰(zhàn)并存，其合理利用前提是必須擁有準(zhǔn)確、可靠、及時的高質(zhì)量的數(shù)據(jù)[26]，只有在此基礎(chǔ)上，才能提煉出有效的營銷決策信息，才能幫助企業(yè)實(shí)現(xiàn)精準(zhǔn)定位。
（二）研究視角：多立足于信息科學(xué)視角，缺少管理視角
當(dāng)前，國外從管理學(xué)視角應(yīng)用大數(shù)據(jù)技術(shù)來支持管理決策已成為商科教育的熱點(diǎn)[27]。相比之下，國內(nèi)相關(guān)研究還處于起步階段，數(shù)據(jù)驅(qū)動決策的管理模式還有待形成，現(xiàn)有的相關(guān)研究則更多立足于對數(shù)據(jù)信息的采集、處理、檢索、挖掘及離線分析等信息科學(xué)視角。而只有立足管理決策的視角，探討大數(shù)據(jù)對現(xiàn)代經(jīng)濟(jì)組織的戰(zhàn)略定位、架構(gòu)設(shè)計(jì)、營銷實(shí)施等實(shí)時問題，才能真正發(fā)掘大數(shù)據(jù)的“資源”價值，建立起信息引導(dǎo)決策的機(jī)制。
（三）應(yīng)用范圍：國內(nèi)多理論研究，實(shí)踐廣度、深度不夠
統(tǒng)計(jì)學(xué)論文2300字(一)：統(tǒng)計(jì)學(xué)方法的發(fā)展及其在大數(shù)據(jù)中的應(yīng)用論文
【摘要】現(xiàn)階段，統(tǒng)計(jì)學(xué)方法在我國企業(yè)管理中有廣泛應(yīng)用。本文嘗試對統(tǒng)計(jì)學(xué)方法的誕生以及發(fā)展情況進(jìn)行了簡要的分析，同時還對統(tǒng)計(jì)學(xué)方法在現(xiàn)今大數(shù)據(jù)時代的應(yīng)用情況進(jìn)行了探索。
【關(guān)鍵詞】統(tǒng)計(jì)學(xué)方法發(fā)展大數(shù)據(jù)應(yīng)用
對于統(tǒng)計(jì)學(xué)方法來說，誕生的最初只是為了進(jìn)行單純的計(jì)數(shù)以及描述，隨著統(tǒng)計(jì)學(xué)方法的不斷發(fā)展，其所涉及到的內(nèi)容更加多樣化。在統(tǒng)計(jì)學(xué)家以及各個領(lǐng)域?qū)＜业牟恍概χ拢y(tǒng)計(jì)學(xué)方法正在不斷的進(jìn)步以及完善，在實(shí)際應(yīng)用的過程中也發(fā)揮出了較為理想的效果。在現(xiàn)階段大數(shù)據(jù)的時代背景之下，對統(tǒng)計(jì)學(xué)進(jìn)行深入探究是非常重要的，會對今后多個行業(yè)的快速發(fā)展起到促進(jìn)作用。
一、統(tǒng)計(jì)學(xué)基本發(fā)展探析
對世界統(tǒng)計(jì)學(xué)的發(fā)展情況進(jìn)行分析，會發(fā)現(xiàn)，其與科學(xué)界的發(fā)展趨勢較為類似，隨著統(tǒng)計(jì)學(xué)的不斷完善，也開始與其他科學(xué)進(jìn)行融合發(fā)展。對統(tǒng)計(jì)學(xué)進(jìn)行總結(jié)，可以發(fā)現(xiàn)，其主要具備兩個基本結(jié)合趨勢，即與實(shí)質(zhì)性學(xué)科結(jié)合的趨勢以及與計(jì)算機(jī)學(xué)結(jié)合的趨勢。對于統(tǒng)計(jì)學(xué)來說，其與經(jīng)濟(jì)學(xué)結(jié)合發(fā)展我國有廣泛的應(yīng)用，并且產(chǎn)生了經(jīng)濟(jì)統(tǒng)計(jì)這一專業(yè)；而統(tǒng)計(jì)學(xué)與教育的結(jié)合產(chǎn)生了教育統(tǒng)計(jì)。對于這些分支學(xué)科來說，其具有雙重屬性。一方面是統(tǒng)計(jì)學(xué)的分支；另一方面是實(shí)質(zhì)性學(xué)科的分支。隨著計(jì)算機(jī)信息技術(shù)的不斷發(fā)展，其運(yùn)算能力不斷提升，這也使得大規(guī)模的統(tǒng)計(jì)調(diào)查工作在實(shí)際展開的過程中取得了理想效果，不僅保證了數(shù)據(jù)計(jì)算的準(zhǔn)確性，同時也保證了計(jì)算的高效性。因此，在進(jìn)行統(tǒng)計(jì)學(xué)技術(shù)研究發(fā)展的過程中，與計(jì)算機(jī)技術(shù)的深入結(jié)合應(yīng)用是重要發(fā)展途徑。通過對計(jì)算機(jī)軟件的有效應(yīng)用可以使統(tǒng)計(jì)計(jì)算過程中一些疑難的部分得到有效解決，同時也使得統(tǒng)計(jì)計(jì)算的展開更加方便。從現(xiàn)階段我國經(jīng)濟(jì)類統(tǒng)計(jì)專業(yè)的教育情況來看，一方面在對統(tǒng)計(jì)方法進(jìn)行創(chuàng)新教育，另一方面在對學(xué)生利用商品化統(tǒng)計(jì)軟件包裝能力進(jìn)行提升。由此我們可以看出，在今后統(tǒng)計(jì)學(xué)的發(fā)展過程中，勢必不能離開計(jì)算機(jī)技術(shù)的支持。在今后統(tǒng)計(jì)學(xué)相關(guān)專業(yè)的教育過程中，應(yīng)該對學(xué)生的計(jì)算機(jī)程序設(shè)計(jì)以及利用能力進(jìn)行培養(yǎng)提升，使得在展開統(tǒng)計(jì)工作的時候可以通過統(tǒng)計(jì)模型的編程來實(shí)現(xiàn)。
二、統(tǒng)計(jì)學(xué)方法在大數(shù)據(jù)中的應(yīng)用趨勢
（一）統(tǒng)計(jì)學(xué)方法及相關(guān)領(lǐng)域的動態(tài)分析
目前，國內(nèi)外對統(tǒng)計(jì)學(xué)都有較為廣泛的應(yīng)用，主要應(yīng)用在教育行業(yè)、生產(chǎn)制造行業(yè)以及企業(yè)管理當(dāng)中，取得了較為理想的應(yīng)用效果。根據(jù)CNKI數(shù)據(jù)庫中統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)分布情況可以看出，在機(jī)器學(xué)習(xí)領(lǐng)域的論文數(shù)量從2013年以后一直呈現(xiàn)出持續(xù)增長的勢頭，并且在2016年超過了統(tǒng)計(jì)方法領(lǐng)域的論文數(shù)量。由此可以說明，我國在機(jī)器學(xué)習(xí)領(lǐng)域的發(fā)展速度正現(xiàn)出穩(wěn)定提升的趨勢，反映了我國在大數(shù)據(jù)領(lǐng)域研究方面越來越深入，所應(yīng)用的研究方法也開始呈現(xiàn)出多樣化的特點(diǎn)。從總體上來看國內(nèi)在統(tǒng)計(jì)學(xué)方法研究過程中已經(jīng)取得了階段性的成果，并且其所面臨的拐點(diǎn)與國家上的統(tǒng)計(jì)學(xué)發(fā)展拐點(diǎn)基本保持一致，大概都是在2013年開始對大數(shù)據(jù)以及將其學(xué)習(xí)等方面有了深入的探究，并且開始逐漸取得突破性的成果。而機(jī)器學(xué)習(xí)方法的論文數(shù)量都是在2016年開始超過統(tǒng)計(jì)方法的論文數(shù)量。但是與此同時，我們也看出其差異性也很明顯，國內(nèi)在統(tǒng)計(jì)方面研究的論文以及在機(jī)器學(xué)習(xí)方法方面研究的論文與國際相比較尚且存在較為明顯的差距，并且這種差距呈現(xiàn)出了持續(xù)性的特點(diǎn)，這也使得我國在這兩個領(lǐng)域方面還有很大的發(fā)展空間。
（二）統(tǒng)計(jì)學(xué)方法及相關(guān)領(lǐng)域研究方向分析
經(jīng)過對CNKI數(shù)據(jù)庫中的統(tǒng)計(jì)方法以及大數(shù)據(jù)領(lǐng)域期刊論文分布情況進(jìn)行分析之后，可以看出，統(tǒng)計(jì)方法領(lǐng)域中出現(xiàn)頻次最高的是“統(tǒng)計(jì)分析”以及“數(shù)理統(tǒng)計(jì)”、“人工智能”；在大數(shù)據(jù)領(lǐng)域出現(xiàn)頻次較高的是“云計(jì)算”、“圖書館”以及“物聯(lián)網(wǎng)”等關(guān)鍵詞。通過上述關(guān)鍵詞來看，其所涉及到的內(nèi)容都是反映當(dāng)前我國統(tǒng)計(jì)以及大數(shù)據(jù)技術(shù)所研究的重點(diǎn)以及熱點(diǎn)，同時我們也可以看出，現(xiàn)階段我國在統(tǒng)計(jì)與大數(shù)據(jù)領(lǐng)域方向的研究存在著一定的重合。在進(jìn)行的數(shù)據(jù)研究的時候，需要應(yīng)用到統(tǒng)計(jì)學(xué)方法，同時統(tǒng)計(jì)學(xué)方法在利用的時候往往也需要與大數(shù)據(jù)進(jìn)行結(jié)合。
（三）統(tǒng)計(jì)學(xué)方法的發(fā)展展望
有數(shù)據(jù)的地方勢必就會涉及到統(tǒng)計(jì)學(xué)。從17世紀(jì)開始，國勢學(xué)派以及算數(shù)學(xué)派的爭論到今天大數(shù)據(jù)計(jì)算、計(jì)算機(jī)技術(shù)的相互作用，使得統(tǒng)計(jì)學(xué)的內(nèi)容正在不斷完善，并且其應(yīng)用領(lǐng)域也在不斷擴(kuò)大，隨著大數(shù)據(jù)時代的來臨，使得傳統(tǒng)的統(tǒng)計(jì)學(xué)發(fā)展方向發(fā)生了一定轉(zhuǎn)變，開始從小樣本的統(tǒng)計(jì)推斷分析走向大數(shù)據(jù)量的挖掘分析，從而使其所掌控的數(shù)據(jù)量不斷提升。在未來統(tǒng)計(jì)學(xué)方法發(fā)展的過程中，應(yīng)該注意將統(tǒng)計(jì)學(xué)與新的數(shù)據(jù)思維相結(jié)合，從而產(chǎn)生一種新型的、應(yīng)用范圍更廣的大數(shù)據(jù)算法。從現(xiàn)階段我國大數(shù)據(jù)方法創(chuàng)新發(fā)展的情況來看，其與國際研究在深度以及廣度上還存在不小的差距，這也恰恰說明了我國在大數(shù)據(jù)統(tǒng)計(jì)學(xué)方面還有很大的進(jìn)步空間。現(xiàn)階段，國內(nèi)的大數(shù)據(jù)研究更多的是停留在信息化產(chǎn)業(yè)上，與其他行業(yè)的融合發(fā)展趨勢尚且不明顯，這也使得信息服務(wù)以及數(shù)據(jù)產(chǎn)業(yè)的創(chuàng)新發(fā)展受到了一定影響。在今后統(tǒng)計(jì)學(xué)發(fā)展的過程中，其研究熱點(diǎn)勢必會從數(shù)據(jù)分析以及數(shù)據(jù)發(fā)掘向算法方向轉(zhuǎn)移，這樣也使得大數(shù)據(jù)技術(shù)與統(tǒng)計(jì)學(xué)方法二者之間的聯(lián)系更加緊密。
結(jié)束語
綜上所述，我國統(tǒng)計(jì)學(xué)方法在今后發(fā)展過程中應(yīng)該充分考慮到實(shí)際需求，積極適應(yīng)時代變化，現(xiàn)階段大數(shù)據(jù)時代已經(jīng)全面到來，并且大數(shù)據(jù)技術(shù)在我國有廣泛應(yīng)用，在實(shí)際應(yīng)用的過程中取得了較為理想的效果。將大數(shù)據(jù)與統(tǒng)計(jì)方法進(jìn)行結(jié)合可以使統(tǒng)計(jì)學(xué)方法的作用得到更好的體現(xiàn)，也使得統(tǒng)計(jì)學(xué)方法不斷的進(jìn)步以及拓展，在大時代背景之下，其功能性得到了更加充分的展現(xiàn)。
統(tǒng)計(jì)學(xué)畢業(yè)論文范文模板(二)：線上線下混合式教學(xué)在生物統(tǒng)計(jì)學(xué)教學(xué)中的實(shí)踐與研究論文
[摘要]為提升生物統(tǒng)計(jì)學(xué)課程的教學(xué)水平，針對傳統(tǒng)生物統(tǒng)計(jì)學(xué)教學(xué)中的局限，分析和實(shí)踐基于線上網(wǎng)絡(luò)教學(xué)+線下面授教學(xué)的混合式教學(xué)模式在生物統(tǒng)計(jì)學(xué)教學(xué)中的應(yīng)用策略和方法。實(shí)踐表明，通過線上+線下的互動與教學(xué)，能激發(fā)學(xué)生學(xué)習(xí)的興趣與動力，豐富生物統(tǒng)計(jì)學(xué)的教學(xué)形式與內(nèi)容，促進(jìn)生物統(tǒng)計(jì)學(xué)教學(xué)質(zhì)量的提升。
[關(guān)鍵詞]線上線下；混合式教學(xué)；生物統(tǒng)計(jì)學(xué)；實(shí)踐
[作者簡介]嚴(yán)明（1981—），女，重慶人，博士，講師，研究方向：生物技術(shù)。
[中圖分類號]G642[文獻(xiàn)標(biāo)識碼]A[文章編號]1674-9324（2020）25-0273-02[收稿日期]2020-03-18
生物統(tǒng)計(jì)學(xué)是生物醫(yī)學(xué)類專業(yè)的必修課程，學(xué)生通過學(xué)習(xí)本課程掌握實(shí)驗(yàn)設(shè)計(jì)的原理和方法，并學(xué)會對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析和處理。然而，生物統(tǒng)計(jì)學(xué)涉及到大量基礎(chǔ)理論，單純通過教師講解，學(xué)生理解度較低，學(xué)習(xí)效果不佳。如何在有限的課時內(nèi)，改革傳統(tǒng)的以講授為主的教學(xué)方式，有效提高教學(xué)效果是生物統(tǒng)計(jì)學(xué)教學(xué)亟待解決的難題。
近年來，隨著互聯(lián)網(wǎng)信息技術(shù)的發(fā)展，一種基于線上網(wǎng)絡(luò)教學(xué)+線下面授教學(xué)的混合式教學(xué)模式應(yīng)運(yùn)而生。該模式可避免傳統(tǒng)教學(xué)模式中以教師為主導(dǎo)，學(xué)生學(xué)習(xí)主動性差的缺點(diǎn)，又可克服學(xué)生完全在線學(xué)習(xí)缺乏監(jiān)管、學(xué)習(xí)效果不佳的困難。本文嘗試將混合式教學(xué)方法運(yùn)用到生物統(tǒng)計(jì)學(xué)教學(xué)中，以期在有限的教學(xué)時間內(nèi)最大限度實(shí)現(xiàn)教學(xué)目標(biāo)，提升課程教學(xué)效果。
一、線上線下混合式教學(xué)的概念及內(nèi)涵
線上線下混合式教學(xué)是一種新興的教學(xué)模式，授課教師利用網(wǎng)絡(luò)教學(xué)平臺向?qū)W生提供教學(xué)視頻和課件等教學(xué)資源，并設(shè)置作業(yè)、調(diào)查等互動模塊，學(xué)生利用課外時間自主完成學(xué)習(xí)任務(wù)，并通過平臺與教師交流。在線下課堂，教師根據(jù)學(xué)生在線學(xué)習(xí)的情況，對疑難問題進(jìn)行有針對性的講授，幫助學(xué)生理解、掌握教學(xué)難點(diǎn)。
線上線下混合教學(xué)模式打破了教學(xué)的時空限制，學(xué)生可以靈活安排學(xué)習(xí)時間，通過學(xué)習(xí)在線資料提出問題，并帶著問題進(jìn)行課堂學(xué)習(xí)，有效提升學(xué)習(xí)效率。線上線下混合教學(xué)還可幫助教師動態(tài)掌握學(xué)生學(xué)習(xí)情況，生成客觀的過程性評價材料，并豐富課程的教學(xué)形式，拓寬教學(xué)路徑，因此正逐漸成為高等教育領(lǐng)域的一大趨勢。
二、生物統(tǒng)計(jì)學(xué)課程教學(xué)面臨的困境
1.教學(xué)時長受限。目前，本校生物統(tǒng)計(jì)學(xué)面向生物醫(yī)學(xué)工程和醫(yī)學(xué)信息工程專業(yè)開設(shè)，每學(xué)期共32個課時。由于教學(xué)內(nèi)容抽象，而且學(xué)生要通過大量實(shí)踐才能掌握統(tǒng)計(jì)學(xué)原理在生物研究中的應(yīng)用，因此，教學(xué)難度高，課堂教學(xué)時間很難滿足教學(xué)需求。
2.教與學(xué)不同步。傳統(tǒng)教學(xué)模式下，教師與學(xué)生之間的溝通以課堂為主，教師按照教學(xué)安排按部就班地進(jìn)行教學(xué)，對學(xué)生需求重視不足；學(xué)生缺乏主動反饋的意識，教師很難掌握學(xué)生的真實(shí)學(xué)習(xí)狀況，教與學(xué)處于不同步狀態(tài)。
上述困境對如何拓展教學(xué)時間，完成課程教學(xué)并指導(dǎo)學(xué)生學(xué)以致用提出了新的挑戰(zhàn)。
三、線上線下混合式教學(xué)在生物統(tǒng)計(jì)學(xué)教學(xué)中的實(shí)踐探究
1.構(gòu)建線上教學(xué)平臺，實(shí)現(xiàn)課前線上自主學(xué)習(xí)。授課教師首先以超星泛雅平臺和學(xué)習(xí)通APP為依托構(gòu)建線上教學(xué)平臺。教師在平臺上將課程每章的重難點(diǎn)列示出來，搭建課程框架體系，并上傳包括課件和教師根據(jù)課程知識體系錄制的教學(xué)視頻等資料。教學(xué)視頻時長控制在15分鐘以內(nèi)，并保證精煉、易懂，讓學(xué)生不會因視頻過長而放棄觀看，提高學(xué)習(xí)時效。同時，在教學(xué)平臺提供視頻配套的課件資料，方便學(xué)生下載并配套觀看。教師還在平臺設(shè)置了視頻彈幕問答和闖關(guān)式章節(jié)測試，學(xué)生通過答題和測試后才能進(jìn)入后續(xù)章節(jié)的學(xué)習(xí)。
在教學(xué)實(shí)踐中發(fā)現(xiàn)，線上教學(xué)平臺還可以為理論教學(xué)提供良好的拓展實(shí)踐平臺。教師可以在線上平臺提供實(shí)驗(yàn)設(shè)計(jì)及實(shí)驗(yàn)數(shù)據(jù)分析的實(shí)例供學(xué)生練習(xí)，實(shí)現(xiàn)對課時壓縮的有效彌補(bǔ)。學(xué)生普遍反映網(wǎng)絡(luò)教學(xué)平臺十分有利于自主學(xué)習(xí)，尤其是遇到知識難點(diǎn)時，學(xué)生可以通過反復(fù)線上觀看教學(xué)視頻來幫助理解，能達(dá)到較好的學(xué)習(xí)效果。
此外，線上教學(xué)平臺可以通過視頻回放次數(shù)、測試完成程度等數(shù)據(jù)統(tǒng)計(jì)幫助教師了解學(xué)生之間的差異性，既方便教師掌握學(xué)生學(xué)習(xí)狀態(tài)，分析存在的問題，也為線下課堂教學(xué)提供依據(jù)，在后續(xù)教學(xué)中因材施教，滿足不同層次學(xué)生的個性化學(xué)習(xí)需求提供依據(jù)。
2.線下檢測自主學(xué)習(xí)效果，實(shí)施針對性教學(xué)。采用線上線下混合模式教學(xué)，課堂教學(xué)的任務(wù)發(fā)生轉(zhuǎn)移。教師要集中精力對知識點(diǎn)進(jìn)行梳理和歸納，并針對重難點(diǎn)以及學(xué)生在線上學(xué)習(xí)過程中的困難進(jìn)行答疑解惑和查漏補(bǔ)缺。在教學(xué)實(shí)踐中，為完成上述任務(wù)，在每個章節(jié)的線上學(xué)習(xí)完成后均安排答疑和小組討論，讓每位學(xué)生通過多種方式修正和完善遺漏或理解錯誤的知識點(diǎn)。全部授課結(jié)束后，授課教師向?qū)W生發(fā)放了關(guān)于教學(xué)效果的調(diào)查問卷，結(jié)果顯示，78.2%（18/23）的學(xué)生認(rèn)為采用混合式教學(xué)方法可以把重要知識點(diǎn)學(xué)透，在課堂上有更充裕的時間進(jìn)行消化吸收，更有利于教學(xué)內(nèi)容的掌握。
在線下教學(xué)中，教師還對教學(xué)場景進(jìn)行了編排和優(yōu)化。教師提供具體的實(shí)驗(yàn)案例，并以某一具體實(shí)驗(yàn)案例（如抗癌藥物篩選）為背景貫穿整個課程教學(xué)始終，模擬真實(shí)實(shí)驗(yàn)場景，讓學(xué)生從實(shí)驗(yàn)參與者的角度設(shè)計(jì)實(shí)驗(yàn)流程、整理實(shí)驗(yàn)數(shù)據(jù)、統(tǒng)計(jì)分析和解讀呈現(xiàn)的全部流程。幫助學(xué)生實(shí)踐生物學(xué)研究提出假說—實(shí)驗(yàn)驗(yàn)證—得出結(jié)論的基本流程，理解生物統(tǒng)計(jì)學(xué)對生物學(xué)研究的重要指導(dǎo)作用，培養(yǎng)學(xué)生知識遷移、應(yīng)用和分析并解決科學(xué)問題的能力。
3.課后回顧學(xué)習(xí)并提升。在課堂教學(xué)完成后，師生的教學(xué)活動都還沒有結(jié)束。教師要對線上線下教學(xué)過程中容易出現(xiàn)的問題進(jìn)行整理總結(jié)，并將解決方案到網(wǎng)絡(luò)平臺，供學(xué)生回顧性學(xué)習(xí)。學(xué)生要對課堂上遇到的問題，搜集學(xué)習(xí)資料進(jìn)一步思考和鞏固。教師還要對學(xué)生課后學(xué)習(xí)情況進(jìn)行挖掘，并根據(jù)學(xué)生的不同情況進(jìn)行個性化的學(xué)習(xí)支持。對于有困難的學(xué)生，教師要單獨(dú)輔導(dǎo)和監(jiān)管，幫助學(xué)生完成課程學(xué)習(xí)；對于學(xué)有余力的學(xué)生，可以鼓勵學(xué)生走進(jìn)實(shí)驗(yàn)室，跟隨教師的科研工作，完成真正的動手實(shí)踐，實(shí)現(xiàn)素質(zhì)提升。最終通過師生配合，完成對課程教學(xué)效果的提升。
4.教學(xué)考核。由于教學(xué)形式發(fā)生變化，課程的教學(xué)考核模式也要隨之做出調(diào)整和改變。在實(shí)踐中，教師改變傳統(tǒng)的期末考核模式，充分利用線上線下教學(xué)記錄，實(shí)現(xiàn)全過程考核。考試成績包含網(wǎng)絡(luò)平臺學(xué)習(xí)考核（25%）、線下課堂表現(xiàn)（25%）和期末閉卷考試（50%）三部分。其中網(wǎng)絡(luò)平臺學(xué)習(xí)考核由系統(tǒng)根據(jù)學(xué)習(xí)時間、頻率以及測試情況生成；課堂表現(xiàn)根據(jù)學(xué)生聽課及參與討論情況，綜合學(xué)生互評和教師考核給分。上述考核方式，降低了期末考試在總成績中的比重，更加側(cè)重于學(xué)生的平時學(xué)習(xí)積累和實(shí)踐能力的培養(yǎng)。因此，可避免學(xué)生“突擊考試”的僥幸心理，促進(jìn)學(xué)生向平時主動學(xué)習(xí)轉(zhuǎn)變，更符合現(xiàn)代教學(xué)模式和人才培養(yǎng)的需求。
[關(guān)鍵詞]大數(shù)據(jù)；決策樹；價值率；保險
[DOI]10.13939/ki.zgsc.2017.02.071
1 引 言
隨我國經(jīng)濟(jì)快速增長，人民收入不斷增加，保險業(yè)也呈現(xiàn)出高速發(fā)展的趨勢，自國內(nèi)恢復(fù)業(yè)務(wù)以來，保險業(yè)相比金融領(lǐng)域的其他行I，取得了不小的成績。新時代背景下的保險業(yè)所呈現(xiàn)出的信息多元化、海量化等特點(diǎn)，使得大量用戶信息以指數(shù)級增長趨勢存在于保險行業(yè)，多元化的媒體介質(zhì)輸入導(dǎo)致數(shù)據(jù)預(yù)處理難度加大，用戶的興趣遷移導(dǎo)致構(gòu)造用戶畫像模糊，而保險行業(yè)競爭日趨激烈，高風(fēng)險性條件情況下保持客戶黏性，降低流失率對企業(yè)競爭就顯得尤為重要。
傳統(tǒng)的商業(yè)情報分析往往結(jié)合數(shù)據(jù)挖掘技術(shù)對歷史數(shù)據(jù)和已有的用戶信息進(jìn)行挖掘，發(fā)現(xiàn)潛在的未知的具有一定商業(yè)價值的信息，但由于以往的客戶數(shù)據(jù)信息量較小，信息量更換慢，現(xiàn)有的保險業(yè)使用的傳統(tǒng)的運(yùn)營環(huán)境和模型難以適應(yīng)海量數(shù)據(jù)，以及傳統(tǒng)模型運(yùn)行速度慢，運(yùn)行代價高，準(zhǔn)確率低，挖掘深度不夠等都是不容忽視的弊端。近些年，隨著大數(shù)據(jù)技術(shù)、人工智能、機(jī)器學(xué)習(xí)在工程和學(xué)術(shù)界的火熱發(fā)展，相關(guān)的數(shù)據(jù)模型都發(fā)展得十分完善充分，而決策樹其良好的魯棒性，全樣本挖掘性，準(zhǔn)確度高，實(shí)施快捷，運(yùn)行速度快，實(shí)現(xiàn)成本小都是它的優(yōu)勢所在。
故本文首先引入“數(shù)據(jù)湖”的概念以緩解傳統(tǒng)數(shù)據(jù)處理處理異質(zhì)數(shù)據(jù)問題，適應(yīng)不同數(shù)據(jù)源存儲介質(zhì)的需求，引入使用可擴(kuò)展性大數(shù)據(jù)分析模型獲取用戶的興趣遷移特征，應(yīng)用算法基于CART決策樹算法模型并以某保險公司具體用戶數(shù)據(jù)為實(shí)例構(gòu)建應(yīng)用場景進(jìn)行模型訓(xùn)練和數(shù)據(jù)預(yù)測，并創(chuàng)新性地引入價值率對用戶進(jìn)行分類解決公司所面臨的處理用戶海量數(shù)據(jù)時間較長、效率較低、準(zhǔn)確度不高等問題。
2 基于決策樹C4.5算法的數(shù)據(jù)模型
2.1 模型生成描述
數(shù)據(jù)基本處理：原始用戶數(shù)據(jù)錄入，形成基礎(chǔ)數(shù)據(jù)湖，并將數(shù)據(jù)導(dǎo)入HBase和Oracle數(shù)據(jù)庫中，對數(shù)據(jù)選取加工預(yù)處理并對數(shù)據(jù)進(jìn)行選表、選鍵、連接器層選擇以匹配數(shù)據(jù)模型，通過數(shù)據(jù)表的前期基本處理清洗篩選形成基礎(chǔ)寬表，在形成寬表基礎(chǔ)上再對數(shù)據(jù)清洗機(jī)進(jìn)行標(biāo)準(zhǔn)化處理，對樣本數(shù)據(jù)做簡單的描述統(tǒng)計(jì)、缺失值處理以及標(biāo)準(zhǔn)化（分層處理）工作。
模型生成：調(diào)用Apache Spark 中的Mllib決策樹中的類庫，根據(jù)樣本數(shù)據(jù)和用戶情景生成初始模型，對生成的模型進(jìn)行訓(xùn)練集和驗(yàn)證機(jī)選取，我們此處以7/3原則進(jìn)行選取，對大數(shù)據(jù)模型進(jìn)行訓(xùn)練，將數(shù)據(jù)抽樣導(dǎo)出到數(shù)據(jù)中介Oracle中，將傳統(tǒng)的SAS數(shù)據(jù)挖掘模型訓(xùn)練導(dǎo)入JAR中以便對比，至此基本的模型池生成，經(jīng)訓(xùn)練測試后的用戶反饋信息對模型的各個參數(shù)進(jìn)行調(diào)試，并對外服務(wù)模型，模型中所設(shè)計(jì)重要參數(shù)如表1所示。
數(shù)據(jù)預(yù)測：根據(jù)服務(wù)模型和用戶輸入的基本信息屬性進(jìn)行加工，并對模型的預(yù)測產(chǎn)生結(jié)果集，再根據(jù)結(jié)果集進(jìn)行場景信息預(yù)測并生成用戶畫像。
2.2 決策樹C4.5算法
3 實(shí)證研究
3.1 實(shí)驗(yàn)數(shù)據(jù)
基于某保險公司的用戶數(shù)據(jù)，由于數(shù)據(jù)本身來源差異和獲取方式的不同，導(dǎo)致“數(shù)據(jù)湖”中本身存在大量的不完整、不一致、含噪聲和冗余數(shù)據(jù)，所以需要對數(shù)據(jù)進(jìn)行一個簡單的處理分析工作，其一，減少數(shù)據(jù)集變量間的冗余，方便模型挖掘數(shù)據(jù)的效率和輸出預(yù)測信息的簡潔；其二，提高數(shù)據(jù)屬性列間的相關(guān)性，去掉關(guān)聯(lián)性較高的數(shù)據(jù)屬性列，如保險繳費(fèi)與收入屬性具高相關(guān)性；其三，由于決策樹模型運(yùn)行時離散型數(shù)據(jù)進(jìn)行處理速率較快，故多連續(xù)性數(shù)據(jù)進(jìn)行離散化處理。
數(shù)據(jù)選取基本上對寬表的行列維度數(shù)據(jù)進(jìn)行處理，由于在實(shí)際過程中對數(shù)據(jù)生成一個大約20個屬性列的寬表，數(shù)據(jù)選擇可以避免數(shù)據(jù)處理時發(fā)生高維數(shù)據(jù)災(zāi)難，并且在數(shù)據(jù)處理過程中進(jìn)行部分?jǐn)?shù)據(jù)歸一化處理，以適應(yīng)模型的匹配度。見表1。
3.2 分析工具和平臺
本模型運(yùn)行平臺基于Hadoop分布式文件系統(tǒng)，其良好的高容錯性和高吞吐數(shù)據(jù)訪問比較適合大規(guī)模數(shù)據(jù)集的應(yīng)用，本模型應(yīng)用的環(huán)境基于HDFS的基本運(yùn)行環(huán)境，使用Python數(shù)據(jù)處理語言，操作系統(tǒng)版本：CentOS release 6.5（Final），搭建集群6臺，各個設(shè)備相關(guān)信息：Intel（R），E5606，@2.13GHz，2128.000MHz，cache size：8192KB。
3.3 模式評估與應(yīng)用
算法模型的運(yùn)行結(jié)果展示出哪些因素影響客戶流失的決策，通過評估可以得到更為有價值的客戶信息，評估方法有準(zhǔn)確率，召回率，F(xiàn)1-score，PR，ROC等，其中，真正TP：樣本類型被數(shù)據(jù)模型正確歸類預(yù)測命中正確類的數(shù)量；假負(fù)FN：樣本類型被數(shù)據(jù)模型誤判為其他類型的數(shù)量；假正FP：樣本不屬于正確類別被數(shù)據(jù)模型誤判為正確類別的數(shù)量；真負(fù)TN： 樣本類型屬于正確類別被數(shù)據(jù)模型誤判為其他類型的數(shù)量。
全樣本數(shù)據(jù)運(yùn)行模型的結(jié)果展示見表2。
經(jīng)結(jié)果發(fā)現(xiàn)這里采用準(zhǔn)確率、召回率以及F1_score，抽取用戶的預(yù)測值與評分值進(jìn)行模型檢驗(yàn)，得到值均在合理值范圍，模型運(yùn)行時間2320.34s，較傳統(tǒng)的SAS跑出的34min23s，較為高效，據(jù)此此模型可以投入運(yùn)用。
4 結(jié)論與展望
論文借助“數(shù)據(jù)湖”挖掘模型實(shí)現(xiàn)了保險業(yè)的用戶流失率檢測，取得了以下結(jié)論。第一，論文建立在HDFS運(yùn)行環(huán)境中，一方面，通過對決策樹基本特點(diǎn)的研究，找到了決策樹與保險業(yè)用戶流失率的結(jié)合點(diǎn)，建立了基于用戶數(shù)據(jù)湖的大數(shù)據(jù)模型；另一方面，模型基于開源HDFS環(huán)境中，具有良好的可擴(kuò)展性。第二，根據(jù)信息論的相關(guān)理論概念引入信息熵和客戶價值率，提高對客戶數(shù)據(jù)屬性分類的準(zhǔn)確性，本文最后結(jié)合實(shí)例對所提出的模型進(jìn)行驗(yàn)證，證明數(shù)據(jù)模型的可靠性。
本文引入“數(shù)據(jù)湖”的概念以緩解傳統(tǒng)數(shù)據(jù)處理異質(zhì)數(shù)據(jù)問題，極好地適應(yīng)不同數(shù)據(jù)源存儲介質(zhì)的需求，并引入使用可擴(kuò)展性大數(shù)據(jù)分析模型以便適應(yīng)用戶的興趣遷移，通過數(shù)據(jù)挖掘技術(shù)提高銷售凈利率，擴(kuò)大企業(yè)市場所占份額，識別客戶等級，誠信度和價值率，降低企業(yè)風(fēng)險，預(yù)測預(yù)警以及制訂相應(yīng)的決策計(jì)劃，降低用戶流失率提高忠誠度，本文基于CART算法模型以某保險公司用戶數(shù)據(jù)具體數(shù)據(jù)為實(shí)例構(gòu)建應(yīng)用場景進(jìn)行模型訓(xùn)練和數(shù)據(jù)預(yù)測，并創(chuàng)新性地引入價值率對用戶進(jìn)行分類解決公司所面臨的處理用戶海量數(shù)據(jù)時間較長效率較低準(zhǔn)確度不高等問題。
由于時間和硬件環(huán)境的制約，本文仍存在一些有待進(jìn)一步改進(jìn)和深入研究的地方。第一，論文對于數(shù)據(jù)挖掘算法采用較為經(jīng)典的決策樹方法，在數(shù)據(jù)處理時采用常規(guī)處理方法難免會導(dǎo)致部分?jǐn)?shù)據(jù)的缺失和預(yù)測準(zhǔn)確率的下降；第二，本文研究中數(shù)據(jù)均居于有限的數(shù)據(jù)集，隨傳輸媒介的變化，用戶的時間維度并未良好地考慮進(jìn)去，對用戶仍舊缺乏較時間維度及其用戶標(biāo)簽等級的良好劃分。
參考文獻(xiàn)：
[1]孟小峰，慈祥. 大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J]. 計(jì)算機(jī)研究與發(fā)展，2013（1）：146-169.
[2]王艷. 中國保險公司制度變遷與創(chuàng)新研究[D].長春：吉林大學(xué)，2014.
[3]丁兆云，賈焰，周斌. 微博數(shù)據(jù)挖掘研究綜述[J]. 計(jì)算機(jī)研究與發(fā)展，2014（4）：691-706.
[4]Quinlan J R.C4.5 Programs for Machine Learning[M].California：Morgan Kaufmann，San Mateo，1993.
[5]趙強(qiáng)利，蔣艷凰，盧宇彤. 具有回憶和遺忘機(jī)制的數(shù)據(jù)流挖掘模型與算法[J]. 軟件學(xué)報，2015（10）：2567-2580.
1數(shù)據(jù)智能分析師培養(yǎng)
就業(yè)前景分析方面，谷歌首席經(jīng)濟(jì)學(xué)家哈爾•瓦里安預(yù)計(jì)，未來即將出現(xiàn)一類新型的專業(yè)人才和職業(yè)崗位——數(shù)據(jù)科學(xué)家，當(dāng)然數(shù)據(jù)智能分析師也會應(yīng)運(yùn)而生。現(xiàn)下時代是數(shù)據(jù)時代，甚至稱之為大數(shù)據(jù)時代，企事業(yè)單位面臨大量數(shù)據(jù)如互聯(lián)網(wǎng)數(shù)據(jù)、醫(yī)療數(shù)據(jù)、能源數(shù)據(jù)、交通數(shù)據(jù)等，實(shí)際應(yīng)用中普遍遇到分析能力弱、噪聲數(shù)據(jù)多、缺少分析方法、分析軟件能力差、模型可信度低等問題，其主要原因在于傳統(tǒng)數(shù)據(jù)分析方法不能滿足需要，而數(shù)據(jù)挖掘技術(shù)、機(jī)器學(xué)習(xí)技術(shù)、模式識別技術(shù)、知識發(fā)現(xiàn)等智能技術(shù)可以為數(shù)據(jù)智能分析方法與工具提供技術(shù)支撐。2014年4月24日，百度高級副總裁王勁在第4屆“技術(shù)開放日”上正式宣布推出“大數(shù)據(jù)引擎”，數(shù)據(jù)智能概念由此產(chǎn)生。數(shù)據(jù)智能分析是指通過數(shù)據(jù)挖掘技術(shù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、模式識別與分析、知識發(fā)現(xiàn)等技術(shù)，對數(shù)據(jù)進(jìn)行處理、分析和挖掘，提取隱藏在數(shù)據(jù)中有價值的信息和知識，從而尋求有效解決方案及決策支持預(yù)測。目前社會急需懂得智能技術(shù)的各層次數(shù)據(jù)智能分析人才，可以預(yù)計(jì)，熟練掌握智能技術(shù)的數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師、數(shù)據(jù)挖掘人員將有廣闊的用武之地。培養(yǎng)手段探索方面：①以“點(diǎn)—線—面”結(jié)合的方式橫向縱向設(shè)置課程群，面向數(shù)據(jù)智能分析，以案例為導(dǎo)向貫穿“線”上的各關(guān)節(jié)點(diǎn)課程，比如以數(shù)學(xué)基礎(chǔ)課（線性代數(shù)、概率統(tǒng)計(jì)、數(shù)學(xué)分析）大類專業(yè)課（程序設(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)庫技術(shù)）數(shù)據(jù)智能分析專業(yè)課（數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、多維數(shù)據(jù)分析）為主線，理論與實(shí)踐齊頭并進(jìn)；②立足培養(yǎng)“計(jì)算技術(shù)+智能信息+知識技術(shù)”的高級數(shù)據(jù)分析師，理論學(xué)習(xí)—隨課實(shí)驗(yàn)—集中實(shí)踐—科技活動—企業(yè)實(shí)習(xí)—畢業(yè)設(shè)計(jì)等教學(xué)環(huán)節(jié)協(xié)調(diào)配合，“資格認(rèn)證—競賽獲獎—獎學(xué)資助”激勵培養(yǎng)；③以大數(shù)據(jù)智能分析為契機(jī)，積極培養(yǎng)本科生的大數(shù)據(jù)計(jì)算思維和認(rèn)知能力，使其掌握大數(shù)據(jù)智能分析方法、機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘工具和開發(fā)環(huán)境。政策導(dǎo)向分析方面：建議中國計(jì)算機(jī)學(xué)會與中國商業(yè)聯(lián)合會數(shù)據(jù)分析專業(yè)委員會等機(jī)構(gòu)緊密協(xié)調(diào)合作，設(shè)立適應(yīng)新時代社會與經(jīng)濟(jì)發(fā)展的“數(shù)據(jù)智能分析師”認(rèn)證[6]，當(dāng)然將大數(shù)據(jù)智能分析納入計(jì)算機(jī)水平考試的可選項(xiàng)也是當(dāng)前的一種解決方案，提高智能科學(xué)與技術(shù)專業(yè)社會認(rèn)可度，增強(qiáng)本專業(yè)學(xué)生的歸屬感，更好地培養(yǎng)各層次的數(shù)據(jù)智能分析人才。
2創(chuàng)新型智能技術(shù)人才培養(yǎng)
智能科學(xué)與技術(shù)的發(fā)展與計(jì)算機(jī)技術(shù)幾乎同時起步，但其進(jìn)展比計(jì)算機(jī)技術(shù)要慢許多，根本問題在于高級智能的載體——“人腦”是世界上最復(fù)雜的系統(tǒng)，人類對它的認(rèn)識和了解仍然處于初級階段。近年來通過智能技術(shù)解決實(shí)際應(yīng)用問題有了長足進(jìn)步，國內(nèi)已相繼有20多所高校面向市場變化和未來需求，自2004年以來陸續(xù)開辦了智能科學(xué)與技術(shù)本科專業(yè)。盡管大多數(shù)智能技術(shù)的理論基礎(chǔ)還不完備，但實(shí)際應(yīng)用的強(qiáng)勁需求與問題解決能力超越了薄弱理論基礎(chǔ)的約束。本專業(yè)課程的教學(xué)內(nèi)容與課程實(shí)踐都適合教師與學(xué)生以研究者的身份參與到“教”與“學(xué)”的活動之中。1）研究型教學(xué)。蓬勃發(fā)展中的智能技術(shù)需要教師啟發(fā)式、創(chuàng)造式、批判式地“教”，學(xué)生也要創(chuàng)造式、批判式地“學(xué)”。教與學(xué)要能夠從研究思維、問題探索、模型改進(jìn)、算法優(yōu)化、腦認(rèn)知和自然智能指導(dǎo)的角度推進(jìn)教學(xué)活動，進(jìn)行創(chuàng)新性教學(xué)和研究型學(xué)習(xí)。教學(xué)實(shí)踐活動中應(yīng)強(qiáng)調(diào)學(xué)生半監(jiān)督式學(xué)習(xí)與自監(jiān)督學(xué)習(xí)為主導(dǎo)，鼓勵引導(dǎo)深度學(xué)習(xí)，經(jīng)典案例、前沿講座、討論探索貫穿課堂教學(xué)，課程考核注重創(chuàng)新科技實(shí)踐、問題探索、課程內(nèi)容探索、課程研究性專題報告、以課程為基礎(chǔ)的作品開發(fā)等創(chuàng)新效果和教學(xué)效果。2）“研究型分組”培養(yǎng)。智能科學(xué)與技術(shù)專業(yè)開辦時間不長，成熟教材不多，課程體系需要不斷適應(yīng)學(xué)生和社會的需求做出調(diào)整，又加上智能科學(xué)專業(yè)課程本身的發(fā)展探索與實(shí)際應(yīng)用現(xiàn)在處于同步發(fā)展階段，決定了專業(yè)老師大力推進(jìn)“研究型班級教學(xué)”，在教學(xué)過程中實(shí)施“大班基礎(chǔ)講授”+“小班研究型討論”+“小組探索型課題實(shí)施與報告”的教學(xué)體系，同時來自相關(guān)研究方向的研究生也作為助教協(xié)助專業(yè)老師對小班（組）課題討論進(jìn)行引導(dǎo)。3）科研訓(xùn)練提高學(xué)習(xí)積極性。大類培養(yǎng)模式下實(shí)施科研訓(xùn)練引導(dǎo)學(xué)習(xí)，大一、大二年級主要學(xué)習(xí)公共基礎(chǔ)課程和大類專業(yè)基礎(chǔ)課程，其中的數(shù)學(xué)基礎(chǔ)課，如線性代數(shù)、高等數(shù)學(xué)、概率統(tǒng)計(jì)、離散數(shù)學(xué)等，由于缺乏實(shí)際應(yīng)用案例支撐，很多學(xué)生會懷疑這些知識在將來本專業(yè)學(xué)習(xí)中的用處，課堂課后處于被動學(xué)習(xí)狀態(tài)，個別學(xué)生還會由于認(rèn)識滯后，產(chǎn)生厭學(xué)情緒甚至放棄基礎(chǔ)知識學(xué)習(xí)，以致于專業(yè)分流后表現(xiàn)為學(xué)習(xí)能力嚴(yán)重不足。通過吸收本科生參加科學(xué)創(chuàng)新實(shí)踐和科技活動，使他們發(fā)現(xiàn)數(shù)學(xué)知識能夠用來解決實(shí)際問題，有利于提高本科生學(xué)習(xí)基礎(chǔ)知識的積極性，變被動學(xué)習(xí)為主動學(xué)習(xí)。同時，教師也能從中發(fā)現(xiàn)部分優(yōu)秀本科生的創(chuàng)新潛力和研究能力，激發(fā)他們科學(xué)研究的興趣，引導(dǎo)他們把智能科學(xué)技術(shù)作為研究方向并致力于攻讀相關(guān)方向碩士研究生、博士研究生，進(jìn)一步強(qiáng)化其科學(xué)創(chuàng)新能力，勢必會使其獲得高水平創(chuàng)新性成果。大類培養(yǎng)模式下強(qiáng)化專業(yè)教育與實(shí)踐，專業(yè)老師要積極主動引導(dǎo)學(xué)生，變被動地等待學(xué)生選專業(yè)轉(zhuǎn)變?yōu)槲齼?yōu)質(zhì)學(xué)生，以大二上學(xué)期為主要時間點(diǎn)，引導(dǎo)大類專業(yè)學(xué)生對特色專業(yè)的興趣，通過科學(xué)研究和學(xué)生科技活動吸引選拔學(xué)生進(jìn)科研團(tuán)隊(duì)，同時實(shí)施科研成果進(jìn)課堂、進(jìn)教材、進(jìn)學(xué)生活動。專業(yè)教師、班導(dǎo)師可宣講專業(yè)特色和就業(yè)前景，指導(dǎo)本科生申請大學(xué)生科研訓(xùn)練計(jì)劃、參加科技競賽、開發(fā)智能技術(shù)特色作品。大類培養(yǎng)模式下實(shí)施科研訓(xùn)練計(jì)劃，需要本科生積極主動地理解大類下各子專業(yè)的特點(diǎn)和特色，結(jié)合自己的興趣愛好和實(shí)際情況，在大類培養(yǎng)結(jié)束時分流到各特色專業(yè)。因此，本科生參加科研實(shí)踐和專業(yè)科技活動的時間點(diǎn)很重要，從大一結(jié)束后的暑假開始，一直延續(xù)到本科畢業(yè)，同時實(shí)施“泛畢業(yè)設(shè)計(jì)”（即大二選方向并實(shí)施課題基礎(chǔ)儲備，大三實(shí)施課題，大四結(jié)合專業(yè)實(shí)習(xí)完善畢業(yè)設(shè)計(jì)）[3]，這樣既充分利用了本科生大二大三充裕的課后時間，也緩解了大四本科生面臨就業(yè)、考研、出國等問題的突出矛盾。
3智能系統(tǒng)開發(fā)人才培養(yǎng)
智能技術(shù)已成為當(dāng)前技術(shù)革命創(chuàng)新的源泉，智能系統(tǒng)廣泛應(yīng)用于工業(yè)、農(nóng)業(yè)、服務(wù)業(yè)等各領(lǐng)域，比如2014年11月2日開始處女航的皇家加勒比郵輪公司“海洋量子號”郵輪也因?yàn)榇笠?guī)模運(yùn)用了高科技智能系統(tǒng)而號稱“世界上第一艘智能郵輪”。智能系統(tǒng)是建立在“智能技術(shù)+計(jì)算技術(shù)”基礎(chǔ)上，結(jié)合了控制技術(shù)、信息技術(shù)的軟硬件系統(tǒng)。智能系統(tǒng)開發(fā)人才培養(yǎng)目標(biāo)是社會急需的智能系統(tǒng)開發(fā)工程師，其從事的工作主要包括智能系統(tǒng)的設(shè)計(jì)、開發(fā)、維護(hù)、運(yùn)營、服務(wù)及相關(guān)的技術(shù)指導(dǎo)。為了適應(yīng)智能系統(tǒng)開發(fā)人才的培養(yǎng)，應(yīng)該建設(shè)智能終端實(shí)驗(yàn)平臺、計(jì)算智能實(shí)驗(yàn)平臺、腦認(rèn)知實(shí)驗(yàn)平臺、高性能計(jì)算平臺等人才培養(yǎng)基地與實(shí)訓(xùn)基地，推進(jìn)實(shí)施智能終端軟件開發(fā)技術(shù)、智能系統(tǒng)應(yīng)用課程設(shè)計(jì)、智能系統(tǒng)與工程課程設(shè)計(jì)、智能游戲開發(fā)與設(shè)計(jì)、人機(jī)交互系統(tǒng)開發(fā)與設(shè)計(jì)等教學(xué)實(shí)踐活動。
4復(fù)合型智能技術(shù)人才培養(yǎng)
智能科學(xué)與技術(shù)是一門綜合學(xué)科，智能技術(shù)也廣泛應(yīng)用到智能交通、智慧城市建設(shè)、電子信息、信息安全、電子政務(wù)、電子商務(wù)、工業(yè)制造、教育、醫(yī)療、管理、農(nóng)業(yè)現(xiàn)代化、國防現(xiàn)代化等眾多領(lǐng)域，需要大量復(fù)合型智能技術(shù)人才。筆者認(rèn)為，以下4條措施是智能科學(xué)與技術(shù)新興專業(yè)培養(yǎng)復(fù)合型人才切實(shí)可行的培養(yǎng)方案：①充分發(fā)揮大類培養(yǎng)特色明顯的人才培養(yǎng)優(yōu)勢，開放“全校特色專業(yè)選修課”，跨專業(yè)、跨學(xué)院科教團(tuán)隊(duì)，與大學(xué)生科技創(chuàng)新計(jì)劃融合，重點(diǎn)培養(yǎng)學(xué)生的綜合性、復(fù)合性、應(yīng)用性；②引導(dǎo)并嚴(yán)格要求B學(xué)分課程學(xué)習(xí)，特別是設(shè)計(jì)規(guī)劃實(shí)施好“科技創(chuàng)新”、“文體活動”、“技能認(rèn)證”、“企業(yè)實(shí)習(xí)”、“暑期社會實(shí)踐”等綜合能力提高計(jì)劃；③交叉融合辦好本科生二專業(yè)，鼓勵學(xué)有余力的本科生對知識的渴求，允許學(xué)生在本專業(yè)的基礎(chǔ)上再輔修另一個專業(yè)，并提供配套措施，保證二專業(yè)學(xué)生能獲得優(yōu)質(zhì)教育，發(fā)揮學(xué)科交叉融合優(yōu)勢，使本科生形成寬廣深厚的知識結(jié)構(gòu)，培養(yǎng)有特色的智能科學(xué)技術(shù)專業(yè)復(fù)合人才；④通過與企業(yè)橫向合作，建立校企實(shí)訓(xùn)基地，緊跟企業(yè)和市場需求，與企業(yè)聯(lián)合培養(yǎng)復(fù)合應(yīng)用人才。
5結(jié)語
