引論:我們為您整理了1篇大數據分析畢業論文范文,供您借鑒以豐富您的創作。它們是您寫作時的寶貴資源,期望它們能夠激發您的創作靈感,讓您的文章更具深度。
大數據分析畢業論文:大數據分析煤礦安全生產論文
1綜合決策分析缺乏時空維度的支持
煤礦安全生產和管理是一個與時間和空間相關的過程,其綜合決策分析離不開時間和空間維度的參與,而現有的煤礦信息系統往往缺乏時空維度的決策分析工具,如拓撲分析、緩沖區分析、密度分析、疊置分析、時間和空間趨勢探測分析、時間/空間關聯分析、時間/空間自回歸分析等。煤礦安全生產內涵豐富,既包含了日常性事務性的風險超前預控管理,又包含即時性的風險識別、監測、預測乃至預警,這就給安全生產管理的各類信息系統建設提出了很高的要求,需要滿足監控實時化、系統集成化、數據海量化、分析決策在線化和智能化,這些都是目前信息系統建設的短板。上述問題的存在使得我國煤礦安全生產形勢沒有本質的好轉,諸多信息化建設成果(硬件、軟件)在煤礦安全生產過程中也沒有起到預期的成效。
2煤礦安全生產大數據分析系統
2.1大數據分析的概念大數據分析
是指數據量急劇積累迅速超出主流軟件工具和人類思維處理的極限,大數據與傳統數據比較起來,有四大特征:數據體量巨大(Volume)、數據類型繁多(Variety)、數據價值密度低(Value)、更新速度快時效高(Velocity)。大數據分析需要全新的數據處理理念和分析工具,洞察發現海量高速增長信息中潛藏的價值[4]。從理念上,大數據分析與傳統數據分析有三大轉變:要全體不要抽樣,要效率不要,要相關不要因果。針對大數據,既有的技術架構和分析工具已經無法滿足要求,需要全新的數據分析方法和技術,這其中包括:(1)大數據分析可視化方法;(2)大數據挖掘算法;(3)預測性分析能力;(4)語義處理能力;(5)數據質量和數據管理技術。
2.2大數據分析系統的建設
根據大數據處理和分析的理念,煤礦安全大數據分析系統的建設目標包括:數據綜合集成、安全知識集成、三維虛擬可視化展示、煤礦安全動態分析診斷。具體建設內容包括:(1)基于物聯網/云計算技術的煤礦安全綜合數據庫。建設煤礦安全大數據分析診斷系統,首先要利用物聯網和云計算技術實現綜合的數據集成,將基礎空間和屬性數據、在線監測的實時性數據、專業業務系統的事務性數據綜合集成起來,構建煤礦安全綜合數據庫。(2)基于專家系統的煤礦安全專家知識庫。針對知識集成的目標,整理規范規程體系中的經驗或者理論知識(煤礦安全規程、煤礦作業規程、三違行為知識、隱患界定知識、評估模型、設備操作規程知識、工種操作規程知識),構建煤礦安全動態分析診斷的專家知識庫。(3)建設三維虛擬礦井可視化平臺。針對信息和知識三維虛擬礦井可視化展示分析,主要的建設內容是基于高精度地質模型理論研究開發三維虛擬礦井平臺,實現地層建模、鉆孔建模、斷層建模、工作面建模和巷道建模等工作。然后,基于三維虛擬礦井平臺,實現數據和知識可視化、煤礦安全生產活動可視化、分析和決策過程可視化。(4)研發煤礦安全動態分析系統。針對基于專家知識庫的煤礦安全生產分析決策,需要利用煤礦安全綜合數據庫中的基礎數據、實時監測數據以及事務性數據,根據煤礦安全專家知識庫進行煤礦安全生產狀況評估、推理和演繹,動態分析診斷煤礦安全生產的現狀與趨勢、預測未來,并針對煤礦應急現象做出科學合理的響應對策。
3結語
物聯網、云計算、大數據分析帶來了新的數據處理和分析的視野[5],也必將影響煤礦企業的信息化建設,成為提升煤礦安全生產水平的核心信息技術手段。與互聯網、電子商務、電信通信等行業相比,煤炭行業在這方面的發展稍稍晚一些。因此,煤礦科技研究工作者需要抓住時機,在大數據分析處理的研究和應用上付出更大努力,推動煤礦信息化建設發展。
作者:魏忠奎 袁傳增 單位:山東能源棗礦集團田陳煤礦
大數據分析畢業論文:云計算環境下大數據分析論文
1大數據處理流程
基本的大數據的處理流程可以分成數據采集、數據處理與集成、數據分析和數據解釋4個階段。首先獲取數據源的數據,因為在數據源端的數據包含各種各樣的結構,需要使用某種方法將其進行預處理,使數據成為某種可以用一種算法分析的統一數據格式,接著需要找到這種數據分析的算法,將預處理過的數據進行算法特定的分析,并將分析的結果用可視化等手段呈現至用戶端。
1.1數據采集
大數據的采集是整個流程的基礎,隨著互聯網技術和應用的發展以及各種終端設備的普及,使得數據的生產者范圍越來越大,數據的產量也越來越多,數據之間的關聯也越來越復雜,這也是大數據中“大”的體現,所以需要提高數據采集速度和精度要求。
1.2數據處理與集成
數據的處理與集成主要是對前一步采集到的大量數據進行適當的預處理,包括格式化、去噪以及進一步集成存儲。因為數據采集步驟采集到的數據各種各樣,其數據結構也并不統一,不利于之后的數據分析,而且,一些數據屬于無效數據,需要去除,否則會影響數據分析的精度和性,所以,需要將數據統一格式并且去除無效數據。通常會設計一些過濾器來完成這一任務。
1.3數據分析
在完成了數據的采集和處理后,需要對數據進行分析,因為在進行數據分析后才能體現所有大數據的重要價值。數據分析的對象是上一步數據的處理與集成后的統一格式數據,需要根據所需數據的應用需求和價值體現方向對這些原始樣本數據進一步地處理和分析。現有的數據分析通常指采用數據倉庫和數據挖掘工具對集中存儲的數據進行分析,數據分析服務與傳統數據分析的差別在于其面向的對象不是數據,而是數據服務。
1.4數據解釋
數據解釋是對大數據分析結果的解釋與展現,在數據處理流程中,數據結果的解釋步驟是大數據分析的用戶直接面對成果的步驟,傳統的數據顯示方式是用文本形式體現的,但是,隨著數據量的加大,其分析結果也更復雜,傳統的數據顯示方法已經不足以滿足數據分析結果輸出的需求,因此,數據分析企業會引入“數據可視化技術”作為數據解釋方式。通過可視化結果分析,可以形象地向用戶展示數據分析結果。
2云計算與大數據分析的關系
云計算是基于互聯網的相關服務的增加、使用和交付模式,通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源,是一種按使用量付費的模式。這種模式提供可用的、便捷的、按需的網絡訪問,進入可配置的計算資源共享池(資源包括網絡、服務器、存儲、應用軟件、服務),這些資源能夠被快速提供,只需投入很少的管理工作,或與服務供應商進行很少的交互。目前,國內外已經有不少成熟的云計算的應用服務。數據分析是整個大數據處理流程里最核心的部分。數據分析是以數據的價值分析為目的的活動,而基于大數據的數據分析通常表現為對已獲取的海量數據的分析,其數據來源可能是企業數據也可能是企業數據與互聯網數據的融合。從目前的趨勢來看,云計算是大數據的IT基礎,是大數據分析的支撐平臺,不斷增長的數據量需要性能更高的數據分析平臺承載。所以,云計算技術的不斷發展可以為大數據分析提供更為靈活、迅速的部署方案,使得大數據分析的結果更加。另一方面,云計算的出現為大數據分析提供了擴展性更強,使用成本更低的存儲資源和計算資源,使得中小企業也可以通過云計算來實現屬于自己的大數據分析產品。大數據技術本身也是云計算技術的一種延伸。大數據技術涵蓋了從數據的海量存儲、處理到應用多方面的技術,包括海量分布式文件系統、并行計算框架、數據庫、實時流數據處理以及智能分析技術,如模式識別、自然語言理解、應用知識庫等等。但是,大數據分析要走向云計算還要賴于數據通信帶寬的提高和云資源的建設,需要確保原始數據能遷移到云環境以及資源池可以隨需彈性擴展。
3基于云計算環境的Hadoop
為了給大數據處理分析提供一個性能更高、性更好的平臺,研究者基于MapReduce開發了一個基于云計算環境的開源平臺Hadoop。Hadoop是一個以MapReduce算法為分布式計算框架,包括分布式文件系統(HDFS)、分布式數據庫(Hbase、Cassandra)等功能模塊在內的完整生態系統,已經成為當前流行的大數據處理平臺,并被廣泛認可和開發應用。基于Hadoop,用戶可編寫處理海量數據的分布式并行程序,并將其運行于由成百上千個節點組成的大規模計算機集群上。
4實例分析
本節以電信運營商為例,說明在云計算環境中基于Hadoop的大數據分析給大數據用戶帶來的價值。當前傳統語音和短信業務量下滑,智能終端快速增長,移動互聯網業務發展迅速,大數據分析可以為運營商帶來新的機會,幫助運營商更好地轉型。本文數據分析樣本來自于某運營商的個人語音和數據業務清單,通過Hadoop2.6.0在Ubuntu12.04系統中模擬了一個大數據分析平臺來處理獲得的樣本。希望通過對樣本數據的分析與挖掘,掌握樣本本身的一些信息。以上分析只是一些很基本的簡單分析,實際上樣本數據中所蘊含的價值要遠遠大于本文體現的。以上舉例意在說明基于云計算的大數據分析可以在數據分析上體現出良好的性能,為企業帶來更豐富更有效率的信息提取、分類,并從中獲益。
5結束語
基于云計算的大數據分析已經成為解決大數據問題的主要手段,云計算環境中的大數據分析平臺部署需要綜合考慮硬件、網絡、軟件等各方面的集成,使大數據的海量信息積累體現價值,顯示云計算的性能優勢,而沒有云計算技術的支撐也不能進行高效和的大數據處理分析。本文通過一個例子來分析了基于云計算的大數據分析給企業帶來的價值,由此可見,大數據需要云計算技術的深入挖掘,同時也促進了云計算技術的不斷發展。
作者:陳清金 張巖 陳存香 單位:聯通云數據有限公司 中國聯合網絡通信集團有限公司
大數據分析畢業論文:遠程大數據分析審計監督模式思考
隨著信息化快速發展,審計信息化建設也不斷完善,轉變審計方式方法應是大勢所趨,本文就遠程大數據分析審計監督模式作些探討。
一是要進行分級采集。國家審計署、地方各級審計機關要按照各自的審計管轄權,采集本級各部門單位的財政財務收支數據、業務數據、其他數據;在采集數據過程中,既要做到數據采集全覆蓋,不論是收支數據,還是業務數據、其他數據,都應采集,應采盡采;不論是重點部門,還是一般單位,或是下屬機構,都應采集,不留死角;又要做到數據采集定期性,要根據審計需求,定期采集本級各部門單位的財政財務收支數據、業務數據、其他數據;從而確保采集數據的性。
二是要進行規范轉換。各級審計機關要針對統一采集的數據,根據國家審計署關于數據轉換的技術要求,利用上級審計機關配發的數據轉換軟件或模塊,圍繞每個單位的各類數據,組織專人及時進行數據轉換。在數據轉換過程中,要做到:有現成轉換軟件或模塊的,就應根據軟件或模塊實施轉換;沒有現成轉換軟件或模塊的,就應采取聯合攻關的形式,開發相應的數據轉換軟件或模塊,然后進行數據轉換。
三是要進行上報集中。地方各級審計機關要按照審計署規定的標準、方式和要求,將采取轉換的數據逐級匯總上報。縣級審計機關將本級數據上報市級審計機關,市級審計機關將本級數據及各縣級審計機關上報數據匯總后,上報省級審計機關,省級審計機關將本級數據及各市級審計機關上報數據匯總后,上報國家審計署,實行統一集中管理。
一是要利用統計分析,搜索疑點。要建立統計分析模型,如回歸分析、因子分析和判別分析等模型,對數據進行分類和預測。通過分類,挖掘出其數據的描述值,通過對被審計單位的大量財務或業務歷史數據進行預測分析,得到其預測值;然后將描述值、預測值和審計值進行比較,幫助審計人員從中發現審計疑點,從而將其列為審計重點。
二是要利用關聯分析,搜索疑點。通過利用關聯規則,從被審計單位數據庫的所有細節或事務中抽取頻繁出現的事項,挖掘隱藏在數據間的相互關系,從而發現存在異常聯系的數據項,如發現在財政、稅務等各領域間,在部門單位上下級間、財務數據和業務數據間、各被審計單位與宏觀經濟運行系統間的數據異常關系,在此基礎上通過進一步分析,發現審計疑點。
三是要利用比對分析,搜索疑點。要根據被審計單位可能出現的問題為導向,將可以比對的問題列出清單;針對問題清單,逐項確定比對方式,如有的利用被審計單位自身提供的兩組或兩組以上數據進行比對,有的利用被審計單位自身提供的數據與其他部門單位提供的數據進行比對;通過比對,發現審計疑點。
四是要利用邏輯分析,搜索疑點。要根據被審計單位可能出現的問題為導向,將可以進行邏輯分析的問題列出清單;針對問題清單,逐項確定邏輯分析的方式,如有的可用因果分析,有的可用投入產出分析,有的可用充要條件分析等,圍繞每種邏輯分析方式,確定分析的流程模型,利用信息化技術進行操作,從而發現異常,得到審計疑點。
五是要利用程序性分析,搜索疑點。要根據被審計單位可能出現的問題為導向,將可以進行程序性分析的問題列出清單;針對問題清單,逐項確定程序性分析的方式,如有的可用法律法規規定的程序進行分析,有的可用政策、規范性文件、合同協議所確定的程序性條款進行分析,圍繞每項程序性分析方式,確定分析的流程模型,利用信息化技術進行操作,從而發現異常,得到審計疑點。
六是要利用要素分析,搜索疑點。要根據法律法規的規定,在被審計單位可能出現的問題中,梳理出違反法律法規規定的問題,也即要素違反的問題,列出問題清單;圍繞清單中的每一個問題,確定與法律法規核對的方式,通過該核對的方式,利用信息化技術進行操作,從而發現審計疑點。
一是要做好分級核查。上級審計機關在對集中上報數據進行分析后,要將發現的疑點列出清單,按疑點所對應的屬地進行分類,并注明對應的事項,下發對應的各級審計機關,要求該審計機關及時進行核查,充分發揮遠程分析、分級核查的優勢。
二是要做好現場核實。各級審計機關在收到上級審計機關下發的疑點核查清單后,要迅速就此工作進行部署,安排審計人員按照清單內容與涉及對象見面,采取相應方法調查核對,并就此進行取證。
三是要做好匯總反映。各級審計機關在將疑點核查落實后,要將核查情況進行匯總;一方面,將匯總情況及時上報上級審計機關;另一方面,將查實后的疑點根據情況分類加以處理和利用。如有的納入對應的專項審計進行反映處理,有的從疑點核實轉入專項審計,進一步延伸審查;有的情況明了,可以直接作出審計處理,發出審計結果性文書。
大數據分析畢業論文:運用大數據分析推行審計全覆蓋的主要做法和對策
利用大數據開展審計分析,推進財政聯網審計已成為新時期審計工作的常態,為了做好這方面工作,來鳳縣審計局本著“先簡單,再逐步深入”原則,力爭通過2到3年的摸索,以項目審計實踐培養數據分析人才,不斷適應審計新常態,做出了積極的探索和實踐。
(一)培訓打基礎。派人參加了省廳舉辦的大數據知識介紹和運用培訓,全局審計人員還參加了省廳舉辦的大數據知識介紹和運用遠程視頻培訓,使審計人員初步對大數據的內涵和運用有了一定的了解。結合審計實際,在局內舉辦了如何適應大數據時代的到來,如何運用大數據開展財政預算執行審計等知識的培訓,進一步深化審計人員對大數據概念和運用的理解。
(二)建立數據庫。從2015年10月起,用近4個月的時間,抽專人建起了數據庫,集合了自2012年以來全縣78個一級預算單位的部門預算收支備份數據和財政總預算會計數據、預算編制數據、國庫集中支付數據、非稅收入數據、基金預算收支數據,今年又集中了車輛管理、工商登記、地稅征管、房產登記、2015年低保發放等方面的數據。還組織資金,購置了設備,建起專門開展項目審計的數據分析室。
(三)初步運用探路。在安居保障房工程審計中,運用房屋租賃信息、房產登記信息、車輛管理信息、工商登記信息以及納稅申報信息等數據進行關聯比對分析,查出了保障房在動態管理中存在的一些問題,如不屬于安置對象的分配了保障房,分配了保障房后又購買車輛的,分配了保障房后又購買商品房的等問題,根據查出的這些問題,及時責成縣住建局立行整改。這也是該局運用大數據進行分析取得的初步成效。
(四)逐步擴大運用。在地稅審計中,利用省廳下發的地稅征繳備份數據進行了以下四個方面的分析嘗試。一是將納稅登記與納稅申報進行關聯比對,分析有多少比例沒有納稅申報,揭示納稅管理上逃稅、漏稅行為。二是審查房地產企業少征漏征營業稅和土地增值稅,房地產企業進行房地產開發經營業務應繳納的營業稅和土地增值稅計稅依據一般應該一致,均應等于年度財務報表的營業收入,以房地產企業已繳納入庫的營業稅和土地增值稅為基礎,比對此兩稅的計稅依據與年度財務報表的營業收入是否一致。如果三者不一致,在沒有正常原因的情況下,則有可能是相關稅款未足額征收。三是通常來說,房產稅或城鎮土地使用稅應同時繳納。通過對"地稅局2015年征收數據"表中所有征收記錄按納稅人進行分類匯總,存在部分納稅人存在著只交房產稅、或只交城鎮土地使用稅的疑點。四是對稅收結構進行審查,分析各行業稅收反推一二三產業對財政收入的貢獻率,通過分析不同行業和一二三產業稅收占比,找出產業發展上的差距,為縣委、政府決策產業結構調整,加大招商引資力度,發展規模企業和培育稅源提供參考依據和建議。
(五)做好財政聯網適時動態監測審計。該局的財政聯網系統起步于2010年,最初的兩三年主要是用來采集財政數據。從2013年下半年開始試行財政聯網動態監測。一是按照省審計廳和州審計局的規定動作要求,做好全年不少于四次聯網審計工作,最多的次數是2014年該局每月開展一次聯網審計,全年出具12期動態監測審計報告。二是在聯網審計中,根據自己的能力,不貪多,每次確定一個或兩個重點內容,如2011年至2015年,分別對會議費、濫發津補貼、資本支出、建設支出納稅情況、大額撥款到個人賬戶、三公經費增減情況,節日大額支出等方面以國庫支付數據和會計摘要為基礎,以查詢篩選方式方法對全縣所有預算部門單位進行動態監測,發現疑點后,對有問題的部門單位出具“財政聯網審計動態監測問題聯系單”進行核實,收到這些部門單位對核實情況的回復意見后,對屬實的單位,下發整改意見書,同時上門督辦或電話督辦其整改到位。僅2015年及時期監測查出X鎮財經所、X鎮人民政府、縣XX等12個單位違反規定發放獎金和補貼113260元,第二期監測查出縣XX局、縣XX局2個單位違規發放獎金16155元,第三期監測查出縣XXX建設指揮部支付給施工單位的工程款少交稅款100多萬元。今年一季度的動態監測將公用經費支出作為監控重點,通過對國庫支付數據進行監測,形成了對3個單位的疑點,分別包括“記賬憑證摘要不規范”、“大額支付直達本單位個人賬戶”。根據監測結果出具了3份“財政聯網審計動態監測問題聯系單”,已分別送至各疑點單位,目前正在核實階段。通過近幾年的財政聯網動態監測審計,積累了經驗,摸索出了一些方式方法,提高了審計人員的技能。起到了審計全覆蓋的作用,但在聯網監控審計的深度方面還遠遠不夠,還有潛力可挖。該局審計人員均達成共識,認為財政聯網審計在當前審計資源和審計力量嚴重不足的情況下,是加大審計監督全覆蓋的一種有效方式和方法。
(一)數據分析人才力量嚴重不足,難以勝任這兩項工作。從該局的實際情況來看,2012年至2015年,先后選派8人參加了審計署和省廳舉辦的計算機中級培訓,因專業性太強,加上參學的人員基礎不強,只有1人取得審計署頒發的合格證。雖做了上述努力,但這方面人才仍然嚴重不足。
(二)任務太重,沒有充裕的時間來保障數據分析和財政聯網審計工作。基層審計人員除了參加精準扶貧和紀委組織的專項檢查等各類活動外,平均每個項目的有效實施時間大概在20天左右,在此情況下,審計人員根本沒有時間靜下心來思考如何做好數據分析。本來做好了數據分析可以減少審計人員的工作量,但關鍵問題是一個基層局只有1人能勉強做分析這件事,而年青同志雖然會分析,會編寫分析語句,但年青同志工作經驗不足,又會造成他思路不
開闊,反過來又限制了他的能力發揮,而且從事數據分析的審計人員也不是專職的,其本人也和其他審計人員一樣被安排有主審或協審任務。數據分析這種專業性較強的工作,對計算機運用、數據庫知識和英語水平不高的人來說,沒有幾年下深功夫的學習和積累,是難已見成效的。根據近幾年的實踐,該局認為基層審計局很有必要成立 “計算機審計中心”或者叫做“數據分析中心”,組建一個3人左右的內設機構。根據上級文件要求,目前各縣市正在組建“大數據中心”,一旦這個“大數據中心”建成了,對審計工作是有利用價值和促進作用的。為了保障滿足審計監督全覆蓋的要求,基層審計局有必要配備一名既懂數據分析又熟悉財經審計的專職人員來專門從事財政聯網動態監測工作,其余2到3人主要是跟班對具體審計項目和審計組成員一起開展數據分析,同時其中一人兼任局網絡管理員,負責局內網絡和計算機小故障的維護。而且要求數據分析中心人員必須通過審計署的計算機中級培訓。目前僅是依靠省廳計算機中心來對全省各地的數據開展分析,也不現實;依靠州審計局來對各縣市數據開展分析,州局也暫不具備條件和力量。且每個縣市的具體情況也不相同,畢竟各縣市審計人員對本地的實際情況要更熟悉些。
基于上述認識,該局今年將新招錄1名計算機專業的大學生,已得到縣編委批準同意,另調入1名已經工作多年30多歲的學計算機專業的工作人員,手續正在辦理之中。今年擬安排3人在下半年到北京參加計算機中級培訓(其中1人屬補考),2017年再計劃選送1到2人參加北京審計署計算機中級培訓。估計等這幾人都培訓合格,再經過一兩年的跟班實踐和強化訓練,相對滿足現階段審計工作對大數據分析和財政聯網審計的要求。同時也為培養復合型人才打下堅實基礎。
大數據分析畢業論文:面向糖尿病的臨床大數據分析研究和應用
1.1 研究背景及意義
近年來,一方面數據倉庫技術以及海量存儲設備的快速發展使得收集海量數據的能力得到質的提升,預示著大數據的時代已經到來;另一方面,隨著各大醫院信息化建設進程的不斷推進,醫院中的各生產系統如 HIS(醫院信息化系統)、LIS(實驗室檢驗科信息系統)、EMR(電子病歷系統)等已經積累了規模龐大的臨床數據。公共的醫療資源服務日漸緊張,如何利用好收集存儲的海量數據,成為數據手機存儲價值的重要標志。在此背景下,面向醫療大數據的數據分析與挖掘技術也應運而生,并得到了快速的發展,智能醫療決策系統也因此應運而生。這種數據包含了許多隱藏的知識等待被挖掘,對于輔助診療、提升臨床醫療質量具有很大的價值。 糖尿病作為一種慢性病,治療周期長,容易引發多種并發癥如腎病、眼病,病情反復等特點。糖尿病患者在治療過程中,會產生大量的臨床數據包括就診信息、實驗室檢驗、臨床診斷信息和醫囑用藥信息。這些臨床數據隱藏著許多有關糖尿病診斷及治療的規律,對于掌握糖尿病發病與治療效果的預測有著重要的意義。 通過對糖尿病臨床數據的多維分析,從選擇待分析的主題出發,進行對應主題的維度和粒度的設計、事實表和維表的設計,采用星型模型構造主題邏輯視圖,生成針對主題的多維立方體。在此基礎上,利用多維分析的上卷、下鉆、切片、切塊等操作實現糖尿病數據的多方位展示,從而揭露數據隱含的患者群體特征、病情的變化趨勢、藥物療效等關鍵信息。
..........
1.2 國內外研究現狀
基于當前高速發展的數據處理技術,以及硬件設備的迅速更新換代,使得我們越來越有條件收集數據量巨大的數據,做好數據存儲工作。面臨存儲的海量數據,怎么使用這些數據成為了醫療大數據領域專家學者探索的熱點課題。 現有的工作主要集中在使用醫療數據對患者進行聚類和分類研究[1-3]、疾病復發與基本指標之間的關聯分析[4-6]以及一些中西藥常用的藥對組合,用藥規律等的發現。這對這些數據可以發現,目前的主要研究工作從以下幾個方面展開: 1) 針對高風險人群的難以預測的問題,構建患者的分類模型,以及分析一些影響發病的相關因素 2) 針對疾病之間可能存在的關系的關聯分析 3) 發現發病規律,并應于輔助診斷,生成決策樹 經過查閱相關資料和調研分析,得出目前主要的醫療大數據分析研究的方向和一些難點列舉如表 1-1:
..........
第二章 相關技術介紹
本章主要介紹本文用到的相關技術。首先介紹了數據挖掘的概念和 OLAP 技術,然后針對數據挖掘中的時序挖掘進行了介紹,如時間序列規整和關聯分析。介紹了 SAP BO 可視化技術。
2.1 OLAP 與數據挖掘
大數據常常是由結構復雜、數據量巨大、類型眾多的數據構成的數據集合。為了發掘這些數據背后隱藏的知識,常有多種方法,本節介紹 OLAP 技術和數據挖掘技術。
2.1.1 OLAP 技術
1993 年,E.F.eodd 在“Providing OLAP to User-Analysis”中首次提出了聯機分析處理(Online Analytical Processing,OLAP)的概念,他認為 OLTP(聯機事務處理)己不能滿足終端用戶對數據庫查詢分析的需求,使用 SQL 對大型數據庫進行的簡單查詢也不能滿足終端用戶決策分析的要求。因此,EF.Codd 提出了多維數據庫和多維分析的概念,即 OLAP。 OLAP(聯機分析處理),聯機進行數據訪問和統計分析,共享多維信息,是一種建立在事務操作之上的邏輯步驟,分析決策的能力強大,能夠為決策管理人員提供更加復雜的數據分析能力,通過分析相關數據發現數據變化的特征、規律、趨勢以及一些潛藏的重要信息。 分析決策人員在分析決策過程中,往往都需要通過多角度、多層次的方式來立體的觀察某些屬性之間的關系。如醫生想要知道今年年齡在 50-59 歲區間內,上海市各個區的男女患者的分布情況時,這個時候就要綜合考慮臨床診斷情況、地區、性別和年齡等多個維度的信息,這些供分析決策使用的數據都是多維數據。 多維數據被具體的看成是一個立方體,包括維度信息(Dimension)和度量值(Measure)。維度就是觀察數據的角度。度量值是指衡量數據的指標值。如糖尿病患者基本信息主題,就包括性別、年齡、地區、妊娠情況等維度,也可以從各年齡段占比,性別占比等度量方式具體觀察。因此,在多維分析時,對事實表、維度、維度的層次、維度的成員、度量值等的概念的理解與掌握非常重要。
........
2.2 時序挖掘
頻繁模式的發現始于1993年Agrawal等學者提出的關聯規則的發現研究[17],也一直是數據挖掘分析領域中的一個重要的研究課題。自從 Agrawal 等學者提出了關聯規則挖掘問題以來,諸多的學者對關聯規則挖掘課題進行了大量的研究,得出了很多高效的算法,然而 大多數方法都未考慮時間因素的影響。但在現實世界中,時間是數據本身固有的因素,在數據中常常會發現時序語義問題。時序數據的出現使得有必要在數據挖掘中 考慮時間因素,在現實中,附加上某種時序約束的規則將可以更好地描述客觀現實情況,因而也會更有價值,稱這樣的規則為時序關聯規則。時序關聯規則挖掘研究[18]一文中提出了多時間粒度的時間規準,如年、月、日等多粒度時間維度表示的方法。非同步多時間序列中頻繁模式的發現算法[19]一文中,提出了針對多個序列之間時間不同步的問題,利用線性化分段表示和矢量形態聚類實現時間序列的特征分割與符號化轉換的思想。另外在時序挖掘時,常常是對時間序列的某一個子序列進行挖掘,在時間序列相似性問題中滑動窗口的確定[20]一文中,提出了滑動窗口在時間序列相似性降維技術的應用。 時序表達,在做時序挖掘時,常常需要先對事件做時序表達,構建事件序列。在構建事件序列時,就需要使用事件之間的相似性,進行時間規整,最常用的時間規整有兩種,歐氏距離[21]和動態時間規整兩種方式。
大數據分析畢業論文:大數據分析郵政客戶營銷創新發展
摘要:文章介紹了國內外大數據應用案例及郵政大數據應用現狀,分析了大數據分析在客戶綜合營銷中的應用,并從體制機制、實施路線和保障措施等方面提出了郵政大數據戰略的發展路線。
關鍵詞:大數據;客戶營銷;創新;機制;生態圈
隨著云計算、物聯網的高速發展,世界正邁向嶄新的大數據時代。中國郵政作為多主體、多領域經營的大型網絡企業,如何利用大數據分析高效率地實現客戶營銷,實現各板塊創新協同發展,是企業長遠發展的重大課題。
1大數據驅動企業創新發展的調查研究
1.1國內外大數據應用案例分析
1.1.1阿里巴巴的企業核心數據戰略2005年,阿里巴巴開發出淘數據供內部運營人員使用;2011年開發出數據魔方供外部淘寶商家使用;2012年公布三步走發展戰略,即平臺戰略、金融戰略、數據戰略。以金融業務模式為例,阿里金融建立了一套網絡數據模型和信用體系,貸款不需要抵押品和擔保,僅依賴于海量的客戶信用數據和行為數據,企業即可迅速獲得貸款。阿里金融的大數據應用和業務創新,變革了傳統的商業模式,給傳統銀行帶來挑戰。在數據戰略中,阿里巴巴欲打造一個由數據生產者、消費者、加工者和服務應用供應商組成的生態系統。阿里云計算的開放數據處理服務產品平臺是阿里巴巴的大數據處理平臺,小微金服、數據魔方、高德等業務都已上線,對內對外提供數據倉庫、數據挖掘和其他數據應用服務。1.1.2平安集團以數據整合驅動板塊聯動平安集團建設了萬里通數據平臺,成立了融合業務與技術于一體的數據團隊,打通了各個板塊的系統,實現了以客戶為中心的數據整合和精準營銷,客戶遷徙戰略成功實現,以保險板塊的優勢拉動了銀行、投資業務發展。在實施過程中,通過開放萬里通注冊用戶在各個線上線下零售平臺消費時產生的積分通折、通用,激活了醫、食、住、行、玩的大量實時消費數據。在此基礎上,成功實施了集團客戶、銀行小微客戶等客戶群的精準服務戰略,將7000萬左右的高質量保險個人客戶成功吸引到平安金融和平安投資,實現了一個客戶、一個賬戶、多個產品、一站式服務,為平安集團創造了新的增長極。1.1.3?亞馬遜以大數據驅動業務發展亞馬遜是首個將大數據從電子商務平臺推廣到電子商務物流平臺的企業,各類業務已經完成了數據化,實現了從瀏覽、支付、倉儲、配送和客戶服務全鏈條的大數據應用。以數據驅動為基礎,促進電子商務云、物流服務云、信息服務云、產品定制等各板塊的業務聯動,并由此不斷融合創新服務模式。亞馬遜云計算服務已發展為對外開放服務的盈利來源,由此產生的用戶興趣數據、需求數據、行為模式數據反過來對公司的其他業務給予了更大支持,其數據業務化的進程已經順利起步。
1.2郵政大數據分析應用現狀及存在問題
1.2.1郵政大數據分析的應用現狀郵政大數據分析總體起步較晚,2010年郵政儲蓄銀行成立總行數據分析團隊,2015年12月大數據平臺一期工程上線,已接入行內28個重要業務系統的數據,同時積極引進行外非結構化數據,數據規模和計算能力都大幅度提高。郵政集團公司的大數據平臺目前也在籌劃建設中。郵政大數據在總體上處于各板塊獨立建設和應用初級階段,對客戶營銷的關注和應用較少。1.2.2郵政大數據分析存在的問題目前郵政在各板塊數據整合、共享使用等方面還存在許多問題。一是信息孤島問題突出。各板塊之間信息系統相對獨立、相互隔離,數據管理分別由各板塊科技部門負責,在技術、管理層面解決該問題的方法尚不清晰。二是缺乏數據統一規劃,大數據整合存在困難。在系統建設時對客戶分析所需的價值字段的規劃意識和規劃能力不強,數據要實現系統規劃、質量標準、編碼規則、系統接口、交換平臺五個統一,任重而道遠。三是數據資源有待完善,數據治理的任務艱巨。數據資源不豐富,不能描述客戶行為和環境,不足以支撐真正意義上的大數據分析;同時客戶數據質量不高,數據的時效性、完整性、一致性不足。四是數據分析方法亟需加強和完善。數據特征轉換、分析假設合理性、模型適用性以及數據分析模型庫等,有待時間檢驗。對客戶行為分析的實時性、性等需求不能滿足,對業務的支撐能力有限。五是大數據分析人才缺乏,人力資源不足。尤其是缺乏既掌握大數據技術又具有良好業務理解能力的復合型領軍人才,缺乏融合管理、業務和技術于一體的專業數據分析團隊,業務與技術之間的溝通成本較高,效率較低。六是大數據應用體制、運行機制不完善。跨板塊、跨層級的客戶營銷數據應用困難,時效性差,省級機構數據分析能力對業務發展支撐不足。七是大數據安全風險防控與使用高效的矛盾有待妥善解決。科技風險和數據安全已經納入風險管理體系,但在保護數據安全、滿足行業監管要求的前提下,不斷提高數據資源使用效率的能力不足。
2大數據分析在客戶綜合營銷中的應用研究
當前郵政各級經營主體更多地看重單個營銷活動及近期效果,各板塊、各條線、各專業都主要以自我視角開展獨立營銷,數據在各板塊基本沒有整合應用,不能綜合運用企業內部各種數據資源及分析結果,不能實現綜合發力、精準發力,未體現以客戶為中心的整體營銷能力,造成營銷成本高、效率低,客戶體驗差。現代企業集團的競爭,歸根到底是整個系統和整體合力的競爭,亟待郵政各板塊和條線充分整合利用大數據資源,轉變營銷和服務方式。
2.1客戶畫像分類
客戶畫像是根據用戶社會屬性、生活習慣和消費行為等信息數據抽象出的一個標簽化的用戶模型。構建用戶畫像的核心工作是通過整合用戶數據,通過聚類分析等信息技術處理過程,高度精煉形成特征標識,細分出特征明顯、規律一致的客群,即給用戶貼標簽,從而為客戶行為預測打下基礎。多樣性客戶信息的獲取,除郵政自身擁有的客戶人口特征數據、交易數據、多業務板塊的交互數據外,需要在保障數據質量的前提下,適當引入社交媒體、電子商務平臺、運營商和政府數據等外部數據,以獲取更多的客戶消費、社交和生活信息。根據客戶分群目的和數量的不同,可按戰略、策略、戰術和個體進行多維度客戶分群。戰略分群以客戶價值、客戶生命周期,輔以地域維度進行劃分。策略分群基于行業經驗和業務分析經驗劃分,例如客群、信用卡客群等。戰術分群基于聚類及客戶標簽庫,針對特定的營銷活動或具體業務場景專門劃分,如沉默存款群、成熟高端投資群等。個體分群主要針對個人進行特征歸集和標簽化。
2.2客戶行為預測
客戶行為預測的核心是運用大數據模擬實境,將客戶模型放在由其數據揭示的生產環境、生活環境、社交環境和競爭環境的動態中,得到客戶行為和客戶服務需求的概然性預測,為適時向客戶進行精準營銷、推薦和引導服務產品提供依據(見圖1)。要做到較的預測,必須具備三個條件:高質量的大量活躍數據,多層面、多方位的用戶畫像,可驗證的分析模型庫。因此,必須補充相應的客戶活動空間和時間、社會熱點、社交網絡、流行趨勢、市場環境等大量鮮活的數據表述。
2.3客戶服務產品定制
郵政企業一方面需要通過大數據認識和發現客戶和需求,從而撮合現有產品和現有需求,達成交易;另一方面還需要通過大數據分析挖掘潛在客戶和潛在需求,從而設計對客戶感知價值更高的產品,甚至在客戶認識到自己真實需求之前創造需求,創造產品,在客戶需求外化之前做好服務準備。大數據能發現客戶的興趣偏好、渠道偏好等行為特征和價值,在規則引擎的實時觸發作用下,相應的觸點就能即時捕捉到機會,觸發完成相應的動作,開展個性化的精準服務與營銷,做到應時應景、正中客戶下懷,對于提高營銷效率和客戶感知價值的意義巨大。同時,必須建立以客戶為中心的服務模式,搭建起客戶多層次需求與郵政豐富產品之間的橋梁,使得客戶在各個服務界面均能獲得流程標準化、內容定制化、服務精準化的高水平服務。
2.4客戶服務風險評價
客戶信用風險評價是金融企業健康持續經營的關鍵。在貸款前臺營銷風險控制中,利用大數據的歷史數據模型和顯著性分析,重點對企業違約特征信息進行有效篩選,指導前臺營銷。同時,在對借款企業授信的過程中,可以更有效地把控企業風險總額。在貸后風險監測與預警時,要利用大數據分析對借款企業賬戶信息、資金流向、關聯方信息、網絡信息、政府部門公開信息進行深度挖掘,盡量還原企業經營風險狀態,前瞻性地動態監測借款企業的信用風險。在客戶信用風險的系統控制中,必須依賴大數據分析處理借款企業的海量信息數據,整合多條線、多系統之間的碎片化信息,將原本分割的銀行前中后臺信息進行有效整合,將客戶風險放在大數據表達的變化環境中予以考察分析。
2.5客戶體驗設計
根據大數據對客戶的分析,通過定制客戶敏感度高的服務策略和措施,設計良好的客戶體驗模式(見圖2),提高客戶的感知價值,從而以較低代價創造較大的客戶滿意度。在針對具體客群和具體客戶的服務策略指導下,通過與客戶的每一次接觸,在售前傳遞服務價值的吸引力和目標信息,在售中和售后等各個階段制定個性化服務措施,有目的地創造對企業品牌的正面體驗,促進常規客戶群向品質客戶群轉化。同時識別客戶的異常行為,建立重點監控客戶群,防止高價值客戶流失,提升客戶粘度。
2.6社會電子商務客群營銷綜合化服務案例研究
通過利用大數據對社會電子商務市場主體進行客戶畫像和戰略分群,在原有市場主體中發現了新的潛在客戶群體——互聯網品牌商,如韓都衣舍、紅領、三只松鼠等。他們的典型客戶特征可以概括為:品牌通過互聯網確立并實現發展;以產品設計與品牌管理、供應鏈控制作為企業的核心能力,大量服務外包;銷售規模較大并全部或主要采用互聯網渠道銷售;形成有足夠規模的粉絲群;對上下游企業有較強吸引力(詳見圖3)。這一客群的需求與郵政的優勢產品相互匹配。在滿足金融需求方面,郵政可以提供融資租賃、銀行貸款及擔保、供應鏈資金流轉服務。在滿足物流需求方面,郵政可以提供原材料轉運、成品配發、零售寄遞等服務。在滿足技術需求方面,可以提供物流配送中心建設、倉儲配發系統集成以及相應的技術裝備等。通過大數據針對該客群內單一客戶的關鍵時點與關鍵需求進行分析,可以制定客戶在各自發展階段更加敏感的服務策略,由金融、速遞物流、物流科技的任意板塊切入該客戶,形成單點突破;在此基礎上實現對內板塊信息共享,對外服務產品推介,實現由單點突破到板塊擴展,為客戶提供綜合化、一體化、低成本的服務,對客戶形成接口統一的綜合服務,在郵政內部形成金融、寄遞、科技各板塊創新協同發展的模式。由于品牌制造商在產業鏈中占據龍頭位置,通過郵政的品質服務,可將其轉化為行業示范客戶,帶動郵政在相應的原材料供應商、制造工廠群等整條產業鏈上的繼續拓展,實現郵政在產業鏈兩端的價值延伸。此外,通過對互聯網品牌商的產業鏈環境數據進行分析,可以更加真實地掌握企業的經營狀況,做出既貼近實際情況、又具有前瞻性的的風險評價。
3郵政大數據戰略發展路線
3.1郵政大數據分析的戰略目標
郵政大數據的戰略目標,是以建設中國郵政大數據平臺為契機,綜合管理三大板塊數據資源,適當引進外部數據資源,構建統一的數據模型和管理模式,形成大數據感知、管理、分析與應用服務的新一代信息技術架構和良性增益的閉環生態系統,逐步形成圍繞中國郵政主營業務的大數據生態圈,對內對外提供數據服務,實現服務支持、風險管控、流程優化、交叉營銷、產品創新、決策支持的創新發展,為郵政“一體兩翼”的發展提供新的動力。
3.2郵政大數據分析的實施路線
根據郵政現狀,借鑒其他企業大數據應用的經驗,從目前各板塊數據分散狀態,到最終實現郵政集團大數據生態圈的目標,建議分以下三步走,如圖4所示。及時步,在各板塊內部進行大數據平臺建設,實現板塊內的數據分析使用;第二步,進行集團層面的大數據平臺建設,逐步推進各板塊間的數據整合,實現集團層面的數據分析;第三步,在集團數據整合分析的基礎上,對數據運營方式進一步挖掘,推動一切數據業務化,最終實現數據的聚合分享,建立郵政集團大數據生態圈。
3.3郵政大數據戰略的機制體制設計
在郵政大數據生態圈的建設過程中,需要建立完善的機制,保障系統建設的順利實施和數據的有效使用。將大數據上升為集團戰略,頂層設計、逐步推進。在郵政信息化建設規劃方面,將大數據建設納入頂層設計,信息化建設要遵循統一的數據規劃和數據標準,以實現數據共享。構建跨接三大板塊的集團級數據分析中心,負責集團大數據分析和大數據平臺的管理工作,降低板塊間溝通成本,提高大數據分析和應用效率,為業務發展提供數據支持。加強數據分析人才培養,培養既理解業務邏輯又懂數據分析技術的復合型領軍人才,整合一批市場營銷、業務運營、數據分析、系統開發的內部專才,聚合一批經驗豐富的外部專家資源,構建一支強有力的數據分析人才梯隊。完善集團各板塊協同發展機制,建立起各板塊數據共享、信息共享、利益共享的機制,為客戶提供郵政綜合產品服務,共同提升郵政品牌的核心競爭力。完善大數據管理流程,包括大數據平臺的管理和數據分析、數據使用工作的管理,明確跨板塊的數據接入流程、數據交換服務的申請審批流程,統籌總部基礎性、平臺性工作和各地個性化、差異化需求的關系,集團公司層面制定相應的制度規范和技術規范,各省層面做好數據質量保障工作,為業務部門提供便捷高效的數據分析結果。
3.4郵政大數據戰略的保障措施
3.4.1技術保障建設集團層面統一的大數據平臺,為集團內數據共享提供保障,以大數據平臺貫穿聯通各信息孤島,激活歷史數據價值。信息化系統建設需要統一規劃,要圍繞客戶服務和客戶分析所需的高價值字段進行有意識地設計。數據資源管理在量的方面要擴大數據來源,豐富數據類型,形成圍繞客戶的數據覆蓋;在質的方面要建立郵政數據治理體系,保障數據的時效性、完整性、規范性和一致性。建設科學的數據特征歸納方法和分析模型庫,數據特征轉換、分析假設合理性、模型適用性等要通過實踐和閉環反饋不斷完善和補充。3.4.2數據安全數據安全是集團大數據平臺運營中的一個重要保障,需建立起平臺服務管理規范、數據安全管理規范和系統安全運維規范,要在物理層、數據接入層、數據資源層、平臺服務層、用戶接入層防止數據丟失和泄露,確保數據安全。3.4.3數據倫理大數據的數據倫理在數據權屬與使用、個人或公眾隱私方面愈發受到重視,必須提前規劃,妥善掌控,牢牢把握數據分級管理這一關鍵。一是在數據挖掘時必須堅持目的先行,秉承善意性原則,既要有益又要有用。二是數據時必須堅持自主性原則,實現文責自負;三是堅持公正性原則,實現客觀公平;四是堅持審慎性原則,實現傳責自負。
4結論
中國郵政是一家集金融、物流、保險、證券、電子商務等業務于一體的多元化大型企業,構建中國郵政大數據生態圈,通過客戶畫像和客戶數據行為預測,在郵政客戶服務的產品定制、體驗維護和風險評價領域綜合應用,推動客戶營銷的創新發展,打造郵政創新發展的新動力,助力企業轉型升級,落實“一體兩翼”戰略落地,不斷提升企業核心競爭力。
作者:王志剛 羅亞平 謝峰 羅慶來 張晨 趙驗昌
大數據分析畢業論文:應用型計算機專業大數據分析
摘要:分析了大數據產業的社會需求、學生就業需求、實踐學習需求,提出了高等院校大數據課程開設的必要性。針對目前實踐教學的需要,從應用型本科院校的實際情況出發,探討了大數據分析實驗室建設的目標,以及大數據實驗室建設的3大具體內容,提出了基于教學科研一體化的實驗室建設“三步走”方案,為教學和科研提供有力支持。
關鍵詞:實驗室建設;計算機專業;大數據分析
“十二五”期間,我國信息產業迅速擴大、信息技術快速發展、互聯網經濟日益繁榮,并積累了豐富的數據資源,比如面向公眾的政府網站達8.4萬個、智慧城市試點近300個、網民數量超過7億、移動電話用戶突破13億等[1];技術創新取得了明顯突破,應用勢頭良好,電信、金融、交通等行業利用已積累的數據資源,積極探索行業大數據的應用和行業服務優化;為“十三五”時期我國大數據產業快速發展奠定了堅實基礎。目前,大數據在電子商務、金融、物流、電信、醫療、教育、智慧城市等領域的應用蓬勃興起[2-4],產業發展如火如荼,以Hadoop、Spark等開源技術為代表的技術發展日新月異[5]。由于大數據技術屬于近幾年的新興技術,目前部分高校缺乏高層次的大數據技術專業人才培養的課程體系和師資隊伍;同時,大數據不僅是停留在課堂教學層面上的技術知識,更是需要在實踐中學習的一項技能,因此為師生提供一個大數據實踐教學平臺勢在必行。
1大數據分析實驗室建設的必要性分析
1.1大數據社會產業需求分析
“十三五”時期是我國建成小康社會的決勝階段,是新舊動能轉換的關鍵時期,也是全球新一代信息產業處于加速變革期,以及國內市場需求處于持續增長期。我國大數據產業面臨重要的發展機遇,抓住這一機遇,推動大數據產業發展,對提升政府治理能力、優化民生公共服務、促進經濟轉型和創新發展有重大意義[1]。隨著新一代信息技術的迅猛發展,互聯網與社會各領域、各行業交融、交匯日益深化,一個以大規模產生、分享和應用數據為特征的大數據時代已經到來。2014年是進入大數據應用市場的快速增長期,同比增長80%以上,2015年后進入平穩增長階段,預計2018年全球大數據市場規模將達到超過2500億元,2015—2018年的增長率為21.8%,我國大數據市場規模將超過500億元,增長率為47.0%,是全球增長率的2.2倍[6]。
1.2學生大數據就業需求分析
目前,大數據在各個行業都得到了充分的重視,也急需大數據方面的人才。大數據人才是一個非常寬泛的概念,根據具體從事崗位不同,技能要求也會不同。從大數據崗位和技能需求的角度來劃分,大數據人才分為3類[7]:及時類是數據分析師,要求熟悉大數據的概念和原理,具有一定的數理和統計學知識,能夠熟練操作和使用數據軟件和工具,是從事大數據的初級人員;第二類是數據工程師,能夠開發和搭建數據平臺和應用,并且熟悉數據挖掘的流程和原理,為大數據技術應用在各個領域提供解決方案,要求具有軟件開發和數據分析的能力;第三類是數據科學家,要求熟悉各種大數據技術的原理和相對的優劣勢,合理利用各種技術來設計大數據平臺的架構,根據數據挖掘的使用需求和商業理解來設計和開發算法,是對數學、統計學、機器學習等多方面知識的綜合掌控的復合型人才,也是大數據分析的高級人才。大數據人才在“領英”(linkedin)和“玻璃門”(glassdoor)等人力資源和招聘網站上,長期處于供不應求的狀態。麥肯錫咨詢研究指出,到2018年僅在美國,大數據人才短缺就達到50%~60%。今日美國和彭博社等媒體一致認為,大數據人才短缺的問題短期內只會加劇而不會緩解[7]。如何從紛繁復雜的海量數據中提取有用的信息,變數據為財富,挖掘數據中的金礦,提升企業競爭力以及提高企業風險管理水平,是當前企業和院校教育工作的重要課題。
1.3學生理論學習與實踐相結合
院校開設大數據相關課程,涉及到的課程內容有數據分析、數據挖掘、編程語言、機器學習等,這些課程均需要學生具備很強的實踐動手能力,如果只是停留在理論知識上,學生也只能紙上談兵。因此,學校在開設大數據課程時,只有為學生提供配套的實踐課程,才能真正達到學以致用的目的[8-9]。建設大數據分析實驗室,從學生學習角度來講,迫切性和必要性主要在于以下幾點:及時,加強學生對知識的吸收與應用,萌發學生的創新精神,激發學生的學習動力,在實踐中,通過有趣并結合實際的案例,提高學生的興趣和分析問題的能力;第二,有利于提高學生解決問題的實踐能力,通過實驗室模擬環境,使學生能夠將理論知識用于解決實際問題;第三,增強學生的社會適應性與競爭力,通過實際案例及應用場境,使學生畢業后能夠很快融入行業環境,掌握和具備相應的技能。
2大數據分析實驗室建設目標與建設內容
大數據分析實驗室的建設,應最終為該專業人才培養方案中相應的課程服務,而人才培養方案的制訂,應該從社會需求和學生實際需要著手[10],考慮學生學習基礎,不能盲目追求高大上。我校為應用型本科院校,注重培養學生的實踐動手能力,因此培養方案中課程的制定,也更注重實踐部分。對于大數據技術方面,我們側重于大數據的分析和挖掘,以及大數據技術和應用。課程方面,先從大數據分析和挖掘、大數據技術及應用等相關內容入手,使學生具備數據分析、數據挖掘的基本能力和大數據技術的基本原理,以及應用系統開發的能力。因而大數據實驗室的建設,也將從數據分析挖掘算法、Hadoop生態系統及開發2方面進行建設。大數據分析實驗室集硬件服務器、云計算技術、大數據技術于一身,便于計算機相關專業開設大數據教學課程。實驗室的建設內容將包含以下3方面內容:(1)實驗室硬件平臺建設:為保障實驗環境的整體搭建,需在現有實驗室基礎設備基礎上,配備必要的服務器環境、網絡環境,為搭建大數據分析實驗教學平臺,提供硬件支撐環境。(2)實驗教學平臺建設:充分利用現有硬件資源,通過Vmware等虛擬化技術構建云中心的資源池,將云存儲資源、服務器資源和網絡資源整合,在云平臺上搭建統一的大數據分析與挖掘和大數據技術及應用的實驗課程所需的實驗平臺。(3)課程資源建設:根據培養方案,開設大數據分析與挖掘、大數據技術及應用2門專業必修課程。為確保理論與實踐的緊密結合,培養學生知識應用能力,積累工程項目經驗,需要增設以上理論課程的配套實驗課。
3大數據分析實驗室實施方案
3.1大數據分析實驗室建設思路
大數據實驗室的建設是一個系統工程,主要服務于學生學習、教師教學;為了充分發揮大數據實驗室的功效和作用,可以增加一項增值服務,即在滿足學習和教學的基礎上,進一步為教師和學生提供科研服務,使得教師可在該平臺上進行科學研究和實驗,進而反哺教學(見圖1)。
3.2大數據分析實驗室建設
實驗室建設分3步走:(1)為滿足教學的迫切需求,首先建設大數據分析教學平臺,以及必要的軟硬件支撐,如課程資源,可以是真實數據,也可以是模擬數據。在該平臺之上建設數據挖掘分析平臺和大數據開發教學平臺,滿足課堂教與學的需求。(2)沙盤模擬系統建設。為了積累更多的行業數據,更好地體現大數據的特性,需要建設沙盤模擬系統,更好地服務于大數據分析和大數據挖掘相關功能的實現和操作。(3)服務科研的高級應用。通過校企合作[11],引入企業實際工程項目,隨著系統的完善和數據的積累,教師和學生可以在該平臺上進行其他行業的科學研究和算法優化等工作,一方面服務企業,另一方面也可不斷服務創新。
4結語
建設大數據分析實驗室,不但可以滿足教學的需求,而且可以提高學生的工程意識、工程素質和工程實踐能力,解決理論知識與企業實際需求相脫節的矛盾,培養能快速適應企業技術環境和需求的工程技術人才[12]。同時,需進一步開展校企合作,加強人才培養,以企業需求為導向,以實際工程為背景,以工程技術為人才培養主線,將高校的資源優勢和企業的技術優勢相結合,建設一個符合專業人才培養要求的、能夠支持實踐教學和科研的、具備一定前瞻性的、能夠統一管理和維護的實訓基地,是提高人才培養水平、提升師資隊伍能力、增強學生就業率的有效舉措。
作者:李曉丹 劉云翔 王浩 原鑫鑫 徐琛 單位:上海應用技術大學 計算機科學與信息工程學院
大數據分析畢業論文:大數據分析時代對市場營銷的影響
【摘要】首先梳理了大數據時展的歷程,表明目前已經進入到數據3.0時代,接著解析數據3.0時代是消費者成為主宰的時代,更是企業精準營銷的時代,以京東為例,窺探了大數據在企業中的運用并給出新時展策略,以期給現有中小企業轉型提供參考依據。
【關鍵詞】大數據;大數據營銷;京東
一、數據分析時代演變歷程
(一)數據1.0時代
數據分析出現在新的計算技術實現以后,分析1.0時代又稱為商業智能時代。它通過客觀分析和深入理解商業現象,取締在決策中僅憑直覺和過時的市場調研報告,幫助管理者理性化和較大化依據事實作出決策。首次在計算機的幫助下將生產、客戶交互、市場等數據錄入數據庫并且整合分析。但是由于發展的局限性對數據的使用更多的是準備數據,很少時間用在分析數據上。
(二)數據2.0時代
2.0時代開始于2005年,與分析1.0要求的公司能力不同,新時達要求數量分析師具備超強的分析數據能力,數據也不是只來源于公司內部,更多的來自公司外部、互聯網、傳感器和各種公開的數據。比如領英公司,充分運用數據分析搶占先機,開發出令人印象深刻的數據服務。
(三)數據3.0時代
又稱為富化數據的產品時代。分析3.0時代來臨的標準是各行業大公司紛紛介入。公司可以很好的分析數據,指導合適的商業決策。但是必須承認,隨著數據的越來越大,更新速度越來越快,在帶來發展機遇的同時,也帶來諸多挑戰。如何商業化地利用這次變革是亟待面對的課題。
二、大數據營銷的本質
隨著顧客主導邏輯時代的到來以及互聯網電商等多渠道購物方式的出現,顧客角色和需求發生了轉變,世界正在被感知化、互聯化和智能化。大數據時代的到來,個人的行為不僅能夠被量化搜集、預測,而且顧客的個人觀點很可能改變商業世界和社會的運行。由此,一個個性化顧客主導商業需求的時代已然到來,大數據沖擊下,市場營銷引領的企業變革初見端倪。
(一)大數據時代消費者成為市場營銷的主宰者
傳統的市場營銷過程是通過市場調研,采集目前市場的信息幫助企業研發、生產、營銷和推廣。但是在大數據以及社會化媒體盛行的今天,這種營銷模式便黯然失色。今天的消費者已然成為了市場營銷的主宰者,他們會主動搜尋商品信息,貨比三家,嚴格篩選。他們由之前的注重使用價值到更加注重消費整個過程中的體驗價值和情境價值。甚至企業品牌形象的塑造也不再是企業單一宣傳,虛擬社區以及購物網站等的口碑開始影響消費者的購買行為。更有甚者,消費者通過在社交媒體等渠道表達個人的需求已經成為影響企業產品設計、研發、生產和銷售的重要因素。
(二)大數據時代企業精準營銷成為可能
在大數據時代下,技術的發展大大超過了企業的想象。搜集非結構化的信息已經成為一種可能,大數據不單單僅能了解細分市場的可能,更通過真正個性化洞察到每個顧客。通過數據的挖掘和深入分析,企業可以掌握有價值的信息幫助企業發現顧客思維模式、消費行為模式。尤其在今天顧客為了彰顯個性,有著獨特的消費傾向。相對于忠誠于某個品牌,顧客更忠誠與給自己的定位。如果企業的品牌不能較大化地實現客戶價值,那么即使是再惠顧也難以保障顧客的持續性。并且,企業不能奢望對顧客進行歸類,因為每個顧客的需求都有差別。正是如此,大數據分析才能更好地把握顧客的消費行為和偏好,為企業精準營銷出謀劃策。
(三)大數據時代企業營銷理念———“充分以顧客為中心創造價值”
傳統的營銷和戰略的觀點認為,大規模生產意味著標準化生產方式,無個性化可言。定制化生產意味著個性化生產,但是只是小規模定制。說到底,大規模生產與定制化無法結合。但是在今天,大數據分析的營銷和銷售解決的是大規模生產和顧客個性化需求之間的矛盾。使大企業擁有傳統小便利店的一對一顧客關系管理,以即時工具和個性化推薦使得大企業實現與顧客的實時溝通等。
三、基于數據營銷案例研究
———京東京東是較大的自營式電商企業。其中的京東商城,涵蓋服裝、化妝品、日用品、生鮮、電腦數碼等多個品類。在整個手機零售商行業里,京東無論是在銷售額還是銷售量都占到市場份額一半的規模。之所以占據這樣的優勢地位,得益于大數據的應用,即京東的JDPhone的計劃。JDPhone計劃是依據京東的大數據和綜合服務的能力,以用戶為中心整合產業鏈的品質資源并聯合廠商打造用戶期待的產品和服務體驗。京東在銷售的過程中,通過對大數據的分析,內部研究出一種稱為產品畫像的模型。這個模型通過綜合在京東網站購物消費者的信息,例如:年齡、性別、喜好等類別的信息,然后進行深入分析。根據分析結果結合不同的消費者便有諸如線上的程序化購買、精準的點擊等營銷手段,有效的幫助京東實現精準的營銷推送。不僅如此,通過對于后續用戶購物完成的售后數據分析,的分析商品的不足之處或者消費者的直接需求。數據3.0時代的一個特征便是企業不在單純的在企業內部分析數據,而是共享實現價值共創。所以,京東把這些數據用于與上游供應商進行定期的交流,間接促進生產廠商與消費者溝通,了解市場的需求,指導下一次產品的市場定位。總的來說,這個計劃是通過京東銷售和售后環節的大數據分析,一方面指導自身精準營銷,另一方面,影響供應商產品定位和企業規劃,最終為消費者提供滿足他們需求的個性化產品。
四、大數據營銷的策略分析
(一)數據分析要樹立以人為本的思維
“以人為本”體現在兩個方面,一方面是數據分析以客戶為本,切實分析客戶的需求,用數據分析指導下一次的產品設計、生產和市場營銷。另一方面,以人為本體現在對用戶數據的保密性和合理化應用。切實維護好大數據和互聯網背景下隱私保護的問題,使得信息技術良性發展。
(二)正確處理海量數據與核心數據的矛盾
大數據具有數據量大、類型繁多、價值密度低和速度快時效高的特點。所以在眾多海量的數據中,只有反映消費者行為和市場需求的信息才是企業所需要的。不必要的數據分析只會影響企業做出時代Time2017年第04期中旬刊(總第657期)正確的決策。鑒于此,首先企業需要明確核心數據的標準;其次企業要及時進行核心數據的歸檔;要有專業的數據分析專業隊數據進行分析,得出科學合理的結果以指導實踐。
(三)整合價值鏈以共享數據的方式實現價值創造
單純的企業內部數據已經無法滿足今天市場上顧客多樣性的需求,大數據的共享已經迫在眉睫。首先,可以通過擴展常規上下游渠道的數據。例如京東與上游供應商的合作。其次,與社會化媒體數據建立聯系。社會化媒體數據是外圍數據的一個重要來源。但是如果只是搜集并沒有把數據與企業本身營銷策略或者數據者建立聯系,那么數據就沒有發揮其應有的價值。,虛擬人脈交換獲取數據。比如建立企業自媒體收獲粉絲獲取數據等。
作者:孟楠楠 沈占波 陳楠 單位:河北大學
大數據分析畢業論文:大數據分析在內部審計的應用
摘要:隨著社會經濟的快速發展,國家對國有企業的監管力度逐年加強,依法治企要求也更嚴格,轉變審計方式迫在眉睫。以現代化智能技術為主的大數據分析方式開始應用于各行各業,傳統的數據搜集、存儲、計算方式已經逐漸被取代。內部審計作為企業工作管理與分析的重要組成部分之一,堅持大數據的運用也成了大勢所趨。與以往的審計模式不同,大數據推進了審計進程的速度,實現了審計內容、審計思維、審計目標以及技術分析的多方位優化,將驗證性分析變為了挖掘性分析,實現了單機審計向大數據智能化手段的演變,并把審計方式變為了風險預警審核,有助于在風險發生之前就做好預測與判斷。當然,由于技術的局限性以及固有理念的制約,大數據分析在實際審計應用中還不夠廣泛,缺乏既熟悉專業又熟悉系統開發的復合型人才,數據收集和專業分析的寬度和深度還存在一定局限,在新的內部審計模式與大數據的結合下,審計效率亟待加強。基于這樣的情況,本文就對大數據分析進行深入探討,實施跟蹤審計,深入挖掘數據分析提供的信息,并堅持多領域數據的融合應用,切實彰顯大數據分析在內部審計應用中的作用和優勢。
關鍵詞:大數據分析;內部審計應用
近年來,大數據應用更加廣泛,它改變了固有的數據分析方式,將企業經營以及與之相關聯的企業和客戶信息進行收集和分析,通過新的思維處理數據與技術的難題。據調查顯示,目前我國很多企業都將大數據作為新一輪經濟增長點,從2012年開始就實現了持續增長,成了企業市場經營的巨大資料庫,提高了企業的整體技術水平和競爭能力。具體而言,大數據分析是一種能夠從各類信息中快速提取有用數據的一種新技術,對內部審計工作來說具有的意義不言而喻。下面就從大數據分析給內部審計帶來的機遇和挑戰入手,從實際出發做好應用性審計,帶動審計工作發生質的飛躍。
一、大數據分析給內部審計工作帶來的機遇和挑戰
(一)審計目標信息化技術使用的初期,內部審計工作依賴計算機技術,可以通過對數據的觀察和分析找到審計中存在的問題,為具體工作的開展提供參考。大數據分析技術的應用則將審計工作帶到了新的高度,它不僅能夠發現問題,還可以對風險進行評估,對效益進行分析,及時發現審計工作中存在的問題,降低內部控制風險,為企業發展做出預測性思考。(二)審計內容數字是傳統內部審計工作參考的重點,包括營業收入、費用支出、稅收情況等等。大數據分析則突破了原來數字化的限制,基本內涵和審計的內容不斷向外延展,打破了傳統數據結構化的樣式不足,在不同的時間范圍內可以生成復雜多變的數據,其中包括文本、音頻、視頻、xml等,構建出了審計的立體化方法。(三)分析技術大數據分析與內部審計應用的結合,較大的改變就在于技術的更新,大數據分析可以實現大數字的整合,從五大技術方面進行了完善。即可視化分析、數據挖掘算法、預測性分析、語義引擎和數據質量與管理。這些新技術可以通過標準化的形式,建立數據新模型,提取隱藏起來的內部審計信息,利用圖表展示數據分析的全過程,并做出前瞻性的判斷,從而提高數據的分析性。
二、大數據分析內部審計的方式
首先,數據驗證性分析朝著數據挖掘性分析轉變。即由原來的多維分析驗證數據變為挖掘性技術的使用,將數據倉庫和模型構建起來,做好聚類分析,找到規律性內容,并提取關聯性數據。例如,在電力審計過程中,可以建立起專門的數據資料庫,找到電力使用的具體數據,分析用電情況。其次,審計方式由事后發現問題變為風險預警。企業經營難免會遇到各種風險,對市場形勢進行分析,將可能存在的危機控制在萌芽階段,是大數據分析有別于傳統分析模式較大的特點。另外,大數據分析可以早期關注經濟運行情況,發掘數據敏感性波動,并集合社保審計、債務數據、經濟宏觀運行數據,實現信息庫的交叉使用,提升數據分析水平和審計能力。,單機審計向云審計方法的轉變。云審計是基于云數據庫設立的數據平臺,它依靠的是中心統計分析,通過網絡與“云”的對接,對審計成果進行共享。與此同時,在大數據分析云計算實施的過程中,必須堅持技術的創新與發展,建立預算、財務、執政一體化策略,設立專門的數據平臺,提高信息化技術審核的質量,做好宏觀分析。
三、大數據分析在內部審計中的應用
大數據分析與內部審計的綜合應用是信息時代技術演變的新手段,在與內部審計結合使用的過程中必須堅持化使用,從制度流程、機構人員、審計業務以及技術上做好配合,推行新的審計方法。(一)創新大數據工作模式創新是進步的源泉,大數據分析的推行,與內部審計工作的結合,都必須堅持創新原則,對預算執行審計有一個的認識。傳統的孤立審計已不適應大數據審計的要求,需要打破部門之間的界限,以審計項目為管理主線,成立大審計組,進行扁平化管理。結合各預算部門的財務數據,發現是否存在預算項目在連年結轉的情況下仍然安排新增預算、造成資金閑置的問題。通過對數據進行宏觀整體分析,發現是否存在預算執行效率不高、分配下達預算不及時、撥付轉移支付資金超期等情況。(二)完善跟蹤審計方式通過建設審計數據綜合分析平臺,搭建關系國計民生的重點行業聯網審計系統,用Hadoop等專業工具處理半結構化、非結構化數據,規范高效地匯集和處理大規模數據信息。例如,在地稅審計中,可利用地稅聯網審計系統,集中進行全省地稅數據整理分析,探索“數據集中采集、集中統一分析、疑點分布落實、資源充分共享”的大數據審計模式,實現全省聯動審計。此外,還要對資金分配結構、資金使用流向、資金管理情況進行總體分析,反映預算執行整體情況,實現對預算單位的審計監督全覆蓋。(三)實現多數據融合,落實經濟責任審計運用關聯分析,找出數據間的相互聯系,分析關聯規則,發現異常聯系和異常數據,尋找審計疑點。在經濟責任審計中,可利用財政、稅務、社保、培訓等數據在橫向和縱向之間都做好關聯性研究,做好數據的跟蹤分析,實施和推行經濟責任審計模式,提高審計效率。另外,在深入挖掘數據過程中,還要利用數據倉庫和模型分析統計數據變動信息,分析關聯性內容,對體制機制性問題開展研究,挖掘行業性和趨勢性問題。
四、結束語
綜上所述,大數據技術的發展對審計工作提出了新的、更高的要求,也為審計提供了新的工具。傳統的大數據分析與內部審計工作的結合不夠緊密,技術應用不夠突出,且人才缺失。基于大數據分析的新情況,內部審計工作必須從數據、資源、人才方面逐步積累資源,創新大數據分析的思路和模式,研究技術發展的情況,并建立覆蓋公司業務流程的審計信息化管理系統,使公司各業務線在統一、透明、標準的審計監控下陽光運行,確保大數據在內部審計中的高效應用。
作者:向欣 趙嬋 單位:國網四川省電力公司廣元供電公司
大數據分析畢業論文:供電企業信息安全大數據分析方法
摘要:本文將針對供電企業中的信息安全大數據進行探討,并針對大數據的分析方法進行研究。
關鍵詞:供電企業;信息安全;大數據;分析方法;思路;探討
前言
智能化的電網正在地實施建設。隨著以大數據為中心的IT技術的不斷融入,當前我國的供電企業展開了大數據分析的研究,以便更好地使得大數據應用到整個配網的規劃當中。此外,還要根據電網的實際數據情況,把數據應用到智能變電站的建立、智能電網的調度及供電信息的采集等各個方面。進而有效地提高我國供電企業的管理水平及處理業務的能力。然而,信息化新技術在應用的過程中也具有一定的風險因素,所以需要建立大數據的安全分析結構,進而對數據進行相應的處理并把安全分析方法應用到整個供電企業的信息系統中去,進而更好地為供電企業的數據安全提供保障。
1供電企業的信息風險分析
大數據作為供電企業的管理工具是一把雙刃劍,給供電企業管理提供了便利,提高供電企業的管理水平和管理能力的同時,也給供電企業帶來了一定的挑戰和風險因素。使得企業數據處理、收集及傳輸的風險等級提高。若企業內部的數據出現問題,則會使得數據在進行傳輸的過程中被盜取和竊聽,這給企業的管理帶來了很大的風險。除此之外,企業在進行數據中進行一定的儲存和利用的過程中,也會由于大數據系統的內部維護不到位而帶了很大的風險。若企業的數據被長時間地竊聽,就會使得不法分子有機可乘,采用各種方法來對數據后臺進行攻擊和試探,并尋找系統的薄弱之處。實行致命的攻擊,并造成系統的癱瘓。所以,大數據給在方便企業的信息管理的同時,也帶來了一定的信息安全挑戰。
2供電企業信息安全大數據所面臨的數據安全的需要
傳統的電力信息系統逐漸地走向了信息化處理的進程,智能化的電網模式帶給了供電企業信息系統數據安全更大的要求。每次進行數據的訪問時,都需要確定數據的訪問權限,并核實訪問者的身份,并查看是否被授權。供電企業的數據信息需要被完整地保護,并保障其不被刪除或者惡意的篡改。一旦供電企業發生一定的突發事件,需要大數據平臺對數據進行自動的備份,并使數據得到安全的保護。④要采取一定的措施來保障供電企業的數據在運行過程中的安全性不被破壞。⑤要切實保障整個供電企業的信息系統的網絡安全,控制供電企業信息系統的基礎安全信息網絡和供電企業內部比較重要的業務系統的安全。
3供電企業的信息安全大數據分析思路
當前供電企業內容的安全信息系統逐漸地向著對抗型的信息安全系統方式轉變,并使得電力系統的大數據網絡可以積極地應對外界的攻擊。并對潛在的敵人進行分析和識別,并歸納總結當前的供電企業的信息安全大數據的風險類型,從而采取相應的對策,并先發制人,提高安全大數據系統的防御能力。這就是當前供電企業的信息安全大數據的分析思路。大數據的分析和挖掘技術需要不斷地融入到大數據的安全分析中去,下圖是大數據的安全結構分析思路。供電企業的信息安全大數據分析思路是基于技術的安全分析和理念,是至今為止比較完善的大數據安全分析辦法,是供電企業大數據的核心環節,是對相對分散的信息進行采集并實現存儲,并對其進行一定的分析,把其分析結果進行分發,把所有的安全分析體系結合在一起,并實現安全技術的互動。
4供電企業信息安全大數據安全分析結構的數據處理
供電企業的信息安全大數據的結構具體根據業務的不同分為不同的數據庫進行處理。關系數據庫是當前最豐富的數據庫,是進行供電企業信息安全處理的主要形式。而數據倉庫屬于一種多維的數據結構,可以允許用戶進行匯總級別的計算,并對數據進行觀察。事務數據庫中記錄了每一個事務,并同時附帶了一些相互關聯的附加表。文本數據庫是對圖象進行描述的數據庫,文本數據庫與圖書館數據庫類似。而多媒體數據庫則是對圖像以及音頻和視頻的存儲,并用于存放內容的檢索。供電企業的信息安全大數據的存儲往往需要先確定好處理的目標,并對數據進行量化的處理,對數據進行一定的評估,進行結果的展示。將大量的數據進行集中化的處理可以切實地反映出安全數據的指標,并根據指標對安全數據進行相應的評估。
5供電企業信息安全大數據安全分析方法
當前,進行供電企業信息安全大數據安全分析的方法有很多,隨著大數據的技術體系逐漸成熟,目前對安全數據的分析算法也變得多樣化,很多分析方法比如分類技術方法、序列分析方法等等對大量的數據的分析具有很好的效果。而對于不同的數據庫可以采用不同的分析算法進行分析。比如,當利用關系數據庫和事務數據庫時,就可以利用序列分析的辦法進行數據的挖掘和統計;而數據倉庫除了需要進行聯機處理以外,還需要進行數據的挖掘;文本數據庫則是利用模式匹配以及關聯分析等方法相互結合來進行數據的挖掘分析。
6結論
針對供電企業的信息安全的大數據分析有很多的途徑,在進行供電企業信息安全的大數據分析時,需要對供電企業的安全數據信息進行預測,并利用多種分析辦法綜合處理。隨著當前大數據網絡技術的不斷發展,根據大數據的分析特點進行安全分析的辦法也在不斷地完善。基于信息安全的大數據分析方法和思路具有很大的發展前景,安全大數據技術的不斷革新,使得供電企業的防護網絡更加地發達,并逐漸實現了供電企業的大數據信息安全的評估系統的完善,使得供電企業的信息安全大數據發展更為迅速。
作者:李迪 冷金敏 馮濤 單位:國網山東省電力公司聊城供電公司
大數據分析畢業論文:農業信息化與大數據分析
摘要:大數據作為“互聯網+”行動計劃的主要內容,其重要性得到了廣泛重視。農業是大數據的重要應用領域,大數據技術為農業信息監測預警工作帶來了新的發展機遇。介紹了我國傳統農業發展面臨的問題,闡述了互聯網+農業對于農業轉方式、調結構的重要作用,詳細分析了發展互聯網+農業物聯網、互聯網+農業電子商務、互聯網+農業信息服務、互聯網+農業大數據的重要意義和具體措施,為提高農業綜合生產能力,降低農業資源消耗,構建基于互聯網和大數據技術的現代農業提供參考。
關鍵詞:農業;信息化;大數據;互聯網+
1引言
當今世界已經進入了互聯網時代,互聯網為塑造經濟與社會新形態、創新國家與社會治理理念和改變國家之間競爭格局帶來了深刻變革。互聯網日益成為創新驅動發展的先導力量,深刻改變著人們的生產生活,有力推動著社會發展。
2我國政府高度重視互聯網發展
2015年3月5日,總理在十二屆全國人大三次會議的《政府工作報告》中首次提出了“互聯網+”行動計劃,“互聯網+”能充分發揮互聯網在生產要素配置中的優化和集成作用,將互聯網的創新成果深度融合于經濟社會各領域之中,提升實體經濟的創新力和生產力,形成更廣泛的以互聯網為基礎設施和實現工具的經濟發展新形態。作為“互聯網+”行動計劃的主要內容,大數據的重要性也得到了廣泛重視。早在2014年3月5日,總理在十二屆全國人大二次會議上所做的《政府工作報告》中指出,設立新興產業創業創新平臺,在新一代移動通信、集成電路、大數據、先進制造、新能源、新材料等方面趕超先進,引領未來產業發展。2014年7月25日,總理在山東考察浪潮集團時強調:“不管是推進政府的簡政放權、放管結合,還是推進新型工業化、城鎮化、農業現代化,都要依靠大數據、云計算。所以,它應該是大勢所趨,是一個潮流。”2014年7月以來,國務院常務會議6次提到“大數據”,所涉及領域包括企業信息監管、小微企業信息系統建設、健康醫療與企業監管、服務貿易、在線審批監管以及疫病防治、災害預防、社會保障、電子政務等方面。
3“互聯網+農業”是農業轉方式、調結構的重要驅動力
當前,我國農業發展既面臨著價格“天花板”與成本“地板”的雙重擠壓,又面臨著資源環境“紅燈”和補貼政策“黃箱”的雙重約束。“互聯網+”作為信息技術發展新形態、新業態,能夠加快傳統農業的轉型升級,破解“雙重擠壓”和“雙重約束”,提升農業生產、經營、管理、服務的信息化水平,加速新常態下農業“調結構、轉方式”的進程。“互聯網+”現代農業通過將基于互聯網的基礎設施、智能裝備、數據服務引入農業生產經營與管理服務,推動農業要素投入向技術密集型、數據密集型轉變,提高農業綜合生產能力,降低農業資源消耗與污染排放,推動農業從單純的農產品供給向一二三產業融合持續發展轉變。依托互聯網平臺,使高度分散的各類農業經營主體實現互聯互通,通過大數據、云計算、物聯網等構建虛擬家庭農場、虛擬農業企業、虛擬農民合作社、虛擬農業產業集群等虛擬組織,推動線下各類農業經營主體跨地域、跨產業整合優勢資源,構建資源共享、協同分工的現代農業產業鏈。
4“互聯網+現代農業”的四大重點領域
4.1互聯網+農業物聯網,實現農業智能化
農業物聯網不僅能夠實現農業生產的機械化、自動化,還能實現農業生產的精準控制和智能管理。關鍵是加強對農業生產環境及動植物本體感知數據的采集、匯聚及挖掘,加快推廣節水、節藥、節肥、節勞動力等節本增效信息化應用技術,構建以物聯網為代表的現代信息技術農業產業應用體系,開展基于大數據技術的智能分析,指導農業精準生產,實現合理使用農業資源、提高農業投入品利用率、降低生產成本、改善生態環境、提高農產品產量和品質的目的。(1)推廣節本增效的物聯網技術目前,農業部在國家發展和改革委員會、財政部等部門支持下,組織黑龍江、江蘇、內蒙古、新疆、北京開展了國家農業物聯網應用示范工程,同時農業部在天津、上海、安徽開展了農業物聯網區域試驗工程。在已有的設施農業與水產養殖、大田生產物聯網區域試驗示范的基礎上,推廣物聯網設備廣泛應用于種植、畜牧、水產及質量安全追溯等生產流通全領域。在種植領域,大幅提升生產設備裝備的數字化、智能化水平,加快推廣節本增效信息化應用技術,提高農業投入品利用率,改善生態環境,提高產出品產量和品質;在畜牧養殖領域,建設“物聯牧場”工程,實現畜禽養殖的身份智能識別、體征智能監測、環境智能監控、飼喂護理智能決策;在水產養殖領域,將物聯網設備用于養殖水質實時監控、工廠化養殖監測、水產品安全追溯、養殖專家在線指導等,實現養殖全產業鏈的監控和重點養殖區養殖生產的智能化管理,有效提高水產養殖生產效率,促進水產養殖業轉型升級;在農產品質量安全追溯方面,將移動互聯網、云計算、二維碼、射頻識別技術等現代信息技術與傳統農產品質量安全追溯管理方式結合,促進農產品質量安全主體備案、索證索票、產品監測、執法監管和舉報受理等工作信息化管理,構建農產品從生產到進入市場或加工企業前質量安全追溯鏈條。(2)搭建全國統一的物聯網平臺在農業物聯網公共服務平臺建設方面,先后接入了北京農業科學院設施云公共服務平臺、中國農業大學水產物聯網平臺、天津奶牛養殖物聯網應用平臺、黑龍江農墾精準農業物聯網應用平臺、江蘇水產養殖物聯網應用平臺、安徽小麥“四情”物聯網監測平臺、山東設施蔬菜物聯網應用平臺等國內經驗豐富的農業物聯網應用服務系統。推動國家農業物聯網技術應用服務平臺完善和標準化,為農業物聯網技術應用、集成創新、仿真測試、主體服務提供良好的硬件設施和軟件環境。(3)推進農業物聯網數據中心建設認真總結現有試驗示范工程成功做法和經驗,吸引更多的科研教學單位和相關企業廣泛參與農業物聯網工作,力求在農業物聯網研發和應用方面取得突破,加快推出一批先進的技術、產品和市場化解決方案,并因地制宜地推廣應用到農業各領域、各行業、各環節之中。同時,加強農業物聯網理論、政策、制度、機制創新,加快標準體系建設,深入構建完善的農業物聯網產業標準體系及多級農業物聯網數據中心,夯實農業物聯網發展基礎。組織物聯網技術應用單位、科研院所、高等院校和相關企業,依托國家標準委已立項的13項國家農業物聯網標準,研究制定物聯網農業行業應用標準框架體系。構建全國統一的數據中心和區域性數據中心,分別發揮數據資源匯聚整合、大數據分析應用和高水平公共服務以及為全國農業產業物聯網應用提供共性的專業數據及軟硬件服務的功能,兩級數據中心互聯互通、資源共享、協同服務,為市場主體生產經營活動、科研創新和政府決策提供服務。
4.2互聯網+農業電子商務,實現農業經營網絡化
隨著互聯網經濟向農業農村領域滲透,農業電子商務已經成為一個新的電商熱點。2014年,我國各類涉農電商企業已經達到3.1萬家,農產品在線銷售額突破1000億元,繼續保持翻番增長的速度。農業電子商務作為一種新興業態和新的商業模式,將對農業生產經營方式產生深刻影響,推動農業生產從以產品為中心轉為以市場為導向、以消費者為中心,是經濟發展新常態下,加快轉變農業發展方式的重要手段,是農業現代化和城鄉一體化發展的新驅動力量。(1)推動利用電子商務改造農業經營模式推進農業電子商務,有利于促進農產品產銷對接,降低損耗,逐步建立最少環節、最短距離、低費用、最快速度、最透明信息的新型農產品流通方式,可以有效應對農產品提價“天花板”、農業生產成本上漲“地板”的限制,可以有效解決“賣難買貴”問題。推進農業電子商務,有利于充分利用信息化平臺,聚合農業生產和產品資源,在虛擬條件下實現規模經營,有效對接消費需求,實現農戶“以銷售定產”、農業“以消費定產”,改造傳統農業生產管理方式,創新農業經營體系。推進農業電子商務,有利于提高農業可持續發展能力、農業競爭力,“倒逼”農業生產標準化,發展綠色農業、生態農業,推動農業品牌建設、農產品質量安全監管等工作。推進農業電子商務,有利于加速互聯網經濟與農業農村融合,推動產業鏈、價值鏈等現代產業發展理念和組織方式進入農業,轉變農業發展方式和農業要素利用方式,讓農民從產業鏈增值中獲得利益,把更多收益留在農村、留給農民。(2)推動農業電子商務快速健康發展近年來,農業部把發展農業電子商務作為農業信息化的重點工作。通過加強調查研究,梳理了農業電子商務發展面臨的形勢和挑戰,研究提出了推動發展的基本思路和重點任務。積極參與《國務院關于大力發展電子商務加快培育經濟新動力的意見》的起草出臺。舉辦多次高規格的農業電子商務論壇。多次與阿里巴巴、京東等企業,就平臺建設、鄉村網點布局、物流、支付、培訓等方面進行探討交流,達成了合作意向,初步明確了合作內容,并取得了一定的合作成效。下一步將緊緊圍繞轉變農業發展方式、加快建設現代農業的重點任務,以推動農業電子商務快速健康發展為目標,按照“市場主體、政府引導、創新驅動、分類指導”的原則,重點抓主體培訓,提高農業生產經營主體的電子商務意識和技能;抓平臺對接,組織多種形式的電商平臺與農業企業進行深度對接;抓信息監測,建立農業部門與電商平臺交易信息共享、信用信息共建、監管信息互換合作機制,推進農業電子商務信息監測統計制度建設;抓試點示范,與電商企業合作開展鮮活農產品和農業生產資料電子商務試點,探索扶持發展商業模式;抓環境建設,推動建立適應電子商務發展的產品目錄、生產信息、分等分級標準體系等。
4.3互聯網+農業信息服務,實現信息進村入戶
自2006年開始,農業部開通了12316農業公益服務熱線,組織各級農業部門利用語音電話、手機短/彩信、廣播電視、互聯網等現代信息傳播手段開展多種形式的信息服務,這種服務的革新改變了農民傳統的生產觀念和方式,拉近了農戶與專家、政府和企業之間的距離,開辟了簡單、方便、互動的指導渠道。經過多年發展,12316熱線成為了農民與專家的直通線、農民與市場的中繼線、農民與黨和政府的連心線。(1)加快推進信息進村入戶試點2014年開始,農業部在系統總結多年來12316農業信息服務做法經驗的基礎上,在北京等10個省(市)22個縣(市、區)開展了信息進村入戶試點工作。信息進村入戶試點工作以行政村信息站服務能力建設為著力點,以滿足農民生產生活信息需求為出發點和落腳點,以構建面向“三農”的信息高速路為紐帶,統籌“農業公益服務和農村社會化服務”兩類資源,著力構建“政府、服務商、運營商”三位一體可持續推進機制,使普通農戶不出村、新型主體不出戶就可享受便捷、經濟、高效的生產生活信息服務。一年來,試點工作取得了重要階段性成果。目前,已建成運營近5400多個益農信息社,覆蓋22個試點縣行政村的80%以上,公益服務、便民服務、電子商務和培訓體驗服務已進到村、落到戶,探索出了一些較為成功的市場化商業運行模式。(2)充分發揮互聯網優化和集成作用信息進村入戶充分發揮了互聯網在生產要素配置中的優化和集成作用,對于促進農業發展方式轉變、提供經濟發展新動力、創新農業行政管理方式、縮小城鄉數字鴻溝,具有重要的現實和戰略意義。首先,信息進村入戶是促進農業發展方式轉變的重要途徑。信息進村入戶引導生產與消費需求雙向對接,可以發揮物聯網節本增效作用,發揮電子商務降低流通成本、創新流通方式的作用,發揮科技及時生產力的作用,為農業插上科技的翅膀,推動現代農業發展。其次,信息進村入戶是提供經濟發展新動力的重要平臺。2014年已有10多家企業參與信息進村入戶試點工作,2015年又有20多家企業聯合保障積極參與試點工作。信息進村入戶能夠為很多企業開拓農村這片“藍海”提供機遇,能夠為大眾創業、萬眾創新提供良好的條件和環境,切實發揮消費對促進經濟增長的基礎性作用。再次,信息進村入戶是創新農業行政管理方式的重要抓手。信息進村入戶能夠聚合各類資源,在為農民提供公益服務的同時,以商業服務支撐公益服務的落地,通過“羊毛出在牛身上”的利益置換機制實現公益服務的可持續。同時,隨著信息進村入戶的深入推進,將把全國60萬個行政村連成一張大網,將來就可以實現農情直報,形成農業大數據,提高政府的決策能力和水平,向農戶和新型農業經營主體精準推送所需信息。,信息進村入戶是縮小城鄉數字鴻溝的迫切需要。信息進村入戶必將推動互聯網與農業、農村、農民相融合,能夠擴大農村信息消費,拉動農民手機用戶快速增長,還能夠形成工業品、農業生產資料下鄉與農產品進城雙向互動的流通格局,把世界帶到村里,把村子推向世界,讓農民與城里人一樣享受信息化發展成果,有效縮小城鄉數字鴻溝,促進城鄉發展一體化。下一步,信息進村入戶試點工作將繼續擴大覆蓋范圍,力爭2016年覆蓋所有省份,2020年基本覆蓋到所有縣和行政村。農業部和試點省份、試點縣將緊緊圍繞加快轉變農業發展方式和現代農業建設的中心任務,堅持以改革創新為動力,加快推進步伐,集聚服務資源,完善運行機制,著力提升能力,推動信息進村入戶試點工作有力、有序、有效地開展,把益農信息社建設成為大眾創業、萬眾創新的重要平臺,把信息進村入戶打造成“互聯網+”行動計劃在農村落地的示范工程。
4.4互聯網+農業大數據,實現預測預警
近年來,大數據熱潮席卷全球,引發各領域各行業生產模式、商業模式、管理模式的變革和創新,對經濟社會發展及人們生活方式產生了深刻影響。大數據能夠有效地集成國家政治、經濟、文化、社會、生態等領域方方面面的信息資源,為國家治理提供重要數據基礎和決策支撐,大數據的廣泛應用將會為“數據治國”產生深遠影響。2015年8月,國務院印發了《促進大數據發展行動綱要》,對發展大數據作出部署,其中對發展農業農村大數據作出專門安排。農業是大數據的重要應用領域,大數據技術為農業信息監測預警工作帶來了新的發展機遇,將極大地改變和創新農業信息監測預警工作模式。構建基于大數據的新型農業信息監測預警體系,既是農業部門提升管理效率、轉變政府職能和完善公共服務的重要途徑,也是保障農業產業安全、國家糧食安全和增加農民收入的有效手段。(1)加快大數據技術與農業產業融合對于政府決策和行業發展而言,大數據的核心價值不是對過去客觀事實的統計,而是基于對大量事實統計的基礎上,利用分析工具實現對當前形勢的科學判斷和對未來形勢的科學預判,為科學決策提供支撐。主席指出“農業結構往哪個方向調?需求是導航燈”。只有理順貫通整個產業鏈的“數據流”,讓需求端的數據流向生產經營決策端,才能實現科學的生產經營決策。從實際工作的角度看,大數據目前較大的價值是和產業的融合。2015年5月26日,馬凱副總理在貴陽國際大數據產業博覽會上也指出,融合是大數據的價值所在,應大力推動大數據與產業融合,促進產業提質增效升級。大力推動大數據與公共服務融合,充分挖掘大數據的社會價值,推進政府治理和公共服務能力和水平。比如,農業大數據研究可從糧食產量預測、生豬供求變化等問題入手,整合數據資源,摸清分析方法,形成較為實用的大數據系統。(2)加快形成全產業鏈數據系統主要思路是以產業鏈為線索,通過梳理產業環節,摸清現有數據情況查缺補漏,對已有的數據集打通數據壁壘,優化現有數據存量,對于政府決策和企業經營決策需要但是缺乏的數據,逐步建立統計調查制度,結合企業業務和互聯網生成的外部數據,完善數據鏈條,然后將整個數據鏈條放在同一維度去挖掘分析。以生豬為例,談談具體做法。一是摸清當前各環節數據采集情況。調研了解生豬產業鏈中畜牧、獸醫、檢疫、屠宰、批發市場等各產業環節中各部門已經統計和采集的數據集。二是開展數據共建共享工作。打通已有數據的“信息孤島”,把各環節已有的數據按照一定的標準組織起來,逐步建立覆蓋生豬全產業鏈的農業信息體系和共建共享機制。三是補齊當前缺乏的數據集。根據“生產、消費、庫存、進出口、價格、收益”六大核心數據框架和構建需求導向的農產品調控機制的需要,考察現有數據集,對于目前缺乏的數據,探索建立消費調查制度和方法,結合企業業務和互聯網生成的外部數據,完善數據鏈條。四是開展大數據挖掘分析工作。大數據的目的不是數據,而是通過數據產生有價值的信息。在生豬全產業鏈數據形成和完善后,通過對各環節數據比對、深入挖掘分析,找出當前生豬產業發展的核心問題,研究發現供求變化的先導性指標,逐步構建更為科學的“數據驅動”型生豬調控政策。總而言之,品種和產業鏈是構建農業大數據體系的一個重要抓手,也是集聚數據的一個線索,通過這個線索先把一個個散落的同品種各產業環節數據集串在一起。首先實現品種內的大數據系統。在此基礎上,逐漸擴大品種,形成18個品種全產業鏈數據,并逐步構建覆蓋全球、農業全行業和全產業鏈的農業信息資源和監測預警體系,這是未來努力的方向。
作者:王小兵 單位:中國農業部市場與經濟信息司
大數據分析畢業論文:數學專業教師數學模型大數據分析
一、東北地區數學專業教師大數據來源及準備
通過查閱資料與調查,收集到東北三省各高校數學教師相關大數據,包括教師教齡(誗年)、收入(誗元)、稅收(誗元)和職業病情況等方面的實際數據。由于得到的數據信息量大,輕重各異,所以首先需要進行數據預處理,即清除異常數據、錯誤糾正、格式標準化等,再通過數據挖掘技術,利用一系列相關算法和數據處理技術從大量的數據中提取人們所需要的重要信息,也就是上面所提到的實現信息的“增值”,同時大大提高數據處理效率,下面具體介紹本項目所采用的模型和計算方法。
二、東北地區數學專業教師大數據分析與結果
收集并處理好教師教齡、收入、稅收和職業病情況等方面的數據后,本文主要針對三個方面進行了詳細的分析:1.教師收入隨年份的變化(1)數據范圍:1994年-2014年東三省各高校數學教師收入(單位:元);(2)計算條件:matlab軟件,最小二乘回歸分析,高性能計算工作站;(3)求解過程:年份作為自變量x,收入為因變量y,從總體上看,二者統計關系大致符合一元線性的正態誤差模型[3],即對給定xi的有最小二乘一元線性回歸公式yi=b0+b1xi+εi,其中εi是由變量可能的內在隨機性、未知影響因素等隨機擾動造成的誤差。總之,它可看成是眾多細小影響因素的綜合代表。,由Matlab提供polyfit函數實現回歸函數擬合[4];(4)結果分析:計算結果表明,隨著年份的增加,教師收入也在不斷增加。估計的因變量的系數b1約為191,也就是說,每過一年,教師收入大致可增加近191元。2.教師職業病情況與教齡的關系(1)數據范圍:1994年—2014年東三省各高校數學教師教齡(單位:年)、職業病情況;(2)結果分析:首先利用matlab軟件,以橫軸為某年東三省數學教師教齡,縱軸反映相應教齡的平均職業病情況(為方便,規定越接近縱軸正方向,職業病越嚴重)利用matlab軟件繪制圖形[5],發現教師教齡越長,職業病也愈加嚴重。每一年的教師職業病情況均可繪制一張圖表,通過將這11張圖表的較高值(即每一年職業病的較高值)做比較,發現其趨勢是先逐年下降,趨于穩定。3.對教師專業發展階段的研究(1)數據范圍:2014年東三省各高校數學教師收入、教齡、稅收和職業病大數據;(2)計算條件:IBM處理器、大數據挖掘分類算法;(3)求解過程:用神經網絡研究方法(即模擬生物上神經元工作的方法)。圖中每個橢圓形節點接受輸入數據,將數據處理后輸出,輸入層節點接受教師信息的輸入,然后將數據傳遞給隱藏層,隱藏層將數據傳給輸出層,輸出層輸出教師專業發展處于哪一專業成熟階段;(4)結果分析:若將教師專業成熟過程分為三個階段:形成期、發展期和成熟期。那么利用IBM處理器和以上算法,在所調查的教師中,約70%處于發展時期,是其基本適應教育教學工作的時期;約20%處于形成期,是形成良好心理素質和正確教育思想的關鍵時期;約10%處于成熟期,是掌握教學主動權,成為學校教學骨干的時期;(5)研究意義:研究東三省高校數學教師專業發展成熟階段,可以基本掌握教師資源結構,從而能夠遵循不同發展階段的不同特征、觀念、心理、發展需求,制定相應教研活動、政策和制度,促進教師持續發展[6]。
三、結果討論
1.數據呈現以上結果的原因(1)隨著國家科教興國戰略的深入實施,教師的工資和待遇將被逐步納入國家工作人員統一管理,教師的收入將得到很大的提高。另一方面,數學能力的培養是學習各專業、走入各行業的基礎,國家將加大數學知識的教育力度,進而數學專業教師所付出的辛苦也更加不可小覷,綜合以上幾個重要原因,教師收入隨年份增加而增加也是符合經濟理論的。(2)教齡越長,職業病也越嚴重的依存關系,我們容易理解。但隨著時間的推移,職業病的嚴重性呈現下降趨勢正是反映了我國科技的革新:環境的改變、教學設備和教學技術的更新使得教師的課堂教學更加高效和輕松便捷,如多媒體、電子白板使得課堂不再“塵土飛揚”。(3)在對教師專業發展階段的研究中,處于專業發展時期的教師所占比例較高,達到近70%。實際上,他們多數處于青壯年的人生階段,是社會的中堅力量,又曾在高等教育多樣化與綜合化的背景下受到過良好的教育,并具有較豐富的教學經驗和緊跟新時代的創新思想,自然在專業發展的角度也占有較大比例。2.合理的相關預測大數據最有價值的特點就是其“預見性”。上述數值結果表明,在經濟平穩發展和社會穩定的前提下,東三省數學專業教師的收入在未來的幾十年依舊處于增長趨勢,教師職業病總體減輕,專業發展越來越成熟,使得教師隊伍整體素質越來越高,而未來教師的考核獎勵制度也會變得更加嚴格和。3.建議(1)無論是對教師行業還是其他行業感興趣,都要關注其變化,分析其形勢及趨勢,以便對此行業的認知更加科學合理。(2)本文采用的大數據處理所用模型和方法,可以進一步推廣到其它相關領域,使之成為研究大數據的更通用的工具。本文利用matlab軟件、最小二乘法模型及IBM處理器分析了東北地區數學專業教師大數據,得出的結果對于掌握該地區數學教師基本情況并預測其發展趨勢有著重要的作用,還為熱心同類問題的研究者提供高效的方法和技術。當我們不能有效處理所獲取的大數據,它們就是一些平凡的數字和符號。如果我們能夠很好地駕馭大數據,它們必定會為我們帶來諸多的方便。最小二乘法模型在處理大數據時有一定的優勢[7],統計分析,神經網絡算法和遺傳算法都是處理大數據的有效方法,如果能將這些方法有機的結合起來,將更能獲得許多滿意的數值分析結果。當大數據超過計算條件的時空允許時,不僅耗時費力,甚至使得計算成為不可能,通常需要采用并行算法等高效計算手段。在高性能計算方面,我們并沒有用到并行算法,如果能利用并行算法,所處理的數值結果容量會更大更有參考價值。
作者:張哲 單位:沈陽師范大學
大數據分析畢業論文:大數據分析下電子商務發展策略研究
[摘要] 伴隨信息技術與網絡技術的迅猛發展,大數據在諸多行業領域得到廣泛應用與推廣,同時對電子商務發展也產生了極為深遠的影響。從大數據下的電子商務入手,憑借大數據分析、預測功能,為電子商務發展創造了良好契機。而電商企業同樣面臨著掌握大數據、駕馭大數據、數據安全防護等方面的挑戰。電商企業應結合電子商務發展實際情況,利用大數據,通過打造電子商務數據信息平臺、推動電子商務精準營銷、推進商業模式創新、開展數據處理工作、確保數據隱私安全等對策,積極促進大數據時代下電子商務有序健康發展。
[關鍵詞] 大數據分析;電子商務發展;策略研究
一、引言
大數據時代的來臨,憑借大數據分析、預測功能,為電子商務發展創造了良好契機。依托大數據分析,商品推薦產生了個性化、精準化的商業模式,電商企業運營方式不斷推陳出新[1]。然而,大數據時代電商企業同樣面臨著掌握大數據、駕馭大數據、數據安全防護等方面的挑戰。由此可見,對基于大數據分析的電子商務發展策略開展研究,有著十分重要的現實意義。
二、大數據下的電子商務
全球科學期刊《自然》于 2008 年推出將大數據作為封面的專刊,著重關注數據給各個行業領域帶來的影響。2012 年,聯合國大數據政務白皮書《大數據下的機遇與挑戰》,提出了大數據時代已到來,大數據對于各國而言既帶來了機遇也帶來了挑戰。2014 年,我國政府工作報告中首次提到了大數據一詞,并將大數據界定為一種基礎性戰略資源,可為預防、調查、決策等事務提供有力依據。在大數據時代下,依托的大數據采集、分析,可進一步推動電子商務價值創造朝精準化方向發展。不管是電商平臺、移動終端還是相關第三方服務平臺,只要期間電商企業與消費者產生了交集,便會形成一系列電子商務數據,而這些龐大的信息數據是傳統處理分析手段所難以有效處理利用的[2]。同時,電子商務數據還具備高度多樣化的特征,其中不僅包含了消費者的個人信息,還包括了消費者的評論、反饋意見等等,數不勝數。以電商企業網絡為例,消費者消費行為意向收入大數據,當電商企業對采集的大數據開展分析,并獲取消費者消費行為意見相關影響因素時,電商企業便可進一步為消費者提供有針對性的服務,使消費者選擇電商企業的產品。大數據時代,過去被認為是無過多價值的信息數據極可能經由大數據分析,為電商企業提供尤為、及時的消費者信息,進一步為電商企業營銷活動開展提供有力支撐。
三、大數據為電子商務發展帶來的機遇和挑戰
(一)大數據為電子商務發展帶來的機遇
1.大數據使商品推薦趨向于個性化、精準化,進一步推進商業模式創新。通過對龐大的消費者行為數據開展分析,研究個性化、精準化地開展廣告推送、推廣服務,建立相較于當前廣告、產品推廣形式性價比更突出的新型商業模式,向消費者推薦他們切實需求的產品,進一步有效提升電商企業銷售量。
2.大數據為電商企業整合品質產品信息。以淘寶、天貓電子商務平臺為例,基于對平臺數據信息的整合,結合商品購買情況及瀏覽數據篩選出時下熱門或品質的產品,形成有力的電商企業與消費者的產業鏈信息,形成強有力的數據處理能力,為消費者產品檢索提供有效便利。
3.大數據為電商企業提供細化服務。電商企業通過對大數據開展采集、分析,推進供應鏈上下游有效協調,以達成信息資源的優化共享,進一步促進電商企業在市場管理、產品營銷、技術研發等環節的轉型升級,打造全新的覆蓋面廣的營銷平臺,以吸引更多的消費者,增強企業市場競爭力。
(二)大數據為電子商務發展帶來的挑戰
1.電商企業面臨掌握大數據的挑戰。大數據時代下,電商企業要想實現進一步發展,離不開大數據的有力支持。對于電商企業來說,很大程度上誰先掌握了大數據便意味著誰先擁有了核心競爭力的有力武器,便意味著誰先擁有了致勝的法寶。
2.電商企業面臨駕馭大數據的挑戰。電商企業要對各式各樣大數據開展分析,不可僅憑直接開展經營決策制定,應盡可能對所有與消費者關聯的業務數據開展分析,以達成對消費群體的有效維護,并吸引他們買入更多產品,如此以來,很大程度為電商企業開展全新信息化投資、建設帶來了挑戰。
3.電商企業面臨數據安全防護的挑戰。各式各樣數據的匯集,包含電商企業的運營數據,消費者個人信息等等,這些數據均被電商企業收集于企業數據庫中,由此對電子商務如何開展好對該部分數據的安全防護工作帶來了挑戰。
四、大數據時代下電子商務發展策略
(一)利用大數據,打造電子商務數據信息平臺
在市場經濟逐步深入背景下,電商企業要想在日趨白熱化的市場競爭中脫穎而出,利用好大數據至關重要。近年來,各式各樣應用軟件推陳出新,很大程度上推進了移動電子商務的發展,大數據庫中收錄了更多更精準的用戶信息、用戶定位。電商企業通過對大數據的科學合理利用,打造電子商務數據信息平臺,旨在增強電商企業對大數據時代的適應性。鑒于此,電商企業應當強化對云計算技術的引入,并于短時間內對海量數據信息開展實時動態篩選、分析、處理,從而將數據信息切實轉化成企業自身有效資產。與此同時,電商企業應強化對數據的分析、整合,達成對大數據的有效利用,通過對消費者消費行為習慣偏好的有效掌握,進一步為電商企業制定運營策略、確立目標消費群體、提升市場占有率、改善經濟收益等提供有力支撐[3]。
(二)利用大數據,推動電子商務精準營銷
精準營銷指的是電商企業對消費者個性化需求予以滿足,借助網站推薦系統自動向消費者推薦商品,同時開展個性化商品篩選的過程。基于精準營銷支撐,可為消費者提供更便捷、更人性化的消費體驗。現階段,大部分電商企業還尚未構建有企業自身個性化的推薦系統,抑或企業采用的推薦系統尚不十分成熟,更未與大數據開展有效結合。如此一來,最終使推薦效率、推薦精準度均不盡如人意。以電商企業網絡廣告為例,大數據時代,網絡廣告在網絡營銷中可起到至關重要的作用。現如今,電商企業面對的消費者數據不斷增多,電商企業應當基于現有營銷數據平臺,建立更為科學完備的個性化推薦系統,推進實時動態對廣告受眾開展分析,依托大數據分析,充分結合消費者個性興趣偏好制作廣告開展精準營銷,為消費者提供更高質量的服務,與消費者構建和諧融洽的關系,增強消費者忠誠度。于此方面,阿里巴巴、淘寶、天貓中的“找相似”、“找同款”、“看了又看”等廣告營銷便為廣大電商企業提供了很好的示范。
(三)利用大數據,推進商業模式創新
伴隨互聯網在商業領域的廣泛推廣及大數據時代的到來,商業模式不斷推陳出新,較具代表性的商業模式有O2O、O2P 等。其中,O2O(Online To Offline),指的是將線下機會與線上電子商務進行結合,使線上電子商務轉變成線下交易平臺的一種商業模式。O2P(Online To Partners)指的是借助移動互聯網技術手段,達到具備本地化、社交化特征的線上線下互動電商平臺,以實現渠道朝社區化、鄉鎮網點全覆蓋,不同品牌類型的同時運作。通過建立多方參與多方共贏的格局,構筑具備核心競爭力的互聯網生態圈,轉變成相關標準定義者與游戲規則制定者。不管是哪一種新型商業模式,均應當緊緊圍繞消費者,并對一系列端口數據開展優化整合,實現數據信息的實時推送。
(四)開展好數據處理工作,確保數據隱私的安全
近年來個人隱私遭受竊取、重要信息被不法篡改等現象屢見不鮮。倘若數據信息難以得到切實安全防護,大數據便會轉變成廣大消費者的惡夢,對消費者日常生活造成極大的負面影響。鑒于此,電商企業應當提高對數據安全防護的重視度,依托大數據技術對數據安全狀況開展實時監控,結合各種風險實際情況有針對性的采取科學的安全防護及精準化的預防措施,一方面要防范數據信息泄漏給電商企業帶來的法律上不利影響,另一方面要防止過度開發或者越界營銷可能引發的侵犯消費者隱私的一系列糾紛。此外,電商企業還應當強化對大數據中涉及的消費者個人隱私的安全防護,防止出現信息泄漏、信息倒賣等情況;,要及時了解國家關于個人信息保護的法律、政策規定,迅速開展經營策略優化調整[4]。
五、結束語
大數據分析并非偶然形成的,而是當今世界信息技術與網絡技術迅猛發展的產物,對不同行業領域可起到至關重要的影響,電子商務亦不例外。鑒于此,相關人員務必要不斷鉆研研究、總結經驗,清楚認識大數據以及電子商務的特征內涵,分析大數據為電子商務發展帶來的機遇和挑戰,結合電子商務發展實際情況,“利用大數據,打造電子商務數據信息平臺”、“利用大數據,推動電子商務精準營銷”、“利用大數據,推進商業模式創新”、“開展好數據處理工作,確保數據隱私的安全”等,積極促進大數據時代下電子商務有序健康發展。
作者:萬胤岳 單位:無錫科技職業學院
大數據分析畢業論文:大數據分析在外匯管理的運用
摘要:當前,大數據正日益成為國家基礎性戰略資源,大數據在金融監管等領域將擔任越來越重要的角色。與此同時,外匯管理要適應新形勢的要求,就必須更新外匯管理理念和方式,深化外匯管理體制的改革和創新,完善外匯管理的大數據監測分析。本文從數據挖掘技術的角度出發,在介紹大數據定義、分析方法及主要應用場景的基礎上,闡述了大數據分析方法在外匯管理領域的具體運用,并對開展大數據分析工作提出相關建議。
關鍵詞:大數據;金融監管;外匯管理
一、大數據定義及常用分析方法
(一)定義。對于什么是大數據,迄今為止并沒有公認的定義。麥肯錫全球研究所給出的定義是:一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。(二)數據挖掘常用分析方法。數據挖掘就是對觀測的數據集(經常是很龐大的)進行分析,目的是發現未知的關系和以數據擁有者可以理解并對數據擁有者而言有價值的新穎方式來總結數據。常用方法類型介紹如下:一是關聯分析。是在未有既定目標情況下,探索數據內部結構的一種分析技術,目的是在一個數據集中發現、檢索出數據集中所有可能的關聯模式或相關性,但這種關系在數據中沒有直接表示或不能肯定。常用的關聯分析算法有:Apriori算法、FP-growth算法。該技術目前廣泛應用于各個領域,如我們在電商平臺瀏覽商品時都會顯示“購買此商品的顧客也同時購買”等提示語,這正是我們日常生活中接觸最多的關聯分析應用實例。二是聚類分析。是在沒有給定劃分類別的情況下,根據數據相似度按照某種標準進行樣本分組的一種方法。它的輸入是一組未被標記的樣本,聚類根據數據自身的距離或相似度將其劃分為若干組,使組內距離最小而組間距離較大。常用的聚類算法有K-Means、K-Medoids、DBSCAN、HC、EM等。當前,聚類分析在客戶分類、文本分類、基因識別、空間數據處理、衛星圖片分析、醫療圖像自動檢測等領域有著廣泛的應用。三是回歸分析。是指通過建立模型來研究變量之間相互關系的密切程度、結構狀態、模型預測的有效工具。常用的回歸模型有:線性回歸、非線性回歸、Logistic回歸等。四是決策樹。是一個預測模型,在已知各種情況發生概率的基礎上,通過構成決策樹來求取期望值大于等于零的概率、判斷可行性的決策分析方法,是直觀運用概率分析的一種圖解法。常用算法有CART、C4.5等。五是人工神經網絡。是人腦的抽象計算模型,是一個大型并行分布式處理器,由簡單的處理單元組成。它可以通過調整單元連接的強度來學習經驗知識,并運用這些知識推導出新的結果,屬于機器學習的一種。
二、大數據分析在金融監管領域主要運用場景
當前大數據在前瞻性研究、風險防控、客戶分析、輿情監測等方面都取得了巨大的成效,在金融領域實現了廣泛應用,有效地提升了金融監管的針對性,為金融管理、風險識別帶來了無限的可能性,成為當前不可或缺的分析手段之一。一是運用大數據開辟“線上溯源,線下打擊”的治假新模式。2015年5月,某省“雙打辦”聯合某電子商務企業發起行動。某電子商務企業首先運用大數據手段識別售假線索、鎖定犯罪嫌疑人、分析串并背后團伙,根據警方需求批量輸出線索用于偵查破案。行動期間,該省侵犯知識產權立案數同比上漲120%,破案數同比上漲77.3%。與傳統打假模式相比,“大數據治假”模式實現了對犯罪嫌疑人線索信息的實時收集,為執法部門線下查處和打擊提供了更精細、精準的線索和證據。二是運用大數據提升監管有效性。2016年,某交易所通過監控發現滬股通標的股票成交、股價漲勢存在明顯異常。運用大數據方法對歷史資料進行關聯匹配映射分析后發現,來自香港的證券賬戶與開立在內地的某些證券賬戶有操縱市場的重大嫌疑,根據上述線索,監管部門查獲唐某等人跨境操縱市場的違法事實,成為滬港通開通以來查處的首例跨境操縱市場案例。大數據方法為資本市場的進一步對外開放提供了新的監管思路。三是運用大數據實現風險分析、風險評級,打擊電信詐騙。通過收集和整理各行業、機構的黑名單,利用多樣化的機器學習模型及大數據關聯分析等技術,為銀行、個人等提供風險管控和反欺詐的服務;運用數據挖掘技術,發掘與相關賬戶信用相關的預警信息,形成預警信號并向相關風險管理系統主動推送,進而跟蹤預警信號處置流程,直至得出最終結論或風險管控方案,形成一個風險預警、通知、處置和關閉的閉環處理流程。四是運用大數據助力風控。例如,某電子商務企業旗下小貸平臺建立了決策系統,借助大數據分析結果選擇風險可控的企業開放信貸服務,實現貸前小額貸款風險管理控制,提升集約化管理的效率。該平臺信用貸款部分客戶的貸款年化利率可低至12%,對比原先降低6個百分點。依靠平臺和數據優勢,該平臺在風險控制方面已形成了多層次、多方位的微貸風險預警和管理體系,實際運行中該平臺的不良貸款率一直保持在1%以下,風險控制成效良好。
三、對大數據分析在外匯管理領域運用的思考
(一)引入大數據分析方法的必要性。近年來,外匯管理部門通過不斷完善國際收支申報體系和加強外匯管理信息化建設,掌握了海量的數據信息,為外匯管理從側重事前審批逐步轉向側重事后監測分析奠定了扎實的基礎。在當前主流的事后監測分析框架中,通常按照業務條線,采用“宏觀—中觀—微觀”自上而下遞進式分析方法。這種分析方法有一定的優點,可以實現對各業務系統的充分利用,與宏觀形勢和業務管理信息結合較為緊密。但同時也存在一些缺陷:一是數據之間關聯度不高,監測分析主要以各業務條線事后核查為主,數據相對分散,數據之間的關聯分析較弱,監測結果相對滯后;二是難以發現潛在風險苗頭,特別是在數據量巨大或關聯關系復雜等特定場景下,有時無法取得滿意的監測分析結果。在此背景下,可以考慮適時引入大數據分析方法。該分析方法是考慮在整合內部系統、互聯網等各類信息數據的基礎之上,利用數據挖掘、建模等工具方法,對企業、集團等主體、各類交易數據及互聯網信息進行多層次、多角度、多項目的情況分析,并通過反饋的結果,修改完善模型,不斷提高分析預測結果的性,既能解放大量人力資源,又有助于提高事中事后監管的針對性和效率,同時提高外匯管理的信息化程度。(二)大數據分析方法在外匯管理領域運用的具體思路。1.打造大數據監管中心,探索構建各類監管模型設立大數據監管中心,整合各業務系統數據及互聯網外部數據,構建各類監管模型,多層次、多角度、多方位對各類主體交易數據實施監管及風險防控,探索實現主體監管、本外幣一體化監管等,提升監管效率。一是交易數據監管。將當前各項法規、政策、制度數字化,建立合規性核查模型,通過對交易信息進行模擬仿真測試,獲取交易數據的邊界條件,判斷交易的合規性,自動報告不合規交易。二是交易風險預警。通過對以往違規的交易進行分析建模,結合當前的經濟金融形勢,對每筆交易進行風險分級,自動報告高風險的業務數據。監管部門判斷核查后,系統根據反饋結果通過機器學習等完善預警模型,不斷提升預警度。三是主體監管。以企業或集團公司為主體,整合利用多方位數據,運用神經網絡等技術對主體的投融資、結售匯、資金管理與調配等內部交易行為進行分析,了解不同類別主體異同點,對主體進行適當性分析評測,及時識別潛在違規行為。2.預測匯率、跨境收支走勢,了解并引導市場預期通過收集影響匯率變動、跨境收支相關因素信息,建立模型預測匯率、跨境收支走勢,并通過機器學習等方法,自動或人工調整模型,不斷提升預測結果的性,同時掌握902017.09市場預期,及時進行引導。一是匯率走勢預測。整理收集通貨膨脹、利率、政府債務、市場心理等影響匯率變化的信息,通過回歸等各類模型方法,分析某一項或多項與匯率之間關系,預測特定時間段匯率走勢。二是全國或地區跨境收支形勢預測。整理收集行業價格、匯率、經濟金融形勢等外部信息,觀測、分析經濟金融形勢、匯率、人民幣即期交易差價等對地區跨境收支或進出口的影響,預測跨境收支或進出口走勢變化。三是掌握人民幣匯率市場預期。收集網絡上關于人民幣匯率相關信息、搜索頻率等,通過文本分析等方法了解人民幣匯率走勢的市場預期,便于適時采取引導措施。3.輿情實時監測,快速預警反饋整理收集互聯網各大網站評論、博客等信息資源,嘗試以數據情感分析角度,實現對文本評論數據的傾向性判斷以及所隱藏的信息的挖掘并分析。一是獲取政策反響。收集各大網站某項政策的相關評論、帖子、博客等信息,通過深度學習、語義網絡等多種數據挖掘模型,分析判斷數據傾向性,以數據角度反映政策執行效果及反響,為政策的進一步完善提供參考。二是設立輿情監測平臺。運用數據倉庫、文本分析、機器學習、神經網絡等技術手段對金融敏感信息、輿論情況、政策解讀反響等進行實時監測、分析,覆蓋公共新聞網站、行業網站、微博、博客、論壇、貼吧等信息平臺,在及時時間捕獲相關輿情,并及時發送分析報告,合理引導市場預期。(三)初步實踐與嘗試。我們以某地區2015年1月至2016年10月涉外支出數據為例,對其與CNH、CNY進行了回歸分析。1.涉外支出與CNY回歸分析回歸預估方程為:涉外支出(億美元)=-52.15CNY+530.17。但P值為0.4912(一般認為P<0.05時通過顯著性檢驗),表明CNY與涉外支出無明顯關系。2.涉外支出與CNH回歸分析回歸預估方程為:涉外支出(億美元)=-24.05CNH+349.82。但P值為0.7526,表明CNH與涉外支出無明顯相關關系。3.涉外支出與CNY、CNH回歸分析回歸預估方程為:涉外支出(億美元)=2466.1CNH-2498.2CNY+364.6。其中CNH、CNY、截距項P值分別為2.3×10-5、1.9×10-5和0.246,表明CNH、CNY與涉外支出有顯著的相關性,截距項與涉外支出沒有明顯的相關性,擬合優度為0.5897。4.涉外支出與即期交易價差(CNH-CNY)回歸分析回歸預估方程為:涉外支出(億美元)=2489.06(CNH-CNY)+157.3,其中P值分別為3.73×10-12和1.38×10-5,表明兩項預估值的顯著水平均較為理想,擬合優度為0.6006。從上述情況可以看出涉外支出與即期交易價差存在較強的線性關系,即某地區涉外支出隨著人民幣價差(CNH—CNY)的收窄而減小,隨價差的擴大而增加。在知悉若干變量對另一變量存在影響的情況下,可使用該方法分析各自變量與因變量的具體相關性,逐步求取模型,獲取變量之間的線性關系,如:分析匯率與購匯金額之間的關系;分析產品進出口金額、進出口量與產品價格之間的關系。
四、政策建議
(一)轉變理念,利用大數據分析手段提升監管效率。一方面,大數據分析方法著眼于從海量的數據中尋找數據內部關聯與邏輯關系,并歸納出特定主體或交易行為的規律與特征。另一方面,外匯管理部門已逐步從制定規則的角色轉向風險判斷的角色,而這又依賴于從數據中找到規律和關聯,進而識別數據變化提示的風險。大數據挖掘技術和分析方法可以極大地提高對歷史數據的利用價值,同時也為管理職責的轉變提供必需的技術支持。從這一角度來說,監管部門需及時轉變理念,在傳統事后監測分析框架之外,引入市場前沿技術分析手段,進一步提升監管效率。(二)建立大數據分析工作機制。一是可以考慮設立大數據監測中心或直屬大數據分析公司,從事外匯監測、輿情監測等數據分析專項工作,打造大數據分析團隊。二是建立統一的大數據綜合運用平臺,整合各業務系統、互聯網外部信息和工商、海關、稅務等部門信息,在此基礎上,根據監管需求及經濟金融形勢,開展各項監測工作,逐步完善各類監測模型,提升監管工作成效。(三)規范大數據結果的運用機制一是定期向相關部門通報輿情預警、匯率預期、跨境收支走勢預期等情況,為決策提供有益參考。二是實時匯總異常交易、風險預警等分析預測結果,及時向業務主管部門反饋,為其開展事后。核查等工作提供線索。(四)以區域試點模式開展大數據分析工作。當前,大數據分析在市場多領域已有應用,但在金融監管領域還未有成體系的實踐做法。建議選取部分地區開展大數據分析試點,并嘗試與外部機構合作,借鑒市場的成熟經驗及各類監測、預警和預測模型,不斷探討、完善大數據分析在金融監管領域的運用。
作者:徐珊 李慧強 單位:中國人民銀行營業管理部
大數據分析畢業論文:大數據分析助力數學知識突破
摘要:隨著互聯網和計算機技術的飛速發展,大數據時代已經給我們的生活和學習帶來很多的便利,在大數據的時代背景之下,大數據分析也應運而生,大數據分析在學科教學中發揮了重要的作用,本文就大數據分析助力高中數學知識突破進行了研究,首先闡述了大數據分析的概念,闡述了基于大數據分析下的高中數學課堂教學策略。
關鍵詞:大數據分析;高中數學;教學策略
一、引言
在大數據的影響之下,我們的傳統的教育教學方式正在發生著劇烈的改變,大數據分析在教學中的應用也越來越明顯,特別是在高中數學中的應用,未來的大數據分析必然會對教學產生巨大的作用,因此,研究大數據分析是一件至關重要的事。
二、大數據分析的概念
對于數據的本身來說,是用來記錄信息的,但是隨著計算機和互聯網技術的發展,我們在生產和生活中的各個領域都有了突飛猛進的進步,這相應地帶來的是各種數據的處理方式更加的復雜,數據的數量以及涉及的規模也在不斷地擴大。大數據的特點可以和經濟學的觀點一樣,從微觀和宏觀兩個方面來理解,但是目前大多數對大數據有研究的專家來說他們都是從宏觀的角度來分析大數據的定義的。大數據處理的數據數量很多,即使新數據也能很快地進行處理,這些數據的類型也是多種多樣涉及很多的領域,而且處理的數據具有真實性。大數據分析的重點在于分析,就是利用大數據技術對收集到的數據進行多方位的分析,大數據分析的優勢明顯,哪怕你的數據量非常大,但是分析也能快速地完成,并且還能保障數據的真實性。大數據分析的目的是通過對歷史數據的分析和解決,進行科學的總結,發現其規律性和模式,同時結合穩定的動態流數據預測事物發展的未來趨勢。
三、高中數學課堂教學策略的大數據分析
(一)更新高中數學教學思想,以此構建數據分析的概念。很多的老師因為受傳統的教學觀念的影響,思維方式和教學方法都已經模式化了,并沒有樹立數據分析的教學觀念,俗話說,物質決定意識,意識是物質的反映。如果老師的教學觀念還沒有及時更新的話,那么,教學行為在這些思想的影響下還是不會出現根本性的變化,為了解決這一難題,在國家新的課程改革中明確提出了“數據分析”這一概念,這一概念的提出標著在大數據的時代背景下我們的國家也越來越重視數據分析在教學中的實際運用,各位老師應該牢牢把握住數據分析的觀念,在實際教學中,幫助學生構建數據分析的知識框架。(二)勇于探索,在數學教學中嘗試分層教學。現在的高中數學教學的過程中,采用的還是以班級為單位的固定的教學方法,這種教學方法已經是一種既定的模式,對知識接受不同程度的學生他們上課的內容是相同的,這樣接受能力強的學生的潛能得不到發揮,接受新知識能力弱的學生跟不上老師講解的內容,打擊了他們學習的積極性和主動性。早在幾千年之前,我們的大教育家孔子在教學的過程中就提出了因材施教的教育理念,要求老師在課堂教學中地把握每一個學生的性格特點,來進行知識的傳授,不錯過任何學生的潛力,同時進行不同類型的教育。在高中數學課堂教學中,教師可以分層次地教學生。一班上有不少學生,學生與學生之間存在個人和個人之間的差異,不同學生的不同類型的教學可以有效地促進教學課堂。個人差異和個體差異明顯的小學生,也可以嘗試不同的教學方法,嘗試新的教學模式,面對個人差異,分不同層次的分析教學給他們,這有助于促進學生更好地學習數學,也充分挖掘學生在數學上的潛力。(三)學習分類和重視數學知識的積累。高中數學是一個強大的抽象性和邏輯性的學科,需要有更大的知識量,這就要求學生學會分類,分類各種數學知識,這有助于學生加深對數學知識的理解,也可以幫助學生理清數學知識的靜脈,學生進入下一階段的數學學習會學得更好。另外,還要強調數學知識的積累。
作者:馮雄德 單位:武威第七中學
大數據分析畢業論文:大數據分析人才隊伍資源建設研究
摘要:人力資源的世界充斥著大數據分析和人力資源變革潛力等相關內容。本文以將大數據的未來作為一個戰略管理功能,同時將績效組織得更好。實際上人力資源行業對這一新興領域上存在部分潛在的缺點,在實際工作和戰略中制定更好的方法和途徑,它將對人力資源分析現有做法帶來變革。而目前的發展趨勢是人力資源行業逐步增加對大數據的分析,加大在公司高層戰略層面的影響,進而有利于組織發展,并減少損害員工的利益。
關鍵詞:人力資源分析,大數據,人力資源信息系統
1大數據的定義和人力資源分析
數據分析是一門學科,它主要是指已開發的工程,計算機科學,決策和定量方法的組織、交叉、分析和意識。現在越來越多的數據產生在當代社會。數據分析是人力資源專業方向被描述為一個“必須有”的能力,一種創造和擴大人力資源職能的戰略影響的價值工具。復雜的人力資源分析行業,主要是圍繞產品和服務,這不能提供人力資源創造和捕捉人力資源數據的戰略價值的工具。我們認為,對于員工和組織來說,人力資源分析可能有人力資源專業本身的一些負面的后果。具體地說,有風險的分析將進一步嵌入到董事會層面制約人力資源行業的戰略,進而影響人們管理財務和工程方面。及時,它可能損害工作生活質量和員工福利,因為它們涉及到人力資源管理方面的影響因子。第二,我們提供了一個概述的學術思考人力資源分析及其潛在的貢獻。第三,我們認為這些想法都是不被采用,因為對人力資源行業的人力資源信息系統的局限性,結合部分失敗案例和分析行業的重大問題。根據大量引用的行業報告,大數據是什么?對于典型的數據庫工具能夠獲取,較大的存儲、管理和分析,具備一定的主觀和靈活的定義,大數據定義其范圍從幾十到上千萬兆字節的存儲量。大數據的概念和特征與大多數新興事物概念一樣,研究人員沒有實現關于如何定義大數據的一致性。但綜合眾多學者對大數據的定義,我們發現大數據具有海量的,高增長,多樣化,新方法,更令人信服的結果。雖然學者對大數據的定義有不同的看法,但他們統一認識到大數據有四個基本特征:體積、變化、速度和價值(低密度數據值)。這是所謂的四大特性的大型非結構化數據的標準。但大的標準來定量數據集用于社會學和能夠產生“智能”的見解。相比之下,前者的定義將重點放在非結構化數據,包括電子郵件內容,通過社交網絡,網絡搜索,數字圖像和視頻片段,以及智能手機和其他電子設備的定位數據。因此,在實踐方面,人力資源數據分析既包括傳統的關系型數據庫和電子表格分析,又包括新的數據庫軟件,允許大量數據存儲和組織更有效的新技術,通過可視化的數據形式表示。一旦工人受雇于一家公司,對員工的工作時間和薪水的數據進行收集和存儲。工作過程中對勞動者以小時向客戶計費、個人產量、措施等內容收集,對員工績效考核起到作用。此外,還有各種“軟”的性能數據,可以從評價和績效管理系統收集,并對其進行培訓和發展。事實上,在人力資源的發展過程中,更好地利用這些數據來創建和捕獲價值是一個必要的先決條件,更先進的大數據分析的形式正在開發中。
2人力資源分析采用的方法
主要的問題是在于關于人力資源數據和分析的想法,在這里,這些思想已經滲透到人力資源的思考,還有實踐方面的問題。人力資源功能缺乏的技能,知識和洞察力的人力資源數據,關于這一點,可能有足夠的數據來解釋大量的問題。在人力資源管理相關應用中,人力資源是推廣和銷售有助于人力資源分析方法的解釋。要理解這是為什么,有必要研究這個行業和它提供的產品。提供專業人才管理/人力資源信息系統軟件,它匯集了現有的一系列人力資源相關數據,最初開發單獨的人力資源流程自動化,建立為一個基于云的數據倉庫。這些軟件包還具有用戶友好的圖形用戶界面,面向員工,其目的是為了協助職業生涯規劃、績效管理、進一步的知識學習和共享。這種軟件通常集成與其他企業資源規劃的軟件模塊,包括金融,會計,供應鏈和物流,客戶關系管理和制造管理等領域。這種類型的人力資源信息系統的主要目的是通過使它更容易和更快的訪問和了解人力資源,提高人力資源流程和操作數據。主要管理咨詢機構都開發了業務銷售組織實施綜合性人才管理套件的技巧和訣竅。通常,一個公司的人力資源管理系統的使用,是建立在公司的以前的客戶的基準(即比較對象),并在此基礎上,并提出了一個新的IT戰略。顧問公司建議新的軟件和硬件產品,這將好地滿足戰略目標。從戰略人力資源的角度來看,這類軟件的問題是什么?不是提供戰略和預測分析,人力資源信息系統通常提供的答案是在更有限的時間內主要提供集中在業務報告。這些報告并不是沒有太大價值。通過報告以確保制度執行的法律合規性。有證據表明,在組織環境中,個人的績效可以衡量獎勵績效工資,標準的儀表板報告關鍵績效指標可以產生令人印象深刻的性能改進。然而,種種跡象表明,這種形式的分析,并不是較大地提高了性能。咨詢驅動的實施方法也可能是有問題的,因為咨詢活動往往是針對銷售產品,而不是解決客戶的問題。采購過程組織聘請顧問服務,簡而言之,人力資源數據的大部分價值是通過使用它來回答人們如何為組織創造價值的戰略問題而實現的,因此價值可以被捕獲和利用。這些問題最終的結果是,即使是大型跨國機構,在人力資源分析進行了大量的投資,并在嵌入分析企業報告說他們的人力資源分析計劃沒有超出歷史信息報告等領域的長足進步。因此,許多公司一直在試圖制定前瞻性的戰略分析受挫,而不知道如何將大數據納入其人力資源分析計劃。在這種類型的爭論中,關鍵是在工作過程中似乎是一些公司在特定行業經歷了一個真正的人力資源相關的問題。這個具體問題被重新想象為所有大公司所面臨的普遍問題。一個昂貴的軟件開發,該解決方案不在自己的工作,因為它沒有解決本職工作,而聲稱是發展應對能力;相反,它是一個工程項目沒有足夠的時間思考要建立何種模型。然而,模仿的同構是以積極的銷售活動從大型IT公司和咨詢公司的驅動導致的廣泛采用。導致沒有對產品的弱點分析,對結果的失望,但在轉移的企業環境,新產品是為了解決這些新環境的挑戰,轉向開發和銷售,為新產品建立在以往產品的基礎之上的,并受到類似的限制,結果也同樣令人失望。
3具體解決方案
在數據分析中,如果大公司預算他們的股東的資金在昂貴的專有分析軟件包,不履行他們保障做什么,如果大多數企業HR功能缺乏從事分析議程傾向技能,如果人力資源不能充分參與建模過程,在模型的方式被從根本上誤解了人力資本投入的性質為生產和服務提供的過程構建較大的范圍。而不是認識到勞動的靈活性,生產力和性能的變化與技能,時刻參與的動機和設計的過程的相互作用,勞動建模為一個固定的成本,需要加以控制。除非分析嵌入在一個完整和的分析模型,在儀表盤的數據格式在有限的信息內容,可能被誤解的運營和財務管理的一個有限的耐心和人力資源的考驗。這不只是一個假設問題,已經有大量的例子,如何建模和基于算法的管理方法正在降低工作質量和破壞性能。其中一個比較好的例子來自零售業。然而,假設勞動力是被控制的成本沒有考慮到勞動力投入的質量與績效結果有關系。用更少的人減少人力成本也可以降低勞動投入質量工作者傳播更薄,因此沒有時間來確保顯示組織誘人,股價保持移動到貨架或客戶收到幫助請求時,這個過程也對工人不好,誰失去了他們的工作或看到他們的收入削減。在美國,工人的后果可能尤為嚴重,因為這種方法可以用來確保工人被遵守的時間門檻,使他們能夠享受較好的員工福利,如薪酬待遇和醫療保險等等。在某些情況下,工作經驗成為工人的行為和互動越來越在大數據算法上需要盡更大的努力和減少員工自主性和實時控制。相反,經過研究發現,增加人員編制水平實際上增加了盈利,因為高質量的勞動力投入和銷售的增加大于額外的勞動力成本。正是這種實驗,人力資源分析應促進和鼓勵增加編制。所以員工的策略在某種程度上通過大數據分析儀表板,從人力資源戰略的輸入是不必要的,可以采取削減員工人數和相關規定的人力資源政策。
4在實際操作中應用
我們相信,學術界扮演重要角色。目前分析軟件缺少的是建立縱向的,多元的計量經濟學模型的能力,需要進行“終端到終端”的分析。我們自己的對話與人力資源分析專業人士在組織中取得了重大進展,在橋接分析/人力資源差距表明,即使這些組織不具備技能或專業知識,更先進的統計和計量經濟學技術。這種類型的分析,理清相關的因果關系,通過實驗和準實驗分析是必要的。標準信息分析軟件包不具備的靈活性和力量來進行這種多元的縱向分析,這需要專業的統計或計量經濟學出現,因為學者可以提供失蹤的專長和因為他們理解定量分析和人力資源,所以能夠很好地幫助彌合差距的人力資源專業人士和組織為基礎的數據科學家之間的相互理解。學術研究人員還需要面對本體論和方法論的問題,如果這種合作是證明富有成效的。超實證主義的本體論框架,已經占據大部分的工業心理學、勞動經濟學的可能障礙有效的學術從業者的合作。這種方法是針對預測和控制在所謂的封閉系統,而不是發展因果關系的現實世界的開放系統的理解。理論推導的措施往往在包括在實證模型抽象的組織社會背景,意義是模糊的。人力資源相關的學者通過在人力資源分析和大數據研究,為高校教學的發展提供了實踐支持,促進學術人力資源和組織績效之間的關系的理解。在研究經費下降的情況下,通過對研究對象的一部分參與調查,在一定程度上會推進人力資源及性能關系的理解方式。
5結語
在大數據分析技術方面,人力資源管理功能落后于其他管理領域。相反,從行業來看,基于大數據的人力資源分析正在發展成為一個“必須有能力”,這將確保人力資源的未來作為一個戰略管理職能。人力資源行業的許多人不理解人力資源的大數據分析,而分析團隊不了解HR。作為一個結果,昂貴的分析能力,通過新的形式提供,也未能提供人力資源戰略分析能力。人力資源分析的一種不同的方法是必要的,這開始與人力資源數據如何可以用來創建,捕捉,杠桿和保護價值的問題,然后尋求發展的答案,通過更先進的縱向多元建模的形式,這是問題的答案。那么這個結果可以用來通知人力資源實踐和發展意義的日常指標。學者可以在這方面發揮建設性的作用,但也可能做更多的事來闡明戰略人力資源分析的實踐,進而有益于組織的發展,減少損害員工權益。
作者:袁全波 趙雅琪 付勁松 單位:北華航天工業學院