什么是大數據技術及其應用

大數據（big data），IT行業術語，是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

 

二、大據數技術

大數據技術分為下面四個層面：

1.數據采集

利用ETL工具將分布的、異構數據源中的數據如關系數據、平面數據文件等，抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫或數據集中，成為聯機分析處理、數據挖掘的基礎；或者也可以把實時采集的數據作為流計算系統的輸入，進行實時處理分析。

2.數據存儲和管理

利用分布式文件系統、數據倉庫、關系數據庫，NoSQL數據庫、云數據庫等，實現對結構化、半結構化和非結構化海量數據的存儲和管理

3.數據處理與分析

利用分布式并行編程模型和計算框架，結合機器學習和數據挖掘算法，實現對海量數據的處理和分析；對分析結果進行可視化呈現，幫助人們更好的理解數據、分析數據

4.數據隱私和安全

從大數據中挖掘潛在的商業價值的同時，構建隱私數據保護體系和數據安全體系，有效保護個人隱私和數據安全。

大數據的核心技術主要是： 分布式存儲（HDFS） 和 分布式處理(MapReduce)


三、大數據的應用行業

1.電商行業

電商行業是最早將大數據用于精準營銷的行業，它可以根據消費者的習慣提前生產物料和物流管理，這樣有利于美好社會的精細化生產。隨著電子商務的越來越集中，大數據在行業中的數據量變得越大，并且種類非常多。在未來的發展中，大數據在電子商務中有大多的想象，其中主要包括預測趨勢，消費趨勢，區域消費特征，顧客消費習慣，消費者行為，消費熱點和影響消費的重要因素。

2.金融行業

大數據在金融行業的使用是非常廣泛的，主要使用在交易過程中?，F在許多股權交易都是使用大數據算法進行的。這些算法能夠越來越多地考慮社交媒體和網站新聞，并且決定接下來的幾秒內是選擇購買還是出售。

3.生物技術

基因技術是人類未來挑戰疾病的重要武器?？茖W家可以利用大數據技術的應用，這樣能夠加速他們自己的基因和其他動物基因的研究過程，并且還能成為人類未來克服疾病的重要武器之一。技術不僅可以改良作物，還可以利用遺傳技術培育人體器官，消滅細菌等。