大數據(big data),IT行業術語,是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

二、大據數技術
大數據技術分為下面四個層面:
1.數據采集
利用ETL工具將分布的、異構數據源中的數據如關系數據、平面數據文件等,抽取到臨時中間層后進行清洗、轉換、集成,最后加載到數據倉庫或數據集中,成為聯機分析處理、數據挖掘的基礎;或者也可以把實時采集的數據作為流計算系統的輸入,進行實時處理分析。
2.數據存儲和管理
利用分布式文件系統、數據倉庫、關系數據庫,NoSQL數據庫、云數據庫等,實現對結構化、半結構化和非結構化海量數據的存儲和管理
3.數據處理與分析
利用分布式并行編程模型和計算框架,結合機器學習和數據挖掘算法,實現對海量數據的處理和分析;對分析結果進行可視化呈現,幫助人們更好的理解數據、分析數據
4.數據隱私和安全
從大數據中挖掘潛在的商業價值的同時,構建隱私數據保護體系和數據安全體系,有效保護個人隱私和數據安全。
大數據的核心技術主要是: 分布式存儲(HDFS) 和 分布式處理(MapReduce)
三、大數據的應用行業
1.電商行業
電商行業是最早將大數據用于精準營銷的行業,它可以根據消費者的習慣提前生產物料和物流管理,這樣有利于美好社會的精細化生產。隨著電子商務的越來越集中,大數據在行業中的數據量變得越大,并且種類非常多。在未來的發展中,大數據在電子商務中有大多的想象,其中主要包括預測趨勢,消費趨勢,區域消費特征,顧客消費習慣,消費者行為,消費熱點和影響消費的重要因素。
2.金融行業
大數據在金融行業的使用是非常廣泛的,主要使用在交易過程中?,F在許多股權交易都是使用大數據算法進行的。這些算法能夠越來越多地考慮社交媒體和網站新聞,并且決定接下來的幾秒內是選擇購買還是出售。
3.生物技術
基因技術是人類未來挑戰疾病的重要武器??茖W家可以利用大數據技術的應用,這樣能夠加速他們自己的基因和其他動物基因的研究過程,并且還能成為人類未來克服疾病的重要武器之一。技術不僅可以改良作物,還可以利用遺傳技術培育人體器官,消滅細菌等。