大數(shù)據(jù)技術(shù)：技術(shù)和業(yè)務(wù)分析的融合

大數(shù)據(jù)技術(shù)簡介

很久很久以前，人們在逐漸轉(zhuǎn)向農(nóng)業(yè)之前過著游牧生活。輪子、火和蒸汽機的發(fā)明通常被認為是人類向機械化和提高生活舒適度方向發(fā)展的轉(zhuǎn)折點。
同樣，傳奇的牛頓運動定律和引力定律、愛因斯坦的相對論（現(xiàn)在正在慶祝其100周年）或熱力學定律都徹底改變了科學，并影響了應(yīng)用科學。計算機的發(fā)明、個人計算機的到來和圖形用戶界面（GUI）都是數(shù)字時代發(fā)展的里程碑。二進制數(shù)0和1是匯編語言的核心。

Hadoop、數(shù)據(jù)科學、統(tǒng)計和；其他

二進制到大數(shù)據(jù)技術(shù)

在硬件層面，零和一為計算機電路提供動力，在業(yè)務(wù)層面，大數(shù)據(jù)技術(shù)正在使公司如何設(shè)計營銷戰(zhàn)略以保持競爭力發(fā)生巨大變化。它可以由單個數(shù)字和多個數(shù)字組成，所有數(shù)字都包含有關(guān)市場、機器功能、人體、電子商務(wù)交易或任何可能與買賣有關(guān)的日常活動的重要信息。
企業(yè)和會計專業(yè)人士通常會談?wù)撡Y產(chǎn)和負債。傳統(tǒng)上，資產(chǎn)指機械、技術(shù)、專有技術(shù)、人力資源、基礎(chǔ)設(shè)施以及金融資產(chǎn)。
現(xiàn)在，隨著組織和市場規(guī)模的增長，隨著這些有形資產(chǎn)的出現(xiàn)，一些單個和多個數(shù)字或數(shù)據(jù)已經(jīng)成為最寶貴的資產(chǎn)。從營銷和大數(shù)據(jù)戰(zhàn)略的角度來看，數(shù)據(jù)已經(jīng)成為最重要的資產(chǎn)。
企業(yè)的規(guī)模正在擴大。不再是小而美麗或可行。跨國經(jīng)營、大型購物中心和大批量電子商務(wù)業(yè)務(wù)在全球范圍內(nèi)形成了一種新趨勢。為了在這一大業(yè)務(wù)中取得成功，數(shù)據(jù)和數(shù)據(jù)分析變得至關(guān)重要。企業(yè)正在追求大數(shù)據(jù)Hadoop，以利用它獲得市場情報并了解客戶需求。

技術(shù)與數(shù)據(jù)分析的融合

圖像來源：皮克斯灣。com

組織擁有的大數(shù)據(jù)技術(shù)將毫無意義，除非有一種支持技術(shù)來挖掘、處理和組織數(shù)據(jù)，以便企業(yè)利用這一重要資產(chǎn)。著名作家和分析師伯納德·馬爾（Bernard Marr）曾表示，無論企業(yè)規(guī)模大小，無論是財富500強企業(yè)還是小型夫妻店，都將要求使用Hadoop大數(shù)據(jù)——看看它給企業(yè)帶來的變化。
大數(shù)據(jù)技術(shù)是大型數(shù)據(jù)集的集合，它們數(shù)量龐大，需要復(fù)雜的程序來分析并從中創(chuàng)建有意義的信息。可能是購買習慣、看電影的頻率、登錄網(wǎng)站的頻率、在線購買、訂購雜貨、更換手機的頻率等等。
各種工具、框架和技術(shù)被用于分析大型數(shù)據(jù)集，它們已成為業(yè)界的熱門產(chǎn)品。據(jù)專家稱，重要的不是數(shù)據(jù)，而是公司如何處理這些數(shù)據(jù)。
在各種技術(shù)和平臺中，Hadoop最受歡迎，盡管它可能有其缺點。它是一個開源的開發(fā)平臺，它是用C、C++、java編寫的，幫助組織實時分析大量的數(shù)據(jù)。

實時大數(shù)據(jù)技術(shù)

收集、存儲、移動和分析不是靜態(tài)的活動，而是涉及實時環(huán)境的動態(tài)活動。不斷收集飛機、汽車發(fā)動機、連接到醫(yī)院病人的監(jiān)視器、在線信用卡或借記卡交易的數(shù)據(jù)，所有這些都需要復(fù)雜的算法、程序、大數(shù)據(jù)體系結(jié)構(gòu)和強大的內(nèi)存處理能力。
MapR首席執(zhí)行官約翰·施羅德（John Schroeder）表示，他們擁有大數(shù)據(jù)應(yīng)用程序，可以保護數(shù)百萬美國運通卡持卡人免受欺詐交易，在醫(yī)療保健領(lǐng)域，他們正致力于為癌癥患者提供更好的治療程序。
微軟、甲骨文、SAP、IBM等全球IT巨頭都在云平臺上，也支持大數(shù)據(jù)技術(shù)解決方案

大數(shù)據(jù)技術(shù)與物聯(lián)網(wǎng)

網(wǎng)絡(luò)和嵌入式技術(shù)的快速變化使許多設(shè)備能夠相互連接，從而能夠?qū)崟r發(fā)送數(shù)據(jù)。一個由“物”而非人和計算機組成的互聯(lián)網(wǎng)已經(jīng)出現(xiàn)。
我們佩戴或使用的每一件設(shè)備都能夠終結(jié)數(shù)據(jù)，而這反過來又將在大數(shù)據(jù)營銷、設(shè)計、醫(yī)療保健等領(lǐng)域有廣泛的應(yīng)用。

數(shù)據(jù)挖掘

現(xiàn)在，強大的超級計算機被部署來從關(guān)系數(shù)據(jù)庫中挖掘數(shù)據(jù)，并幫助統(tǒng)計學家和分析師創(chuàng)建模型。幾位創(chuàng)新者已經(jīng)提出了開發(fā)預(yù)測性大數(shù)據(jù)分析模型的工具，以便企業(yè)更好地做出決策。它們還提供了一個簡單的圖形用戶界面（GUI），非常友好

事業(yè)

自然，大數(shù)據(jù)技術(shù)的革命催生了一批全新的專家，他們與大數(shù)據(jù)分析和技術(shù)的特定領(lǐng)域相關(guān)。熱門的技術(shù)技能包括Apache Hadoop、Apache Spark、NoSQL、機器學習和數(shù)據(jù)挖掘、統(tǒng)計和定量分析、SQL、數(shù)據(jù)可視化、數(shù)據(jù)科學家、通用編程語言技能。據(jù)分析人士稱，由于該領(lǐng)域的快速發(fā)展，未來十年的機會肯定會增加。
《福布斯》雜志在一次年中評估中稱，2015年對大數(shù)據(jù)技術(shù)相關(guān)專業(yè)知識的需求確實很大，IBM在6月份的過去12個月里招聘了2307個職位。接受大數(shù)據(jù)培訓(xùn)的專業(yè)技術(shù)人員的廣告薪酬為104850美元。最受歡迎的技能是VMWare專業(yè)技能、應(yīng)用程序開發(fā)、開源技術(shù)、數(shù)據(jù)倉庫和Python編程技能。

從行業(yè)角度來看，在利用大數(shù)據(jù)技術(shù)和服務(wù)方面，占需求25%的專業(yè)、科學和技術(shù)服務(wù)是最重要的。在其他領(lǐng)先類別中，信息技術(shù)占17%，制造業(yè)占15%，金融和保險占9%，零售占8%

優(yōu)勢

以下是大數(shù)據(jù)分析的優(yōu)勢。

1）數(shù)據(jù)的存儲、挖掘和分析
大數(shù)據(jù)技術(shù)使存儲和實時數(shù)據(jù)能夠部署到各種業(yè)務(wù)和任務(wù)關(guān)鍵型應(yīng)用程序中

2）市場預(yù)測；預(yù)測

在前大數(shù)據(jù)技術(shù)時代，公司被迫實時進行有意義的數(shù)據(jù)分析，或在缺乏技術(shù)的情況下進行預(yù)測分析。抽樣調(diào)查和客戶反饋是策略師創(chuàng)新市場新產(chǎn)品的唯一解決方案。
3） 大量數(shù)據(jù)是由企業(yè)產(chǎn)生的，在過去幾年中，由于沒有足夠的大數(shù)據(jù)工具來收集和分析數(shù)據(jù)，企業(yè)未能使用重要的資產(chǎn)。
4） 在實時大數(shù)據(jù)業(yè)務(wù)環(huán)境中，黑客和數(shù)據(jù)盜竊會嚴重影響組織的工作、客戶的信心，并使其容易受到后續(xù)攻擊。大數(shù)據(jù)和Hadoop已經(jīng)被證明可以幫助組織檢測數(shù)據(jù)盜竊。數(shù)據(jù)盜竊方法的發(fā)展速度快于防盜方法或預(yù)防活動。

大數(shù)據(jù)技術(shù)是成功的唯一要求嗎

一些批評人士指出，大數(shù)據(jù)在行業(yè)中的應(yīng)用存在一些問題，但他們對大數(shù)據(jù)的炒作并不滿意。一些分析人士質(zhì)疑，投資回報率（RoI）是否為正，是否值得投入時間和精力來實施。第二個是關(guān)于大量的數(shù)據(jù)和分析，這些數(shù)據(jù)和分析可能無法解釋發(fā)生這種消費行為的“原因”。
大數(shù)據(jù)分析可以有效地與傳統(tǒng)的調(diào)查方法（厚數(shù)據(jù)）結(jié)合使用，這些方法可以繪制各地區(qū)儲蓄、投資、購買和消費行為的人口統(tǒng)計模式，從而更廣泛地了解市場。對大數(shù)據(jù)工具持懷疑態(tài)度的人表示，大數(shù)據(jù)工具可能會給出一幅發(fā)生了什么以及如何發(fā)生的畫面，但只有根據(jù)人口統(tǒng)計資料、生活方式偏好、消費習慣等，對特定消費者或地區(qū)進行廣泛了解，才能理解“為什么”會發(fā)生。

大數(shù)據(jù)技術(shù)的主要前景

根據(jù)提供大數(shù)據(jù)解決方案的MapR公司首席執(zhí)行官兼聯(lián)合創(chuàng)始人約翰·施羅德（John Schroeder）的說法，他預(yù)測了2015年的新興趨勢，其中大多數(shù)趨勢似乎是正確的。
從數(shù)據(jù)集線器到數(shù)據(jù)湖：具有可擴展基礎(chǔ)設(shè)施的數(shù)據(jù)湖似乎受到青睞，因為它們具有經(jīng)濟吸引力，每TB的成本更低）。
自助服務(wù)：自助服務(wù)大數(shù)據(jù)工具將使開發(fā)者、數(shù)據(jù)科學家和數(shù)據(jù)分析師能夠在