什么是大數(shù)據(jù)技術(shù)？

2022-03-2617:00:41已關(guān)閉評(píng)論

TensorFlow

什么是大數(shù)據(jù)技術(shù)

一種分析、處理和解釋大量無(wú)法手動(dòng)或傳統(tǒng)方式處理的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的軟件工具被稱(chēng)為大數(shù)據(jù)技術(shù)。這有助于形成關(guān)于未來(lái)的結(jié)論和預(yù)測(cè)，從而避免許多風(fēng)險(xiǎn)。大數(shù)據(jù)技術(shù)的類(lèi)型包括操作性和分析性。運(yùn)營(yíng)技術(shù)處理日常活動(dòng)，如在線交易、社交媒體互動(dòng)等，而分析技術(shù)處理股票市場(chǎng)、天氣預(yù)報(bào)、科學(xué)計(jì)算等。大數(shù)據(jù)技術(shù)存在于數(shù)據(jù)存儲(chǔ)和挖掘、可視化和分析領(lǐng)域。

大數(shù)據(jù)技術(shù)

在這里，我列出了一些大數(shù)據(jù)技術(shù)，并對(duì)其進(jìn)行了清晰的解釋?zhuān)屇私饧磳⒌絹?lái)的趨勢(shì)和技術(shù)：

Hadoop、數(shù)據(jù)科學(xué)、統(tǒng)計(jì)和；其他

Apache Spark

這是一個(gè)快速的大型數(shù)據(jù)處理引擎。這是建立在對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理的基礎(chǔ)上的。它豐富的機(jī)器學(xué)習(xí)庫(kù)很適合在AI和ML領(lǐng)域工作。它在并行和集群計(jì)算機(jī)上處理數(shù)據(jù)。Spark使用的基本數(shù)據(jù)類(lèi)型是RDD（彈性分布式數(shù)據(jù)集）。
NoSQL數(shù)據(jù)庫(kù)

它是一個(gè)非關(guān)系型數(shù)據(jù)庫(kù)，可以快速存儲(chǔ)和檢索數(shù)據(jù)。它處理各種數(shù)據(jù)（如結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化和多態(tài)數(shù)據(jù)）的能力是獨(dú)一無(wú)二的。
沒(méi)有以下類(lèi)型的SQL數(shù)據(jù)庫(kù)：

文檔數(shù)據(jù)庫(kù)：它以文檔的形式存儲(chǔ)數(shù)據(jù)，可以包含許多不同的鍵值對(duì)</李>
圖形存儲(chǔ)：它存儲(chǔ)通常以網(wǎng)絡(luò)形式存儲(chǔ)的數(shù)據(jù)，如社交媒體數(shù)據(jù)</李>
鍵值存儲(chǔ)：這些是最簡(jiǎn)單的NoSQL數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)中的每一項(xiàng)都存儲(chǔ)為屬性名（或“鍵”）及其值</李>
寬列存儲(chǔ)：此數(shù)據(jù)庫(kù)以列格式而不是基于行的格式存儲(chǔ)數(shù)據(jù) Cassandra和HBase就是很好的例子</李>

阿帕奇·卡夫卡
Kafka是一個(gè)分布式事件流媒體平臺(tái)，每天處理大量事件。由于它快速且可擴(kuò)展，這有助于構(gòu)建實(shí)時(shí)流數(shù)據(jù)管道，從而在系統(tǒng)或應(yīng)用程序之間可靠地獲取數(shù)據(jù)。
Apache Oozie

它是一個(gè)工作流調(diào)度系統(tǒng)，用于管理Hadoop作業(yè)。這些工作流作業(yè)是以有向無(wú)環(huán)圖（DAG）的形式調(diào)度的。

它是一個(gè)可擴(kuò)展的、有組織的大數(shù)據(jù)活動(dòng)解決方案

阿帕奇氣流

這是一個(gè)計(jì)劃和監(jiān)控工作流的平臺(tái)。智能調(diào)度有助于高效地組織和執(zhí)行項(xiàng)目。氣流具有在出現(xiàn)故障時(shí)重新運(yùn)行DAG實(shí)例的能力。其豐富的用戶(hù)界面使我們能夠輕松地可視化管道在生產(chǎn)等不同階段的運(yùn)行，監(jiān)控進(jìn)度，并在需要時(shí)解決問(wèn)題。
阿帕奇波束
它是一個(gè)統(tǒng)一的模型，用于定義和執(zhí)行數(shù)據(jù)處理管道，包括ETL和連續(xù)流。ApacheBeam框架在應(yīng)用程序邏輯和大數(shù)據(jù)生態(tài)系統(tǒng)之間提供了一種抽象，因?yàn)椴淮嬖诮壎℉adoop、spark等所有框架的API。
麋鹿堆
麋鹿以Elasticsearch、Logstash和Kibana聞名。
Elasticsearch是一個(gè)無(wú)模式數(shù)據(jù)庫(kù)（索引每個(gè)字段），具有強(qiáng)大的搜索功能和易于擴(kuò)展。
Logstash是一個(gè)ETL工具，允許我們獲取、轉(zhuǎn)換事件，并將其存儲(chǔ)到Elasticsearch中。
Kibana是Elasticsearch的儀表板工具，您可以在其中分析存儲(chǔ)的所有數(shù)據(jù)。從Kibana中提取的可操作的見(jiàn)解有助于為組織制定戰(zhàn)略。從捕捉變化到預(yù)測(cè)，Kibana一直被證明非常有用。

Docker&amp；庫(kù)伯內(nèi)特斯

這些是幫助應(yīng)用程序在Linux容器中運(yùn)行的新興技術(shù)。Docker是一個(gè)開(kāi)源工具集合，可以幫助你“在任何地方構(gòu)建、發(fā)布和運(yùn)行任何應(yīng)用”。
Kubernetes也是一個(gè)開(kāi)源容器/編排平臺(tái)，允許大量容器協(xié)調(diào)工作。這最終減少了運(yùn)營(yíng)負(fù)擔(dān)。

TensorFlow

這是一個(gè)開(kāi)源的機(jī)器學(xué)習(xí)庫(kù)，用于設(shè)計(jì)、構(gòu)建和訓(xùn)練深度學(xué)習(xí)模型。所有的計(jì)算都是在TensorFlow中用數(shù)據(jù)流圖完成的。圖由節(jié)點(diǎn)和邊組成。節(jié)點(diǎn)代表數(shù)學(xué)運(yùn)算，而邊代表數(shù)據(jù)。
TensorFlow有助于研究和生產(chǎn)。它可以在多個(gè)CPU或GPU上運(yùn)行，甚至可以在移動(dòng)操作系統(tǒng)上運(yùn)行。這可以在Python、C++、R和java中實(shí)現(xiàn)。strong>
普雷斯托

Presto是Facebook開(kāi)發(fā)的開(kāi)源SQL引擎，能夠處理數(shù)PB的數(shù)據(jù)。與Hive不同，Presto不依賴(lài)MapReduce技術(shù)，因此檢索數(shù)據(jù)更快。它的體系結(jié)構(gòu)和界面很容易與其他文件系統(tǒng)交互。
由于低延遲和簡(jiǎn)單的交互式查詢(xún)，它現(xiàn)在在處理大數(shù)據(jù)方面非常流行。
聚堿
Polybase在SQL Server上工作，以訪問(wèn)存儲(chǔ)在PDW（并行數(shù)據(jù)倉(cāng)庫(kù)）中的數(shù)據(jù)。PDW是為處理任意數(shù)量的關(guān)系數(shù)據(jù)而構(gòu)建的，它提供了與Hadoop的集成。
蜂巢
Hive是一個(gè)用于對(duì)大型數(shù)據(jù)集進(jìn)行數(shù)據(jù)查詢(xún)和數(shù)據(jù)分析的平臺(tái)。它提供了一種類(lèi)似SQL的查詢(xún)語(yǔ)言，名為HiveQL，它在內(nèi)部被轉(zhuǎn)換為MapReduce，然后被處理。
隨著數(shù)據(jù)的快速增長(zhǎng)和組織對(duì)分析大數(shù)據(jù)技術(shù)的巨大努力，大量成熟的技術(shù)進(jìn)入了市場(chǎng)，了解它們會(huì)帶來(lái)巨大的好處。如今，大數(shù)據(jù)技術(shù)通過(guò)提高運(yùn)營(yíng)效率和預(yù)測(cè)相關(guān)行為來(lái)解決許多業(yè)務(wù)需求和問(wèn)題。大數(shù)據(jù)及其相關(guān)技術(shù)的職業(yè)生涯可以為個(gè)人和企業(yè)打開(kāi)許多機(jī)會(huì)之門(mén)。
從今往后，是時(shí)候采用大數(shù)據(jù)技術(shù)了。