Spark使用強(qiáng)大的函數(shù)式語言Scala開發(fā)，方便簡(jiǎn)單同時(shí)，它還提供了對(duì)PythonJava和R語言的支持作為大數(shù)據(jù)計(jì)算框架MapReduce的繼任者，Spark具備以下優(yōu)勢(shì)特性1，高效性 不同于MapReduce將中間計(jì)算結(jié)果放入磁盤中，Spark采用內(nèi)存；LISP語言Scala是Spark的主要編程語言，但Spark還支持JavaPythonR作為編程語言LISP是一種通用高級(jí)計(jì)算機(jī)程序語言，長(zhǎng)期以來壟斷人工智能領(lǐng)域的應(yīng)用LISP作為應(yīng)用人工智能而設(shè)計(jì)的語言，是第一個(gè)聲明式系內(nèi)函數(shù)式程序設(shè)計(jì)語。

l MLlib是Spark實(shí)現(xiàn)一些常見的機(jī)器學(xué)習(xí)算法和實(shí)用程序，包括分類回歸聚類協(xié)同過濾降維以及底層優(yōu)化，該算法可以進(jìn)行可擴(kuò)充 MLRuntime 基于Spark計(jì)算框架，將Spark的分布式計(jì)算應(yīng)用到機(jī)器學(xué)習(xí)領(lǐng)域 3Spark MLlib架構(gòu)解析 本回答由；當(dāng)用Spark編程時(shí)，開發(fā)人員需要根據(jù)變化的需求不斷地重新編碼代碼Scala是靜態(tài)類型語言，盡管它看起來像一種動(dòng)態(tài)類型語言，因?yàn)樗哂袃?yōu)雅的類型推斷機(jī)制作為靜態(tài)類型語言，Scala仍然提供編譯器來捕獲編譯時(shí)錯(cuò)誤重構(gòu)像Scala；據(jù)統(tǒng)計(jì)，基于Spark內(nèi)存的計(jì)算速度比Hadoop MapReduce快100倍以上，基于磁盤的計(jì)算速度也要快10倍以上2開發(fā)難易度 Spark提供多語言包括ScalaJavaPythonAPI，能夠快速實(shí)現(xiàn)應(yīng)用，相比MapReduce更簡(jiǎn)潔的代碼，安裝部署也無；Scala，也可以是說大數(shù)據(jù)Spark開發(fā)的主力語言了，因?yàn)楫?dāng)你學(xué)習(xí)Spark后，就一定會(huì)對(duì)Scala有進(jìn)一步的研究與學(xué)習(xí)，因?yàn)闉榱藢W(xué)好Spark技術(shù)你需要研究源碼需要更簡(jiǎn)潔快速開發(fā)項(xiàng)目從而Spark大數(shù)據(jù)開發(fā)語言Scala是最多Python，在機(jī)器；1，Spark框架是采用Scala語言編寫的，精致而優(yōu)雅要想成為Spark高手，你就必須閱讀Spark的源代碼，就必須掌握Scala，2， 雖然說現(xiàn)在的Spark可以采用多語言JavaPython等進(jìn)行應(yīng)用程序開發(fā)，但是最快速的和支持最好的開發(fā)API依然；大數(shù)據(jù)開發(fā)需掌握Kafka架構(gòu)原理及各組件的作用和使用方法及相關(guān)功能的實(shí)現(xiàn)！13ScalaScala是一門多范式的編程語言，大數(shù)據(jù)開發(fā)重要框架Spark是采用Scala語言設(shè)計(jì)的，想要學(xué)好Spark框架，擁有Scala基礎(chǔ)是必不可少的，因此，大數(shù)據(jù)開發(fā)；3數(shù)據(jù)清洗MapReduce作為Hadoop的查詢引擎，用于大規(guī)模數(shù)據(jù)集的并行計(jì)算4數(shù)據(jù)查詢分析Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結(jié)構(gòu)化的數(shù)據(jù)映射為一張數(shù)據(jù)庫表，并提供HQLHiveSQL查詢功能Spark啟用了內(nèi)存；n火花火星電火花指品質(zhì)或感情一星，絲毫，一丁點(diǎn)averysmallburningpieceofmaterialthatisproducedbysththatisburningorbyhittingtwohardsubstancestogetherAsparkisatinybrightpieceofburningmaterialthatfliesupfromsomething。

語言不同Scala 是一門函數(shù)式語言，Java是面向?qū)ο笳Z言，二者在語言特點(diǎn)上差異特別大但是scala也是運(yùn)行在java虛擬機(jī)上，兩者可以方便的互相調(diào)用Spark作為一個(gè)數(shù)據(jù)統(tǒng)計(jì)分析的工具，它是偏向于函數(shù)式處理的思想，因此在spark；1解決問題的層面不一樣 首先，Hadoop和Apache Spark兩者都是大數(shù)據(jù)框架，但是各自存在的目的不盡相同Hadoop實(shí)質(zhì)上更多是一個(gè)分布式數(shù)據(jù)基礎(chǔ)設(shè)施 它將巨大的數(shù)據(jù)集分派到一個(gè)由普通計(jì)算機(jī)組成的集群中的多個(gè)節(jié)點(diǎn)進(jìn)行存儲(chǔ)；3Linux系統(tǒng)和Hadoop生態(tài)體系大數(shù)據(jù)的開發(fā)的框架是搭建在Linux系統(tǒng)上面，Hadoop是一個(gè)大數(shù)據(jù)的基礎(chǔ)架構(gòu)，它能搭建大型數(shù)據(jù)倉庫，PB級(jí)別數(shù)據(jù)的存儲(chǔ)外理分析統(tǒng)計(jì)等業(yè)務(wù)4分布式計(jì)算框架和SparkStrom生態(tài)體系有一定的。

就個(gè)人體會(huì)來說，Scala相對(duì)于Java的優(yōu)勢(shì)是巨大的熟悉Scala之后再看Java代碼，有種讀匯編的感覺如果僅僅是寫Spark應(yīng)用，并非一定要學(xué)Scala，可以直接用Spark的Java API或Python API但因?yàn)檎Z言上的差異，用Java開發(fā)Spark；多Spark支持JAVA等多種開發(fā)語言，支持Scala的API，支持多種高級(jí)算法，使用的用戶還是很多的，可以使用戶可以快速構(gòu)建不同的應(yīng)用。