首頁最新資訊

全部 新聞動(dòng)態(tài) 技術(shù)文章 常見問題 技術(shù)問答

    • Zookeeper集群配置怎樣操作？

      Zookeeper集群的配置一共分為5步，首先要修改Zookeeper的配置文件，進(jìn)入Zookeeper解壓目錄下的conf目錄，復(fù)制配置文件zoo_sample.cfg并重命名為zoo.cfg，具體命令如下：查看全文>>

      技術(shù)文章2021-04-02 |黑馬程序員 |Zookeeper集群配置

    • Spark方法創(chuàng)建RDD【大數(shù)據(jù)技術(shù)文章】

      Spark可以通過并行集合創(chuàng)建RDD。即從一個(gè)已經(jīng)存在的集合、數(shù)組上，通過SparkContext對(duì)象調(diào)用parallelize()方法創(chuàng)建RDD。查看全文>>

      技術(shù)文章2021-03-23 |黑馬程序員 |Spark方法創(chuàng)建RDD

    • DataFrame的創(chuàng)建方法【大數(shù)據(jù)文章】

      創(chuàng)建SparkSession對(duì)象可以通過“SparkSession.builder().getOrCreate()”方法獲取，但當(dāng)我們使用Spark-Shell編寫程序時(shí)，Spark-Shell客戶端會(huì)默認(rèn)提供了一個(gè)名為“sc”的SparkContext對(duì)象和一個(gè)名為“spark”的SparkSession對(duì)象，因此我們可以直接使用這兩個(gè)對(duì)象查看全文>>

      技術(shù)文章2021-03-23 |黑馬程序員 |DataFrame的創(chuàng)建方法

    • DataFrame是什么?與RDD有什么區(qū)別？

      DataFrame是一種以RDD為基礎(chǔ)的分布式數(shù)據(jù)集，因此DataFrame可以完成RDD的絕大多數(shù)功能，在開發(fā)使用時(shí)，也可以調(diào)用方法將RDD和DataFrame進(jìn)行相互轉(zhuǎn)換。查看全文>>

      技術(shù)文章2021-03-23 |黑馬程序員 |DataFrame是什么,SchemaRDD,DataFrame與RDD區(qū)別

    • Spark SQL架構(gòu)的工作原理是什么？和Hive有什么不同？

      Spark作為開源項(xiàng)目，外部開發(fā)人員可以針對(duì)項(xiàng)目需求自行擴(kuò)展Catalyst優(yōu)化器的功能。要想很好地支持SQL，就需要完成解析（Parser）、優(yōu)化（Optimizer）、執(zhí)行（Execution）三大過程。Catalyst優(yōu)化器在執(zhí)行計(jì)劃生成和優(yōu)化的工作時(shí)候，它離不開自己內(nèi)部的五大組件，具體介紹如下所示。查看全文>>

      技術(shù)文章2021-03-23 |黑馬程序員 |Spark SQL,Spark SQL架構(gòu)的工作原理和工作流程，Catalyst優(yōu)化器

    • YARN的體系結(jié)構(gòu)的工作流程是怎樣的？

      掌握了YARN的體系結(jié)構(gòu)后，接下來看一下YARN的工作流程，具體如下：查看全文>>

      技術(shù)文章2021-03-12 |黑馬程序員 | YARN的體系結(jié)構(gòu)
和我們在線交談！