全部 新聞動態(tài) 技術(shù)文章 常見問題 技術(shù)問答

• • 

    Spark SQL用法建議【大數(shù)據(jù)文章】

    參數(shù)默認(rèn)false。當(dāng)設(shè)為true，parquet會聚合所有parquet文件的schema，否則是直接讀取parquet summary文件，或者在沒有parquet summary文件時候隨機(jī)選擇一個文件的schema作為最終的schema。查看全文>>

    技術(shù)文章2021-01-14 |黑馬程序員 |Spark SQL性能調(diào)優(yōu),操作Spark SQLt調(diào)優(yōu)
  • 

    Kafka數(shù)據(jù)是存在磁盤上還是內(nèi)存上？

    Kafka是一個高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它在實時計算系統(tǒng)中有著非常強(qiáng)大的功能。把topic中一個parition大文件分成多個小文件段，通過多個小文件段，就容易定期清除或刪除已經(jīng)消費完文件，減少磁盤占用。查看全文>>

    技術(shù)文章2021-01-12 |黑馬程序員 |Kafka,Kafka數(shù)據(jù)存儲
  • 

    Hadoop實現(xiàn)join的幾種方法【大數(shù)據(jù)開發(fā)面試】

    Hadoop實現(xiàn)join有三種方法，第一種是reduce side join，它是一種最簡單的join方式，其主要思想如下：查看全文>>

    技術(shù)文章2021-01-12 |黑馬程序員 |實現(xiàn)join,Hadoop,大數(shù)據(jù)面試題
  • 

    Spark RDD的兩種依賴關(guān)系？

    在Spark中，不同的RDD之間具有依賴的關(guān)系。RDD與它所依賴的RDD的依賴關(guān)系有兩種類型，分別是窄依賴（narrow dependency）和寬依賴（wide dependency）。查看全文>>

    技術(shù)文章2021-01-05 |黑馬程序員 |spark RDD,RDD的兩種依賴關(guān)系
  • 

    大數(shù)據(jù)離散流是什么？它的內(nèi)部結(jié)構(gòu)是怎樣的？

    Spark Streaming提供了一個高級抽象的流，即DStream（離散流）。DStream表示連續(xù)的數(shù)據(jù)流，可以通過Kafka、Flume和Kinesis等數(shù)據(jù)源創(chuàng)建，也可以通過現(xiàn)有DStream的高級操作來創(chuàng)建。查看全文>>

    技術(shù)文章2021-01-05 |黑馬程序員 |DStream,離散流,DStream是什么
  • 

    CSS3顏色不透明度的設(shè)置方法【web前端】

    在CSS3之前，我們設(shè)置顏色的方式包含十六進(jìn)制顏色(如#F00)、rgb模式顏色、或指定顏色的英文名稱(如red)，但這些方法無法改變顏色的不透明度。在CSS3中新增了兩種設(shè)置顏色不透明度的方法，一種是使用rgba模式設(shè)置，另一種是使用opacity屬性設(shè)置。下面將詳細(xì)講解兩種設(shè)置方法。查看全文>>

    技術(shù)文章2020-12-30 |黑馬程序員 |CSS3顏色不透明度設(shè)置
  << < 1 2 3 4 5 6 7 8 9 10 ...38 > >>