Kafka消費者消費數(shù)據(jù)的速度是非??斓?,但如果由于處理Kafka消息時,由于有一些外部IO、或者是產(chǎn)生網(wǎng)絡(luò)擁堵,就會造成Kafka中的數(shù)據(jù)積壓(或稱為數(shù)據(jù)堆積)。如果數(shù)據(jù)一直積壓,會導(dǎo)致數(shù)據(jù)出來的實時性受到較大影響。查看全文>>
通用網(wǎng)絡(luò)爬蟲的采集目標(biāo)是整個互聯(lián)網(wǎng)上的所有網(wǎng)頁,它會先從一個或多個初始URL開始,獲取初始URL對應(yīng)的網(wǎng)頁數(shù)據(jù),并不斷從該網(wǎng)頁數(shù)據(jù)中抽取新的URL放到隊列中,直至滿足一定的條件后停止。查看全文>>
大多數(shù)網(wǎng)站中都加人了SSL證書,以實現(xiàn)數(shù)據(jù)信息在瀏覽器和服務(wù)器之間的加密傳輸,保證雙方傳遞信息的安全性。SSL證書是一種數(shù)字證書,類似于駕駛證、護照和營業(yè)執(zhí)照的電子副本,由受信任的數(shù)字證書頒發(fā)機構(gòu)CA在驗證服務(wù)器身份后頒發(fā),具有服務(wù)器身份驗證和數(shù)據(jù)傳輸加密功能。查看全文>>
在使用Fiddler工具之前,需要在計算機中下載與安裝Fiddler工具。這里以Fiddler4(版本為v5.0)為例演示下載與安裝的過程,具體內(nèi)容如下。查看全文>>
fail-fast產(chǎn)生的原因就在于程序在對collection進行迭代時,某個線程對該collection在結(jié)構(gòu)上對其做了修改,這時迭代器就會拋出。 ConcurrentModificationException異常信息,從而產(chǎn)生fail-fast。要了解fail-fast機制,我們首先要對ConcurrentModificationException異常有所了解。當(dāng)方法檢測到對象的并發(fā)修改,但不允許這種修改時就拋出該異常。查看全文>>
在安裝mapbtlb前,需要先確保計算機中已經(jīng)配置好Python開發(fā)環(huán)境。mapbtib的安裝方式有很多種,既可以使用pip命令直接安裝,也可以使用Anaconda工具進行安裝。查看全文>>