通用網(wǎng)絡爬蟲(General Purpose Web Crawler)又稱全網(wǎng)爬蟲(Scalable Web Crawler),是指訪問全互聯(lián)網(wǎng)資源的網(wǎng)絡爬蟲。通用網(wǎng)絡爬蟲是“互聯(lián)網(wǎng)時代”早期出現(xiàn)的傳統(tǒng)網(wǎng)絡爬蟲,它是搜索引擎(如百度、谷歌、雅虎等)抓取系統(tǒng)的重要組成部分...查看全文>>
在數(shù)據(jù)量比較大時,如果進行l(wèi)imit分頁查詢,在查詢時,越往后,分頁查詢效率越低。執(zhí)行l(wèi)imit分頁查詢耗時對比如下:查看全文>>
操作系統(tǒng)(operating system,簡稱OS)是管理計算機硬件與軟件資源的程序,需要處理如:管理與配置內(nèi)存、決定系統(tǒng)資源供需的優(yōu)先次序、控制輸入設備與輸出設備、操作網(wǎng)絡與管理文件系統(tǒng)等基本事務;沒有操作系統(tǒng)的機器稱之為裸機,不管是開發(fā)還是使用都十分不便。操作系統(tǒng)也提供一個讓用戶與系統(tǒng)交互的操作界面。查看全文>>
CPython是官方的Python解釋器,由 C 語言實現(xiàn),它是Python語言中使用最廣泛的解釋器。CPython 解釋器在執(zhí)行 Python 代碼時,將其編譯成字節(jié)碼,然后通過解釋器執(zhí)行該字節(jié)碼。查看全文>>
Hadoop MapReduce是一個分布式計算框架,用于輕松編寫分布式應用程序,這些應用程序以可靠,容錯的方式并行處理大型硬件集群(數(shù)千個節(jié)點)上的大量數(shù)據(jù)(多TB數(shù)據(jù)集)。MapReduce是一種面向海量數(shù)據(jù)處理的一種指導思想,也是一種用于對大規(guī)模數(shù)據(jù)進行分布式計算的編程模型。查看全文>>
VMware Workstation是一款虛擬機軟件,允許用戶將Linux、Windows等多個操作系統(tǒng)作為虛擬機在單臺PC上運行; 用戶可以在虛擬機上重現(xiàn)服務器、桌面和平板電腦環(huán)境,無需重新啟動即可跨不同操作系統(tǒng)同時運行應用。在PC上安裝VMware Workstation虛擬機軟件的詳細安裝過程如下查看全文>>