操作系統(tǒng)可以同時(shí)運(yùn)行多個(gè)任務(wù)。例如,計(jì)算機(jī)在同一時(shí)刻既可以使用瀏覽器上網(wǎng),又可以使用酷我播放音樂,還能掛著QQ工具聊天......所有的這些都體現(xiàn)了多任務(wù)運(yùn)行的現(xiàn)象。查看全文>>
Scrapy框架的工作原理是什么? 學(xué)習(xí)Scrapy框架,從理解它的架構(gòu)開始。圖1所示是Scrapy的架構(gòu)圖。查看全文>>
queue模塊是Python內(nèi)置的標(biāo)準(zhǔn)模塊,可以直接通過import queue引用。在Queue模塊中提供了三種同步的、線程安全的隊(duì)列,分別由三個(gè)類Queue,LifoQueue和PriorityQueue表示,它們的唯一區(qū)別是元素取出的順序不同。并且LifoQueue和PriorityQueue都是Queue的子類。查看全文>>
由于外部網(wǎng)絡(luò)不穩(wěn)定,在使用單線程爬取網(wǎng)頁數(shù)據(jù)時(shí),如果有一個(gè)網(wǎng)頁響應(yīng)速度慢或者卡住了,那整個(gè)程序都要等待下去,這顯然是無效率的。因此,我們可以使用多線程、多進(jìn)程、協(xié)程技術(shù)來實(shí)現(xiàn)并發(fā)下載網(wǎng)頁。查看全文>>
根據(jù)存儲(chǔ)數(shù)據(jù)時(shí)所用數(shù)據(jù)模型的不同,當(dāng)今互聯(lián)網(wǎng)中的的數(shù)據(jù)庫主要分為兩種:關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫。查看全文>>
數(shù)據(jù)庫是按照數(shù)據(jù)結(jié)構(gòu)來組織、存儲(chǔ)和管理數(shù)據(jù)的倉庫,它可以被看作電子化的文件柜——存儲(chǔ)文件的處所,用戶可以對(duì)文件中的數(shù)據(jù)進(jìn)行增加、刪除、修改、查找等操作。需要注意的是,這里所說的數(shù)據(jù)不僅包括普通意義上的數(shù)字,還包括文字、圖像、聲音等。查看全文>>