Python程序中最常見的錯(cuò)誤為語法錯(cuò)誤。語法錯(cuò)誤又稱為解析錯(cuò)誤,它是指開發(fā)人員編寫了不符合Python語法格式的代碼所引起的錯(cuò)誤。含有語法錯(cuò)誤的程序會(huì)拋出異常,無法運(yùn)行。如下所示為一段包含語法問題的代碼:查看全文>>
程序被執(zhí)行后成為了一個(gè)活動(dòng)的實(shí)體,這個(gè)實(shí)體就是進(jìn)程。換言之,操作系統(tǒng)調(diào)度并執(zhí)行程序,這個(gè)“執(zhí)行中的程序”稱為進(jìn)程。進(jìn)程是操作系統(tǒng)進(jìn)行資源分配和調(diào)度的基本單位。一般情況下,進(jìn)程占據(jù)的內(nèi)存空間由控制塊、程序段和數(shù)據(jù)段三個(gè)部分組成,各部分的介紹如下。查看全文>>
在Python中,具有特殊功能的標(biāo)識(shí)符稱為關(guān)鍵字,每個(gè)關(guān)鍵字都代表不同的含義,Python語言自己已經(jīng)使用它們,不允許自己定義和關(guān)鍵字相同名字的標(biāo)識(shí)符,開發(fā)者應(yīng)該盡量避開這些關(guān)鍵字。Python中的關(guān)鍵字如下所示:查看全文>>
使用變量存儲(chǔ)數(shù)據(jù)時(shí),為了更充分利用內(nèi)存空間,我們可以為變量指定不同的數(shù)據(jù)類型。Python中常見的數(shù)據(jù)類型包含整型、浮點(diǎn)型和復(fù)數(shù)類型等,本節(jié)課來就來講解一下Python中常見的數(shù)據(jù)類型和他們的示例代碼查看全文>>
Slaver端從Master端拿任務(wù)(Request/url/ID)進(jìn)行數(shù)據(jù)抓取,在抓取數(shù)據(jù)的同時(shí)也生成新任務(wù),并將任務(wù)分配給Master端。Master端只有一個(gè)Redis數(shù)據(jù)庫,負(fù)責(zé)對(duì)Slaver提交的任務(wù)進(jìn)行去重、加入待爬隊(duì)列查看全文>>
Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù),提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架,我們只需要實(shí)現(xiàn)少量代碼,就能夠快速的抓取到數(shù)據(jù)內(nèi)容。Scrapy使用了Twisted異步網(wǎng)絡(luò)框架來處理網(wǎng)絡(luò)通訊,可以加快我們的下載速度,不用自己去實(shí)現(xiàn)異步框架,并且包含了各種中間件接口,可以靈活的完成各種需求。查看全文>>