MySQL數(shù)據(jù)庫(kù)事務(wù)的基本性質(zhì)為ACID即原子性(Atomicity)、一致性(Consistency)、隔離性(Isolation)和持久性(Durability)。接下來(lái)就來(lái)了解一下各種特性的內(nèi)容:查看全文>>
有兩種方法可以進(jìn)行二次排序,分別為:buffer and in memory sort和 value-to-key conversion。buffer and in memory sort的主要思想是:在reduce()函數(shù)中,將某個(gè)key對(duì)應(yīng)的所有value保存到內(nèi)存中,然后進(jìn)行排序。查看全文>>
join() 方法的作用 join() 方法用于將序列中的元素以指定的字符連接生成一個(gè)新的字符串。查看全文>>
一般情況下,在選擇是使用多進(jìn)程還是多線程時(shí),主要考慮的業(yè)務(wù)到底是IO密集型(多線程)還是計(jì)算密集型(多進(jìn)程)。在爬蟲中,請(qǐng)求的并發(fā)業(yè)務(wù)屬于是網(wǎng)絡(luò)的IO類型業(yè)務(wù),因此網(wǎng)絡(luò)并發(fā)適宜使用多線程;但特殊需求下,比如使用phantomjs 或者chrome-headless來(lái)抓取的爬蟲,應(yīng)當(dāng)是多進(jìn)程的,因?yàn)槊恳粋€(gè)phan/chro實(shí)例就是一個(gè)進(jìn)程了,并發(fā)只能是多進(jìn)程。查看全文>>
如果抓取的數(shù)據(jù)之間的耦合性很高,關(guān)系比較復(fù)雜的話,那么mysql可能會(huì)是更好的選擇。如果抓取的數(shù)據(jù)是分版塊的,并且它們之間沒(méi)有相似性或關(guān)聯(lián)性不強(qiáng),那么可能mongodb 會(huì)更好。查看全文>>
每個(gè)數(shù)據(jù)倉(cāng)庫(kù)都包含一個(gè)或者多個(gè)事實(shí)數(shù)據(jù)表,事實(shí)表是對(duì)分析主題的度量,它包含了與各維度表相關(guān)聯(lián)的外鍵,并通過(guò)連接(Join)方式與維度表關(guān)聯(lián)。查看全文>>