有時(shí)，您可能會(huì)注意到您的廢進(jìn)程的內(nèi)存使用只會(huì)增加，但不會(huì)減少。不幸的是，即使Scrapy和您的項(xiàng)目都沒(méi)有泄漏內(nèi)存，也可能發(fā)生這種情況。這是由于Python的一個(gè)（不太常見(jiàn)）已知問(wèn)題造成的，在某些情況下，該問(wèn)題可能不會(huì)將釋放的內(nèi)存返回到操作系統(tǒng)。有關(guān)此問(wèn)題的詳細(xì)信息，請(qǐng)參閱：

• Python Memory Management
• Python Memory Management Part 2
• Python Memory Management Part 3

Evan Jones提出的改進(jìn)建議，詳情見(jiàn) this paper 在python 2.5中進(jìn)行了合并，但這只會(huì)減少問(wèn)題，并不能完全解決問(wèn)題。引用論文：

不幸的是，這個(gè)補(bǔ)丁只能在競(jìng)技場(chǎng)中不再分配對(duì)象的情況下釋放競(jìng)技場(chǎng)。這意味著 Scrapy 化是一個(gè)大問(wèn)題。一個(gè)應(yīng)用程序可以有許多兆字節(jié)的空閑內(nèi)存，分散在所有的區(qū)域中，但是它將無(wú)法釋放其中的任何一個(gè)。這是所有內(nèi)存分配器都遇到的問(wèn)題。解決這個(gè)問(wèn)題的唯一方法是移動(dòng)到一個(gè)壓縮垃圾收集器，它能夠移動(dòng)內(nèi)存中的對(duì)象。這將需要對(duì)python解釋器進(jìn)行重大更改。

為了保持內(nèi)存消耗合理，可以將作業(yè)拆分為幾個(gè)較小的作業(yè)或啟用 persistent job queue 不時(shí)停止/啟動(dòng)Spider。