在一個項目被蜘蛛抓取之后，它被發(fā)送到項目管道，該管道通過幾個按順序執(zhí)行的組件來處理它。

每個項管道組件（有時稱為“項管道”）都是一個實現(xiàn)簡單方法的Python類。它們接收一個項目并對其執(zhí)行操作，還決定該項目是否應繼續(xù)通過管道，或者是否應刪除并不再處理。

項目管道的典型用途有：

• 清理HTML數(shù)據(jù)
• 驗證抓取的數(shù)據(jù)（檢查項目是否包含某些字段）
• 檢查重復項（并刪除它們）
• 將爬取的項目存儲在數(shù)據(jù)庫中