而不是執(zhí)行 ?start_requests()? 生成的方法 ?scrapy.Request? 來自URL的對(duì)象，您只需定義 ?start_urls? 具有URL列表的類屬性。然后，此列表將由 ?start_requests()? 要為您的蜘蛛創(chuàng)建初始請(qǐng)求，請(qǐng)執(zhí)行以下操作：

import scrapy


class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = [
        'http://quotes.toscrape.com/page/1/',
        'http://quotes.toscrape.com/page/2/',
    ]

    def parse(self, response):
        page = response.url.split("/")[-2]
        filename = f'quotes-{page}.html'
        with open(filename, 'wb') as f:
            f.write(response.body)

這個(gè) ?parse()? 方法將被調(diào)用來處理這些URL的每個(gè)請(qǐng)求，即使我們沒有明確地告訴Scrapy這樣做。這是因?yàn)?nbsp;?parse()? 是Scrapy的默認(rèn)回調(diào)方法，對(duì)沒有顯式分配回調(diào)的請(qǐng)求調(diào)用該方法。