【Python面試真題】- 描述下scrapy框架運(yùn)行的機(jī)制？

從start_urls里獲取第一批url并發(fā)送請求，請求由引擎交給調(diào)度器入請求隊(duì)列，獲取完畢后，調(diào)度器將請求隊(duì)列里的請求交給下載器去獲取請求對應(yīng)的響應(yīng)資源，并將響應(yīng)交給自己編寫的解析方法做提取處理：1. 如果提取出需要的數(shù)據(jù)，則交給管道文件處理;2. 如果提取出url，則繼續(xù)執(zhí)行之前的步驟(發(fā)送url請求，并由引擎將請求交給調(diào)度器入隊(duì)列...)，直到請求隊(duì)列里沒有請求，程序結(jié)束。