Übergeben Sie zusätzliche Werte zusammen mit urls zu scrapy Spinne

Ich habe eine Liste von Tupeln in der Form (id, url) Ich muss ein Produkt aus einer Liste von URLs crawlen, und wenn diese Produkte gecrawlt sind, muss ich sie in der Datenbank unter ihrer ID speichern.

Problem ist, ich kann nicht verstehen, wie man id zu parse Funktion passieren, damit ich gecrawltes Item unter ihrer ID speichern kann.

  • Zählen Sie die Duplikate in eine Liste von Tupeln
  • Python Regex, re.sub, ersetzt mehrere Teile des Musters?
  • Nummernpyramide für Loop verschachtelt
  • Setzen Sie Scrapy Proxy-Middleware auf jede Anfrage zu drehen
  • Wie startet man zwei Instanzen von Spyder mit Python 2.7 & Python 3.4?
  • Entfernen von Backslashs aus String
  • Lesen / Schreiben von Dateien von hdfs mit python mit subprocess, Pipe, Popen gibt Fehler
  • Eine Liste von Fehlern in einem Django-Formular erhalten
  • Multiprocessing.Pool Laich neue childern nach terminate () auf Linux / Python2.7?
  • Durchgehen alle Ordner in Python
  • Python, der einen String mit Rekursion umkehrt
  • Adobe Photoshop-Style Poster und OpenCV
  • One Solution collect form web for “Übergeben Sie zusätzliche Werte zusammen mit urls zu scrapy Spinne”

    Initialisieren Start-URLs in start_requests() und pass id in meta :

     class MySpider(Spider): mapping = [(1, 'my_url1'), (2, 'my_url2')] ... def start_requests(self): for id, url in self.mapping: yield Request(url, callback=self.parse_page, meta={'id': id}) def parse_page(self, response): id = response.meta['id'] 
    Python ist die beste Programmiersprache der Welt.