Tag: python-2.7

Scrapy Limit Requests für die Prüfung

Ich habe die scrapy Dokumentation für einen Weg gesucht, um die Anzahl der Anträge zu begrenzen, die meine Spinnen erlauben dürfen. Während der Entwicklung möchte ich nicht hier sitzen und auf meine Spinnen warten, um ein ganzes Crawling zu beenden, obwohl die Crawls ziemlich konzentriert sind, können sie noch eine ganze Weile dauern. Ich möchte […]

Listenindex außerhalb des Bereichs beim Zugriff auf die Zeile aus der CSV-Datei lesen

Ich versuche, eine csv-Datei in Python zu lesen. Die csv-Datei hat 1400 Zeilen. Ich öffnete die CSV-Datei mit folgendem Befehl: import csv import sys f=csv.reader(open("/Users/Brian/Desktop/timesheets_9_1to10_5small.csv","rU"), dialect=csv.excel_tab) Dann habe ich versucht, durch die Datei zu schleifen, um den ersten Namen aus jeder Zeile mit den folgenden Kommandos zu ziehen: for row in f: g=row s=g[0] end_of_first_name=s.find(",") […]

Tiefe ersten Suchalgorithmus in Python

(Diese Frage wird hier noch genauer verstanden: python-search-algorithm-from-implied-graphs ) Angenommen, ich habe eine Funktion, die eine Eingabe ($ x_i $) annimmt und dann durch eine Schleife geht und eine Reihe von Ausgängen ergibt ($ x_ {i, j} $). Dann kann jeder Ausgang wieder eine Eingabe auf dieselbe Funktion geben, die weitere Ausgänge liefert ($ x_ […]

Ändere Anzahl der laufenden Spinnen scrapyd

Hey, so habe ich etwa 50 Spinnen in meinem Projekt und ich laufe sie derzeit via scrapyd Server. Ich laufe in ein Problem, wo einige der Ressourcen, die ich verwende, verschlossen und meine Spinnen scheitern lassen oder wirklich langsam gehen. Ich hatte gehofft, dass sie irgendeine Weise war, Scrapyd zu erzählen, dass sie nur noch […]

Legen Sie fehlende Wochentage in Pandas Dataframe und füllen Sie sie mit NaN

Ich versuche, fehlende Wochentage in einer Zeitreihe einzufügen, die dataframe so hat import pandas as pd from pandas.tseries.offsets import * df = pd.DataFrame([['2016-09-30', 10, 2020], ['2016-10-03', 20, 2424], ['2016-10-05', 5, 232]], columns=['date', 'price', 'vol']).set_index('date') df['date'] = pd.to_datetime(df['date']) df = df.set_index('date') Daten sehen so aus: Out[300]: price vol date 2016-09-30 10 2020 2016-10-03 20 2424 2016-10-05 […]

Wie man diese verschachtelte Schleife in Python parallelisiert

Ich versuche, die Leistung meines Codes zu verbessern und kann nicht herausfinden, wie man Multiprocessing-Modul in ihm implementiert. Ich benutze Linux (CentOS 7.2) und Python 2.7 Der Code, den ich in einer parallelen Umgebung laufen muss: def start_fetching(directory): with open("test.txt", "a") as myfile: try: for dirpath, dirnames, filenames in os.walk(directory): for current_file in filenames: current_file […]

Sklearn Logistische Regression mit n_jobs = -1 ist eigentlich nicht parallel

Ich versuche, einen riesigen Datensatz mit sklearns logistischer Regression zu trainieren. Ich habe den Parameter n_jobs = -1 gesetzt (hab auch n_jobs = 5, 10, …) versucht, aber wenn ich htop öffne, kann ich sehen, dass es immer noch nur einen Kern benutzt. Heißt das, dass die logistische Regression einfach den Parameter n_jobs ignoriert? Wie […]

Iterate über Spalten in einer Liste von Listen in Python

Wenn ich die Iteration über Spalten in einer Reihe versuche, ändert sich die Spalte nicht innerhalb einer verschachtelten Schleife: i_rows = 4 i_cols = 3 matrix = [[0 for c in xrange(i_cols)] for r in xrange(i_rows)] for row, r in enumerate(matrix): for col, c in enumerate(r): r[c] = 1 print matrix Beobachtete Ausgabe [[1, 0, […]

Http anfragen: von urllib2 auf anfragen python 2.7

Ich habe versucht, alle meine http-Anfragen in einem Skript von der Verwendung von urllib1 / 2 zu verwenden, um Anfragen zu verwenden, um erweiterte Anfragen zu machen. Klar, das versage ich nicht. Kann mir jemand den Unterschied zwischen: import urllib,urllib2 data=urllib.urlencode(params) req=urllib2.Request("http://play.pokemonshowdown.com/action.php",data,{ 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36)' }) […]

Wörterbuchelemente, die nicht funktionieren, wenn sie über den Befehl powershell übergeben werden

Ich habe ein Wörterbuch aus einer .txt-Datei erstellt, die Desktop-Links enthält. Ich brauche diese Links, um in einen powershell Befehl gesteckt zu werden. Allerdings, wenn ich '%s' % my_data[key] bekomme ich zusätzliche Backslashs und daher wird die powershell den Befehl nicht verarbeiten, weil es keine Ahnung hat, was zu suchen ist, wie entferne ich zusätzliche […]

Python ist die beste Programmiersprache der Welt.