Tag: Multiprocessing

RuntimeError von Python tritt auf Windows zum Multiprocessing auf

Ich versuche Threading und Multiprocessing für Python auf einem Windows-Maschine. Aber Python geben die folgende Nachricht. RuntimeError: Attempt to start a new process before the current process has finished its bootstrapping phase. This probably means that you are on Windows and you have forgotten to use the proper idiom in the main module: if __name__ […]

Wie komme ich mehr Fäden als Prozesse, die ich nach meinem Pool in py3k Multiprocessing unter Linux gefragt habe?

Ich versuche, eine Arbeit zu verarbeiten, die auf meinem Mac läuft (Pyton 3.2.2 unter Mac OS 10.7), aber gibt den folgenden Fehler auf einem Linux-Cluster Ich laufe es, wo ich 4 Kerne bekam und auf Python 3.2 zugreifen. Die Fehlermeldungen werden fortgesetzt, bis ich die Ausführung manuell überbringe. Exception in thread Thread-2: Traceback (most recent […]

Änderungsobjektwert in Threads mit Python

Ich bin sehr neu in Python, also frage ich vielleicht eine einfache Frage. Ich zerreiße einen Multiprozess-Code mit Python: from multiprocessing import Process from multiprocessing import Queue class myClass(object): def __init__(self): self.__i = 0 self.__name = 'rob' return def target_func(self, name, q): self.__name = name print 'Hello', self.__name self.__i += 1 print self.__i q.put([self.__i, self.__name]) […]

Python Multiprocess mit Pool scheitert auf AWS Ubuntu

Ich habe ein einfaches String Matching Skript, das testet gut für Multiprocessing mit bis zu 8 Pool-Arbeiter auf meinem lokalen Mac mit 4 Kerne. Allerdings tötet das gleiche Skript auf einem AWS c1.xlarge mit 8 Kerne in der Regel alle bis auf 2 Arbeiter, die CPU funktioniert nur bei 25% und nach einigen Runden stoppt […]

Python-Multiprocessing – Logging.FileHandler-Objekt hebt PicklingError

Es scheint, dass Handler aus dem logging Modul und multiprocessing Jobs nicht mischen: import functools import logging import multiprocessing as mp logger = logging.getLogger( 'myLogger' ) handler = logging.FileHandler( 'logFile' ) def worker( x, handler ) : print x ** 2 pWorker = functools.partial( worker, handler=handler ) # if __name__ == '__main__' : pool = […]

Mit Threading / Multiprocessing in Python, um mehrere Berechnungen zur gleichen Zeit zu tun

Ich habe eine Liste von Zahlen. Ich möchte einen zeitaufwändigen Betrieb auf jeder Nummer in der Liste durchführen und eine neue Liste mit allen Ergebnissen erstellen. Hier ist eine vereinfachte Version von was ich habe: def calcNum(n):#some arbitrary, time-consuming calculation on a number m = n for i in range(5000000): m += i%25 if m […]

Warum endet mein Multiprozess-Python-Skript nie?

Ich versuche einige Multiprozess-Beispiele, vor allem: http://toastdriven.com/blog/2008/nov/11/brief-introduction-multiprocessing/ wo ich die "einfache Anwendung" genommen habe, die Multiprozess verwenden, um URLs zu testen. Wenn ich es (in Python 3.3, auf Windows in PyCharm IDE) mit einigen Modifikationen, mit vielen URLs, mein Skript nie aufhören, und ich sehe nicht, warum. import httplib2 import sys from multiprocessing import Lock, […]

Effiziente Datei lesen in Python mit Notwendigkeit, auf '\ n'

Ich habe traditionell in Dateien gelesen mit: file = open(fullpath, "r") allrecords = file.read() delimited = allrecords.split('\n') for record in delimited[1:]: record_split = record.split(',') und with open(os.path.join(txtdatapath,pathfilename), "r") as data: datalines = (line.rstrip('\r\n') for line in data) for record in datalines: split_line = record.split(',') if len(split_line) > 1: Aber es scheint, wenn ich diese Dateien […]

Python-Multiprocessing IOError: [Errno 232] Das Rohr wird geschlossen

Ich versuche, dieses Tutorial auf mutliprocessing in Python zu implementieren, aber als ich versuchte, meine eigene Aufgabe zu tun, bekomme ich folgende Fehlermeldung: Traceback (most recent call last): >>> File "C:\Python27\lib\multiprocessing\queues.py", line 262, in _feed send(obj) IOError: [Errno 232] The pipe is being closed Hier ist ein reproduzierbares Beispiel dafür, was ich versuche zu tun, […]

Multiprocessing und variable Rendite?

Ich habe meinen Kopf gegen Multiprocessing in Python für den besseren Teil des Tages jetzt geschlagen, und ich habe es geschafft, sehr wenig Fortschritte zu machen – ich entschuldige mich, wenn meine Frage ein Duplikat ist oder meine Unwissenheit offensichtlich ist – ich konnte es nicht finden Fragte irgendwo anders auf diese Weise. Ich bin […]

Python ist die beste Programmiersprache der Welt.