Tag: csv

Effiziente Möglichkeit, wenige Datenzeilen aus einer großen csv-Datendatei in Python zu extrahieren

Ich habe eine große Anzahl von csv-Datendateien, und jede Datendatei enthält mehrere Tage im Wert von Tick-Daten für einen Ticker in der folgenden Form: ticker DD/MM/YYYY time bid ask XXX, 19122014, 08:00:08.325, 9929.00,9933.00 XXX, 19122014, 08:00:08.523, 9924.00,9931.00 XXX, 19122014, 08:00:08.722, 9925.00,9930.50 XXX, 19122014, 08:00:08.921, 9924.00,9928.00 XXX, 19122014, 08:00:09.125, 9924.00,9928.00 … XXX, 30122014, 21:56:25.181, 9795.50,9796.50 XXX, […]

Python: komplizierte Loop-Liste

import csv import collections def do_work(): (data,counter)=get_file('thefile.csv') b=samples_subset1(data,counter,'/pythonwork/samples_subset4.csv',500) medications_subset2(b,['HYDROCODONE','MORPHINE','OXYCODONE']) def get_file(start_file): with open(start_file,'rb') as f: data=list(csv.reader(f)) counter=collections.defaultdict(int) for row in data: counter[row[10]]+=1 return (data,counter) def samples_subset1(data,counter,output_file,sample_cutoff): with open(output_file,'wb') as outfile: writer=csv.writer(outfile) b_counter=0 b=[] for row in data: if counter[row[10]]>=sample_cutoff: b.append(row) writer.writerow(row) b_counter+=1 return b def medications_subset2(b,drug_input): brand_names={'MORPHINE':['ASTRAMORPH','AVINZA','CONTIN','DURAMORPH','INFUMORPH', 'KADIAN','MS CONTIN','MSER','MSIR','ORAMORPH', 'ORAMORPH SR','ROXANOL','ROXANOL 100'], 'OXYCODONE':['COMBUNOX','DIHYDRONE','DINARCON','ENDOCET','ENDODAN', 'EUBINE','EUCODAL','EUKODAL','EUTAGEN','OXYCODONE WITH […]

Python – Zusammenführen von csv-Dateien mit einer Achse gemeinsam

Ich muss zwei csv-Dateien zusammenführen, A.csv und B.csv , mit einer Achse gemeinsam, extrahieren: 9.358,3.0 9.388,2.0 und 8.551,2.0 8.638,2.0 Ich möchte die endgültige Datei C.csv haben das folgende Muster: 8.551,0.0,2.0 8.638,0.0,2.0 9.358,3.0,0.0 9.388,2.0,0.0 Wie schlägt man vor, es zu tun? Soll ich für eine Schleife gehen?

Python lesen CSV-Datei, und schreiben Sie an andere Skipping-Spalten

Ich habe CSV-Eingabedatei mit 18 Spalten Ich muss neue CSV-Datei mit allen Spalten aus der Eingabe außer Spalte 4 und 5 erstellen Meine Funktion sieht jetzt aus def modify_csv_report(input_csv, output_csv): begin = 0 end = 3 with open(input_csv, "r") as file_in: with open(output_csv, "w") as file_out: writer = csv.writer(file_out) for row in csv.reader(file_in): writer.writerow(row[begin:end]) return […]

Welche Art von Daten in csv wird null nach laden in mysql und pandas

Ich habe eine csv Datei, die die null . Sie repräsentieren in drei Format Der Rohling zwischen zwei Komma, das heißt ,, Die NaN zwischen zwei Komma, das heißt ,NaN, Die NA zwischen zwei Komma, das heißt ,NA, Ich habe ein Experiment in pandas und finde, dass sie als NA oder Nan in dataframe nach […]

Analysieren einer csv-Datei und aggregieren Werte in python

Ich schaue, um eine CSV-Datei zu analysieren und 2 Spalten zu aggregieren. Daten in der csv-Datei: 'IP Address', Severity 10.0.0.1, High 10.0.0.1, High 10.0.0.1, Low 10.0.0.1, Medium 10.0.0.2, Medium 10.0.0.2, High 10.0.0.2, Low 10.0.0.3, Medium 10.0.0.3, High 10.0.0.3, Medium Ich freue mich auf eine Reihe von: 'IP Address', Severity 10.0.0.1, High:2, Medium:1, Low:1 10.0.0.2, High:1, […]

Für Loop über mehrere Ordner, um die Datetime in mehreren CSV-Dateien zu wiederholen und mit dem Dateinamen automatisch generiert zu exportieren

Ich habe viele Dataframes (csv-Dateien) in verschiedenen Ordnern in meinen Dokumenten auf meinem Computer. Alle csv-Dateien haben die gleiche Anzahl von Spalten, wobei der Name jeder Spalte gleich ist und in der gleichen Reihenfolge, jedoch variieren die Anzahl der Datenzeilen in den Dateien. Alle Dateien haben "Datetime" als ihre erste Spalte, wobei "YYYYMMDD HH: MM: […]

Wie kann ich eine csv-Datei mit python * ohne * laden, um die ganze Datei in den Speicher zu laden?

Für eine meiner Datenanalyse Pipelines, ich am Ende generieren eine Menge von einzelnen CSV-Dateien. Ich möchte sie umsetzen, sie verketten und wieder umsetzen. Allerdings ist die Menge an Daten groß, so dass alles in den Speicher geladen wird, ist nicht praktisch.

Pandas-Skript, das Zahlen zu langen Float-Nummern modifiziert, wenn es nicht einmal diese Spalte / Element ändern sollte

Ich habe ein Pandas-Skript unten verursacht mir Kopfschmerzen, weil es hält meine Daten ändern, wenn es nicht sein sollte, kann das Beispiel unten wieder das Problem 100% perfekt erstellen. (Nahm mich für immer herauszufinden, was dieses Problem verursacht hat) Grundsätzlich, wenn du die Originaldatei mit dem modifizierten testing2.csv wirst du sehen, dass Zahlen wie: 0.357 […]

Spalte mit einem Header zu einer tabulatorgetrennten Textdatei hinzufügen?

Ich merke, dass es eine Möglichkeit gibt, eine Spalte mit 'awk' hinzuzufügen. Aber ich bin nicht so vertraut mit dieser Alternative, also würde ich aber fragen, ob es eine Möglichkeit gibt, eine Spalte zu einer tabulatorgetrennten Textdatei mit Python hinzuzufügen? Speziell hier ist das Szenario, das ich hinzufügen muss eine Spalte in: Ich habe Daten […]

Python ist die beste Programmiersprache der Welt.