Einstellungsumgebungsvariablen aus pythoncode für funken

Ich habe die Umgebungsvariablen in Mac pyspark , um pyspark zu laufen

 export SPARK_HOME=/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6 export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH 

Die obigen Zeilen macht die Arbeit für mich.

Ich versuche, die oben genannten Befehle in python mit den folgenden Zeilen von Python-Code zu replizieren

 os.environ['SPARK_HOME']="/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6" spark_home=os.environ.get('SPARK_HOME',None) sys.path.append("/Users/devesh/Downloads/spark-1.5.1-bin-hadoop2.6/python/") sys.path.insert(0,os.path.join(spark_home,'py4j-0.8.2.1-src.zip')) 

Aber es funktioniert nicht Bitte sag mir, was mache ich falsch?

  • Wählen Sie Array-Element aus Spark Dataframes Split-Methode im gleichen Anruf?
  • Filtern eines Pyspark DataFrame mit SQL-like IN-Klausel
  • Histogramm mit Spark DataFrame-Spalte erstellen
  • Schreibe Datendruck als CSV mit Partitionen
  • Wie benutzt man Scala und Python in einem selben Spark-Projekt?
  • Kann nur mit RDD zip, die die gleiche Anzahl von Partitionen Fehler hat
  • One Solution collect form web for “Einstellungsumgebungsvariablen aus pythoncode für funken”

    Ihre letzte Zeile des Python-Codes:

     sys.path.insert(0,os.path.join(spark_home,'py4j-0.8.2.1-src.zip')) 

    Ist mit Ihrem Shell-Code unvereinbar. Sie können es ändern zu:

     sys.path.insert(0,os.path.join(spark_home,'python','lib','py4j-0.8.2.1-src.zip')) 
    Python ist die beste Programmiersprache der Welt.