java.io.IOException: невозможно запустить программу python с помощью Spark в Pycharm (Windows)

Я пытаюсь написать очень простой код, используя Spark в Pycharm, и моя операционная система — Windows 8. Я столкнулся с несколькими проблемами, которые каким-то образом удалось исправить, за исключением одной. Когда я запускаю код с помощью pyspark.cmd, все работает плавно, но мне не повезло с тем же кодом в pycharm. Возникла проблема с переменной SPARK_HOME, которую я исправил с помощью следующего кода:

import sys import os os.environ[‘SPARK_HOME’] = «C:/Spark/spark-1.4.1-bin-hadoop2.6» sys.path.append(«C:/Spark/spark-1.4.1-bin-hadoop2.6/python») sys.path.append(‘C:/Spark/spark-1.4.1-bin-hadoop2.6/python/pyspark’)

Итак, теперь, когда я импортирую pyspark, и все в порядке:

from pyspark import SparkContext

Проблема возникает, когда я хочу запустить остальную часть моего кода:

logFile = «C:/Spark/spark-1.4.1-bin-hadoop2.6/README.md» sc = SparkContext() logData = sc.textFile(logFile).cache() logData.count()

Когда я получаю следующую ошибку:

15/08/27 12:04:15 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0) java.io.IOException: Cannot run program «python»: CreateProcess error=2, The system cannot find the file specified

Я добавил путь Python в качестве переменной среды, и он правильно работает с использованием командной строки, но я не мог понять, в чем моя проблема с этим кодом. Любая помощь или комментарий приветствуются.

Спасибо

Источник: ledsshop.ru

Стиль жизни - Здоровье!