GameOverTryAgain的博客

微软为Python提供了专用的编译器Microsoft Visual C++ Compiler for Python 2.7（包含32位和64位） 下载地址: http://aka.ms/vcpython27下载直接安装，安装完成后找到vcvarsall.bat，实在找不到 search vcvarsall.bat 这个文件，我的是在'C:\Users\zhucm\AppData\Loca...

from pyspark.context import SparkContextfrom pyspark.sql.session import SparkSessionsc = SparkContext('local')spark = SparkSession(sc)df = spark.read.csv('aaa.csv')

 cd $SPARK_HOME/conf目录下，拷贝一个log4j.properties.template，命名为log4j.properties[plain] view plain copy$ cp log4j.properties.template log4j.properties  2. 进入log4j.properties文件，将其中的INFO修改为WARN(第二行位置) 后，只显示WAR...

随便打开一个project，pycharm右上角“run”三角形的左边有一个edit configurition，打开它。 设置configurition---Environment--- Environment variables ---点击“...”，出现框框，点击+，输入两个name，一个是SPARK_HOME  =  D:/spark-2.1.1-bin-hadoop2.7...

 安装hadoop winutils，下载链接https://github.com/steveloughran/winutils， 选择你要的hadoop版本号，比如2.8.1，你只需要下载winutils.exe，然后拷贝到C:\Hadoop\bin文件夹中。创建系统变量HADOOP_HOME，为C:\Hadoop，添加%HADOOP_HOME%\bin到PATH变量中 以管理员身份打开cmd，...