l_ibrary的博客

原创 sql安装(Mac)

使用homebrew brew install mysql mysql_secure_installation 配置密码: (最好123456) 然后可以启动mysql #启动 mysql.server start #进入交互界面 mysql -uroot -p 在pyspark访问mysql时遇到的问题: jdbaDF=spark.read.format('jdbc').option("driver","com.mysql.jdbc.Driver").option("url","jdbc:m

原创 pyspark写hbase出错

Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.Put.add([B[B[B)Lorg/apache/hadoop/hbase/client/Put; saveAsNewAPIHadoopDataset(conf=conf,keyConverter=keyConv,valueConverter=valueConv) pyspark调用这个方法的时候出错.未解决. ...

原创 mac配置spark并编写程序读取HBase数据

配置spark 将hbase的lib目录下的一些jar包拷贝到spark的jar目录 cd /usr/local/spark/jars mkdir hbase cd hbase cp /usr/local/hbase/lib/hbase*.jar ./ cp /usr local/hbase/lib/guava-12.0.1.jar ./ cp /usr/local/hbase/lib/client-facing-thirdparty/htrace-core4-4.2.0-incubating.jar

原创 MAC安装hbase

http://archive.apache.org/dist/hbase/ 下载hbase安装文件,我下载的2.2.4(hadoop安装的3.2.1) 解压安装包,并将文件放入/usr/local目录下,改名字为hbase 配置环境变量 vim ~/.bashrc export PATH=$PATH:/usr/local/hbase/bin 编辑完成之后,执行source命令使上述配置在当前终端生效: source ~/.bashrc 查看Hbase版本,确定hbase安装成功 /usr/lo.

原创 mac pyspark运行报错

1.20/06/08 17:58:27 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0) org.apache.spark.api.python.PythonException: Traceback (most recent call last): File "/usr/local/spark/python/lib/pyspark.zip/pyspark/worker.py", line 469, in main ("%d.%d" % sy

原创 通过spark-submit运行python文件

原创 pyspark运行报错

```python from pyspark import SparkConf, SparkContext conf=SparkConf().setMaster("local").setAppName("My App") sc=SparkContext(conf=conf) logFile="file:///usr/local/spark/README.md" logData=sc.textFile(logFile,2).cache() numAs=logData.filter(lambda line: .

原创 mac 下使用pyspark

pyspack --master 以后默认为python的2.7版本 使用: export PYSPARK_PYTHON=python3 将其设置为python3的版本

转载 MAC 下安装hadoop

官网下载hadoop: http://hadoop.apache.org/releases.html 文件下载后解压,将文件放入 /usr/local目录下 伪分布式模式设置: 进入目录: hadoop-3.2.1/etc/hadoop 在hadoop-env.sh文件中增加JAVA路径设置: export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_211.jdk/Contents/Home 打开core-site.xml文件, fs.d.

原创 使用spark shell 编写第一个代码

spark初学 启动 spark shell : spark-shell .启动之后会自动创建sc的spark context对象 加载text文件: spark创建sc,可以加载本地文件和HDFS文件创建RDD. val textFile = sc.textFile(“file:///usr/local/spark/README.md”) (加载本地文件) //获取文件textFile的第一行的内容 textFile.first() //获取RDD文件textFile所有项的计数 textFile.

原创 MAC下安装SPARK

@MAC 下安装Saprk 参考: https://cloud.tencent.com/developer/article/1423508 1.搭建hadoop 2.执行:brew install scala 终端执行:scala -version查看是否安装成功 命令行输入: vim ~/.bash_profile 增加环境变量 export SCALA_HOME=/usr/local/Cellar/scala/2.13.2 (对应自己的安装版本) export PATH=PATH:PATH:PAT