- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 关于idea导入maven工程后，java文件显示为j的解决办法
1. 打开project Structure2. Modoles中将sources部分中的右边Add Content Root中全部移除3. 点击Add Content Root重新添加sources，j文件即可变成java文件此外，出现如下报错时，原因是打印的环境变量信息太长，超过了限制：Error running $classname: Command line ...
2019-04-21 20:17:24
8545
原创 ssh 认证连接GitHub库
使用https方式，每次需要验证用户身份信息，使用ssh方式需要在开始的时候验证。如下是通过ssh连接github认证的步骤。1、创建key $ ssh-keygen -t rsa -C "你的邮箱" Enter file in which to save the key (/Users/xxx/.ssh/id_rsa): 目录/文件名 目录/文件名 可以不输入，默认在 /Users...
2018-09-06 21:51:02
275
原创 SparkSQL下UDF的使用
在hive中UDF函数可以在使用add jar 的方法添加，然后createTemporary function aaa as 包名.类名创建临时函数，在spark-shell这样使用会报java.lang.ClassNotFoundException: com.luogankun.udf.HelloUDF。这时将jar包放到（1）spark jars下 或配置将jar包的路径配置到（
2017-11-27 20:04:07
874
原创 Spark On Yarn 提交任务报错ERROR SparkContext: Error initializing SparkContext.
spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client $SPARK_HOME/examples/jars/spark-examples_2.11-2.2.0.jar 100出现的错误如下：ERROR SparkContext: Error initializin
2017-11-14 17:02:41
1372
原创 Spark-shell 启动报错Error occurred during initialization of VMToo small initial heap
解决方案：$SPARK_HOME/conf/spark-defaults.conf:参数----》spark.driver.memory 512m重新启动
2017-11-14 13:08:18
11077
原创 使用sqoop导入导出数据
由Hive导出数据到myql中Hive-->mysql[zkpk@master sqoop-1.4.5.bin_hadoop2.0.4-alpha]bin/sqoop export --connect jdbc:mysql://192.168.190.147:3306/test--username hadoop --password hadoop--table uid_cn
2017-10-18 22:20:46
360
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人