lx1309244704的博客

我看了一下我写的博客，确实从各个方面来说，写的的确很不好；如果有看完并且不懂得兄弟可以使用我搭建好的环境，使用方法如下： 使用的环境：VMware Workstation 10。 VM下载地址：链接：https://pan.baidu.com/s/1hJ3oNwfnDQ_kFlJCQO1ZvA 提取码：vvij  环境下载地址：链接：链接：https://pan.baidu.com/s/1F...

代码我们已经写好了，接下来我们就是打包，然后再环境上去执行了，打包方式如下：   在服务器的home目录下创建一个文件夹sparkSubmit 然后将打包的jar包上传sparkSubmit，然后再写一个启动脚本 任务提交方式和参数请参考官方文档：http://spark.apache.org/docs/latest/submitting-applications.html，s...

项目介绍，这个项目主要做一个注册历史统计留存。我这里不用sparkCore的方式来做（我觉得sparkCore的方式比较适合做数据整理），因为我觉得这种方式不是特别方便我这里就直接使用 DataFrame，当然最直接的方式就是看官方的文档： 官方地址：http://spark.apache.org/docs/1.6.2/api/scala/index.html#org.apache.spark....

先安装scala 环境： eclipse版：spring-tool-suite-3.9.1.RELEASE-e4.7.1a-win32-x86_64 下载地址：https://www.scala-lang.org/download/  然后配置环境变量，参考以下地址： http://www.runoob.com/scala/scala-install.html 打开eclipse 然...

上传解压 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz，重命名 tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop 进入sqoop下的conf目录：cd /home/sqoop/conf,然后将sqoop-env-template.sh 拷贝一份命...

上传hive架包，然后解压： tar -zxf apache-hive-2.3.3-bin.tar.gz hive 重命名  mv apache-hive-2.3.3-bin hive 将mysql的驱动包加入hive的lib文件下面 进入hive目录下的conf cd /home/hive/conf/ 把初始化的文件 复制一份出来 并且改名 cp hive-env...

  我用的hadoop2.8.5 + apache-hive-2.3.3 +sqoop-1.4.7 + jdk1.8 + mysql 5.7 + scala-2.12.7 + spark-2.3.2-bin-hadoop2.7 第一步上传所需的包：我把所有的包都放在了home下面，如下： 先安装jdk 和mysql ：     jdk安装：https://blog.youkuaiyun.com/l...

上传scala和spark架包 scala官网下载：https://www.scala-lang.org/download/ spark官网下载：http://spark.apache.org/downloads.html 解压然后重命名 tar -zxf scala-2.12.7.tgz mv scala-2.12.7 scala   tar -zxf spark-2.3...