
大数据学习
南风剑声
这个作者很懒,什么都没留下…
展开
-
mac下读取ntfs
最近需要在mac下读取ntfs 有两种方式开启mac原生的读取ntfs的方式具体操作 网上一搜就有了但是在我的电脑上 开启后那个分区无法挂载 等于没用使用ntfs for mac破解版paragon ntfs for mac 15破解版...原创 2018-12-04 11:01:48 · 927 阅读 · 0 评论 -
strom运行jar包报异常 Exception in thread "main" java.lang.NoClassDefFoundError: backtype/storm/topology/I
storm集群提交jar包运行时 一直报异常:Exception in thread "main" java.lang.NoClassDefFoundError: backtype/storm/topology/IRichSpout经过几天的挣扎 发现是strom版本问题strom官网有句话:In the latest version, the class packages have ...原创 2019-02-05 13:56:57 · 1780 阅读 · 0 评论 -
hbase启动后hmaster一会自动挂掉,hregionserver启动不了
背景是这样 hbase单机伪分布式 zookeeper采用的虚拟机的单节点zookeeper执行start-hbase.sh后问题一启动了hmaster 一会自己又挂掉了解决:zookeeper问题 没启动好检查zoo.cfg发现里面配置的server ip 不对问题二hregionserver无法启动: 查看日志 显示16020端口占用和hmaster冲突解决:使...原创 2019-01-17 16:43:38 · 3094 阅读 · 0 评论 -
Hadoop集群中DataNode启动不了
主要原因是因为datanode的clusterID 和 namenode的clusterID 不匹配解决办法停止Hadoop的所有进程删除每个节点Hadoop目录下 logs 和 tmp手动创建每个节点下 logs 和 tmp 文件夹到Hadoop/bin目录下,重新格式化:hdfs namenode -format没有问题后,重新启动hadoop集群,DataNode...原创 2018-12-20 14:52:25 · 1574 阅读 · 1 评论 -
hadoop分布式集群搭建
Hadoop的搭建有三种方式,单机版适合开发调试;伪分布式版,适合模拟集群学习;完全分布式,生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群,一个主节点,三个数据节点为例来讲解。基础环境环境准备1、软件版本四台服务器配置,系统:centos6.5、内存:1G、硬盘:20G四台服务器分配的IP地址:192.168.0.71/72/73/74规划:71用作主节点用作hado...转载 2018-12-20 14:47:39 · 131 阅读 · 0 评论 -
Hive安装
我搭建的大数据学习环境 hadoop是四台机器的一个集群安装Hive的时候只需要安装在一个节点上即可上传tar包到安装目录下 /usr/local解压tar -zxvf apache-hive-1.2.1-src.tar.gz /usr/local/apache-hive-1.2.1安装mysql数据库(切换到root用户)(装在哪里没有限制,只有能联通hadoop集群的节点...原创 2018-12-14 15:14:53 · 1189 阅读 · 0 评论 -
解决本地调试远程hdfs用户名权限问题
解决本地调试远程hdfs用户名权限问题自己使用idea运行mapreduce程序 本地的hadoop访问远程hdfs本地用户名lilinglin hdfs用户名root 启动时会导致以下异常:Exception in thread "main" org.apache.hadoop.security.AccessControlException: org.apache.hadoop.secu...原创 2018-12-03 20:09:06 · 1251 阅读 · 0 评论 -
mapreduce程序启动时日志警告
mapreduce程序启动时日志警告log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system properly.log4j:WARN See htt...原创 2018-12-03 19:20:22 · 343 阅读 · 0 评论 -
登录mysql出错 Access denied for user 'root'@'localhost'
登录mysql的时候一直出错ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)结合网上好多文章解决如编辑mysql配置文件my.ini(不知道在哪请搜索),在[mysqld]这个条目下加入skip-grant-tables保存退出后重启mysql /etc/in...原创 2018-12-12 21:52:56 · 224 阅读 · 0 评论 -
Spark的scala版本和sbt的scala版本不同打包提交运行失败
在提交sbt的jar包到Sprak运行时:报异常:Caused by: java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize at SimpleApp$.$deserializeLambda$(SimpleApp.scala) ... 60 moreC...原创 2019-03-12 19:33:59 · 1853 阅读 · 0 评论