大数据学习时遇到的问题

问题总结

 

目录

HIVE连接拒接数据库密码： 1

Mysql乱码： 2

hadoop集群中datanode会挂掉一个，原因是同步的信息不同，开启安全模式会从副本中赋值； 3

Hue   make  apps编译出错: 4

Hue 启动时报错没有hue用户 5

Hadoop  fs 上传文件命令不管用： 5

Linux网络配置 5

Yum源 9

Mysql 服务停止了，启动服务 10

 

 

HIVE连接拒接数据库密码：

1. 1. show databases;

 

1. 远程连接数据库修改密码

首先修改数据库的远程的权限

grant all privileges on *.* to 'root'@'%' identified by '0';

flush privileges;

9: 开启自启动: 此命令在mysql外执行

加入到系统服务：

chkconfig --add mysql

自动启动：

chkconfig mysql on

然后：修改

 

Mysql乱码：

sqlyog乱码

第一种情况：

在SQLyog下输入下面代码，全部执行

SET character_set_client = utf8;

SET character_set_results = gb2312;

SET character_set_connection = utf8;

如果上边的不行，还可以改成Gbk。总以根据你的数据的文字编码改成相应的编码类型就ok了。给出Gbk的代码：

SET character_set_client = gbK;

SET character_set_results = gbK;

SET character_set_connection = utf8;

但是重启SQL之后又不行了。

2.Tools->Preference Base->Editor 修改Fonts

修改完成后,重新启动SQLyog就好了。

第二种情况：

MySQL要支持完整的中文字符集，应该设置为GBK编码。

找到MySQL安装目录的my.ini，修改utf8为gbk，如下：

default-character-set=gbk

共两处需要修改。

重启MySQL服务。

结果，用SQLyog查看数据表，显示正常。

还有在Linux中，hive的时候出现编码问题

 

 

hadoop集群中datanode会挂掉一个，原因是同步的信息不同，开启安全模式会从副本中赋值；

首先试试；重启挂掉的节点，使用以下的命令重启datanode

bin/hadoop-daemon.sh start datanode     //启动数据节点

bin/hadoop-daemon.sh start tasktracker  //启动任务管理器

 

主要解决方法

方式一：删除主节点下你的data中dfs的data

 

方式二：挂掉的节点下的data的datanode中的version的信息id根据好的从节点datanode的data的version修改一致

 

非正常手段关闭正在运行的hadoop集群的Linux，会触发Linux的安全机制，会在节点的文件夹中生成以.lck结尾的文件，删除就行

 

 

 

 

Hue   make  apps编译出错:

 

编译前确认mysql的一些组件。如果没有,编译时会出现mysql-config，下载Yum -y install mysql-devel

缺什么下载什么。

https://www.cnblogs.com/alexzhang92/p/10942436.html

https://blog.youkuaiyun.com/a904364908/article/details/86442509

出现mysql_config文件没有：

yum -y install mysql-server mysql mysql-devel

 

下载时如果出现mysql的冲突，rpm -qa | grep MySQL ,卸载原来的，原有的数据库数据还在，rpm -e –nodeps +mysql……….

 

别的错误看上面链接文档

然后重启mysql服务，进行编译

Service mysql start

Hue 启动时报错没有hue用户

 

解决：

添加hue用户  useradd hue

              Passwd  hue

Hadoop  fs 上传文件命令不管用：

可以用命令查看我们用的哪儿的命令

Whih hadoop

 删除掉 /usr/bin/Hadoop  

 

 

Linux网络配置

Ip a ：查看ip时出现，出现eth1

vim /etc/udev/rules.d/70-persistent-net.rules

注释掉第一行etho，把第二行的eth1 改为eth0

 

 

然后修改ip

vim /etc/sysconfig/network-scripts/ifcfg-eth0

 

 

ifcfg-eth0

DEVICE=eth0

TYPE=Ethernet

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=none

DEFROUTE=yes

PEERDNS=yes

PEERROUTES=yes

IPV4_FAILURE_FATAL=yes

IPV6INIT=no

NAME="System eth0"

IPADDR=192.168.100.202

NETMASK=255.255.255.0

GATEWAY=192.168.100.2

DNS1=8.8.8.8

 

 

 

Yum源

 

 

 

Mysql 服务停止了，启动服务