Spark配置MySQL

目录

一、安装MySQL

二、mysql shell

三、MySQL中文乱码的问题

四、MySQL密码

 1.查看MySQL默认密码 

 2.修改MySQL密码

 3.错误示例 

五、重启MySQL服务 

六、pyspark 连接 mysql数据库

七、完全卸载MySQL

---

一、安装MySQL

sudo apt-get update  #更新软件源
sudo apt-get install mysql-server  #安装mysql

 1.导入mysql版本的mysql-connector-j-8.0.33.jar包

mysql --version  #查看MySQL版本信息

 2.启动mysql服务器

service mysql start

 3.确认是否启动成功

sudo systemctl status mysql
Ctrl + Z  #键盘 退出mysql状态

sudo netstat -tap | grep mysql  #找不到netstat命令

二、mysql shell

 1.开启mysql shell

mysql -u root -p

 2.退出 mysql shell 

exit
quit

三、MySQL中文乱码的问题

1.修改配置文件/etc/mysql/mysql.conf.d/mysqld.cnf

sudo gedit /etc/mysql/mysql.conf.d/mysqld.cnf

 在[mysqld]下添加一行 

character_set_server=utf8

 2.重启MySQL服务

service mysql restart

 3.查看MySQL目前设置的编码

show variables like "char%";

四、MySQL密码

ERROR 1698 (28000): Access denied for user ‘root’@’localhost’ 

•  查看MySQL默认密码 

sudo cat /etc/mysql/debian.cnf  #查看MySQL默认用户名密码ecAw5SYgMW5zV6m1
mysql -udebian-sys-maint -p     #以默认密码形式进入MySQL shell

•  修改MySQL密码

1.进入mysql

sudo mysql  #强制进入MySQL shell

use mysql;

2.修改密码

（1）修改本地访问的MySQL密码

# 只允许本地访问的
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '123456';

（2）修改远程访问root的MySQL密码

# 远程访问root
mysql> UPDATE user SET `Host` = '%' WHERE `User` = 'root' LIMIT 1;
mysql> flush privileges;

 修改配置文件/etc/mysql/mysql.conf.d/mysqld.cnf， 把bind-address = 127.0.0.1注释，即在bind-address = 127.0.0.1前面加‘#’

sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf

3.重启MySQL服务 

service mysql restart  #重启mysql服务

• 错误示例 

1.重置密码失败

mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';  
mysql> FLUSH PRIVILEGES;        #修改PLUGIN设置

2.mysql旧版本语句  --语法错误

1.
UPDATE mysql.user SET authentication_string=PASSWORD('000'), PLUGIN='mysql_native_password' WHERE USER='root';

2.
FLUSH PRIVILEGES;  
SET PASSWORD FOR 'root'@'localhost' = PASSWORD('000'); --MySQL 5.6.0版本

五、重启MySQL

service mysql restart

service mysql stop    #关闭服务
service mysql start   #开启服务

/etc/init.d/mysql stop
/etc/init.d/mysql start

 重新登录 mysql shell

mysql -uroot -p

六、pyspark 连接 mysql数据库

1. 启动MySQL数据库

2.启动pyspark，指定mysql连接驱动jar包

cd /usr/local/spark
./bin/pyspark 
--jars /usr/local/spark/jars/mysql-connector-j-8.0.33/mysql-connector-j-8.0.33-bin.jar --driver-class-path /usr/local/spark/jars/mysql-connector-j-8.0.33/mysql-connector-j-8.0.33-bin.jar

 3.连接数据库，读取数据

# mysql8.0.xx版本的语句
>>> jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/spark?useUnicode=true&useCharacter=UTF-8&useSSL=true").option("driver","com.mysql.cj.jdbc.Driver").option("dbtable", "student").option("user", "root").option("password", "123456").load()
>>> jdbcDF.show()

七、完全卸载MySQL

···bash
sudo rm /var/lib/mysql/ -R
sudo rm /etc/mysql/ -R
sudo apt-get autoremove mysql* --purge
sudo apt-get remove apparmor
···