- 博客(9)
- 收藏
- 关注
原创 KVM网络模式解析
/usr/libexec/qemu-kvm -net nic,model=?rt18139 这个网卡类型是kvm默认的网卡类型;e1000 是Intel网卡类型;virsh net-list每创建一个网络,都会自动生产一个配置文件。/etc/libvirt/qemu/networks/cd /usr/share/libvirt/networks/cp default.xml new_nat.xmlvi new_nat.xmlvirsh --help |grep netvirsh net-d
2024-05-28 14:35:27
841
原创 sqoop组建安装与配置
能 够 查 看 到 MySQL 数 据 库 中 的 information_schema 、 hive 、 mysql 、performance_schema、sys 等数据库,说明 Sqoop 可以正常连接 MySQL。删除 MySQL 数据, student 表中 number 为主键,添加信息导致主键重复,报错,所以删除表数据。可删除#号 在后面添加。创建student表。
2024-05-10 11:20:23
1269
1
原创 搭建Hadoop伪分布式
找到export JAVA_HOME=${JAVA_HOME} 将“${JAVA_HOME}”改为JDK的安装路径。先备份文件cp spark-env.sh.template spark-env.sh。hadoop -version 检查Hadoop是否配置成功。7.启动集群:spark目录下:./start-all.sh。将 hadoop-2.7.1 文件夹重命名为 Hadoop。刷新环境变量 执行命令验证JDK是否安装成功。JPS查看进程,测试Hadoop进程是否启动。格式化Namenode。
2024-04-26 11:43:24
1554
5
原创 hive 简简单单易如反掌
1. 实验一:Linux操作系统环境设置实验环境 本实验所需之主要资源环境:资源环境 服务器集群 单节点,机器最低配置:双核 CPU、8GB 内存、100G 硬盘 运行环境 CentOS 7.4 服务和组件 服务和组件根据实验需求安装。
2024-04-25 23:37:02
1594
6
原创 Hive 组件安装配置
(2)本地安装 MySQL 数据库(账号 root,密码 Password123$), 软件包在/opt/software/mysql-5.7.18 路径下。将/usr/local/src/hive/conf 文件夹下 hive-default.xml.template 文件,更名为 hive-site.xml。6 )将以下位置的 ${system:java.io.tmpdir}/${system:user.name} 替换为 “/usr/local/src/hive/tmp”目录及其子目录。
2024-04-08 09:36:57
1501
1
原创 配置IP和YUM
yum( Yellow dog Updater, Modified)是一个在 Fedora 和 RedHat 以及 SUSE 中的 Shell 前端软件包管理器。基于 RPM 包管理,能够从指定的服务器自动下载 RPM 包并且安装,可以自动处理依赖性关系,并且一次安装所有依赖的软件包,无须繁琐地一次次下载、安装。
2024-03-15 11:38:27
599
1
原创 spark概述以及linux常用命令
Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎,它是基于内存计算的大数据并行计算框架,适用于各种各样的分布式平台的系统。在Spark生态圈中包含了Spark SQL、Spark Streaming、GraphX、MLlib等组件。
2024-03-08 10:44:35
415
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人