- 博客(12)
- 收藏
- 关注
RSS订阅
1转载 redis基础命令
Redis 默认有16个数据库默认使用的是第0个数据库不同数据库存不同的值数据库切换数据库select127.0.0.1:6379> select 1 OK 127.0.0.1:6379[1]>[]中的数字即为数据库编号（0 号数据库为默认，不展示编号）。查看当前数据库大小dbszie127.0.0.1:6379[1]> dbszie (integer) 1清空当前库flushdb127...
2022-04-24 17:20:51
481
原创 fusioninsight HD连接hive
安全模式windows环境下连接：我使用的是pyhive连接方式，还需下载sasl包（本地下载不下来，要到指定网站去下），连接hiveserver一直报错:from pyhive import hiveconn = hive.Connection(host='172.23.44.2', port=21066, username='hengtian', database='default', auth='KERBEROS',kerberos_service_name="hive")curso
2022-03-02 13:54:24
722
原创 hadoop集群搭建
本机基本配置（hadoop配置要求）网卡配置配置主机名（自己给自己起一个名字）修改host映射（方便多台机器之间互传资料）关闭防火墙克隆之后记得删除多余的网卡重启电脑，使网卡生效其他俩台机器按照上面重新操作一遍记得修改对应的内容（hadoop02 hadoop03）免密登陆SSH安装免密登录客户端：yum install -y openssh-clients生成...
2022-02-27 17:24:43
85
原创 hdfsAPI
package test;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;import org.apache.parquet.example.data.Group;import org.apache.parquet.hadoop.ParquetReader;import org.apache.parquet.hadoop..
2021-10-08 09:54:12
100
原创 hbaseAPI
package com.atguigu.test;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.util.Bytes;import java.io.IOException;public class TestAPI { private .
2021-10-05 14:33:29
74
原创 spark编程笔记
表达能力MapReduce需要将所有计算转换为Map和Reduce，难以描述复杂处理过程；Spark除Map和Reduce外，还支持RDD/DataFrame/DataSet等多种数据模型操作，编程模型更加灵活。磁盘IOMapReduce每步运算都要从磁盘读取数据，结束后写入磁盘数据，仅有小部分数据作为临时缓存放入内存，磁盘IO开销比较大；Spark将中间结果直接放入内存，既提高了迭代运算效率，又避免了大量的重复计算，据官方提供数据，同样迭代运算效率Spark:Hadoop=110:0.9。任务
2021-09-25 12:08:27
207
原创 hdfs笔记
CentOS 7.0默认使用的是firewall作为防火墙查看防火墙状态systemctl status firewalld停止firewallsystemctl stop firewalld禁止firewall开机启动systemctl disable firewalldfirewall开机启动systemctl enable firewalld修改主机名hostnamectl set-hostname 'new name'2021-8.21.查看ip地址的命令：ipconfi
2021-09-25 12:06:46
455
原创 hbase完全分布式环境搭建
1.进入官网下载hbase版本点击hbase下载选择版本2.把下载的压缩包上传到虚拟机解压到/usr/local目录下tar -zxvf hbase-1.2.0-cdh5.14.2.tar.gz /usr/local3.修改conf/文件下的配置文件hbase-env.sh[root@hadoop01 ~]# cd /usr/local/hbase-2.2.7/conf/ [root@hadoop01 conf]# vim hbase-env.sh在末尾添加4.修改con
2021-09-03 18:07:17
1274
原创 zookeeper分布式安装
zookeeper分布式安装1.官网下载安装包：zookeeper下载2.把安装包上传到虚拟机上，并解压到/usr/local3.复制文件[root@hadoop01 apache-zookeeper-3.5.9-bin]# cd conf/[root@hadoop01 conf]# cp zoo_sample.cfg zoo.cfg[root@hadoop01 conf]# vim zoo.cfg 4.修改文件zoo.cfg在末尾添加5.在zookeeper.
2021-09-02 23:08:04
150
原创 hdfs和本地进行文件互传报错
在maven项目中进行hdfs和local文件传输时出现异常：org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io/FileDescriptor;org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V解...
2021-09-02 10:23:36
258
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人