
大数据
文章平均质量分 61
KeepSeek
好好做自己想做的事!
展开
-
大数据技术之hbase命令
向 employee 表插入数据,行键是 emp1,第一行插入 personal_info 列族下 name 列限定符的值为 John Doe,第二行插入 work_info 列族下 department 列限定符的值为 HR。创建在test_namespace命名空间的名为employee的表,包含 personal_info 和 work_info 两个列族,并且设置了保留版本。授予用户 user1 对 employee 表的读取(R)、写入(W)、执行(X)、创建(C)和管理(A)权限。原创 2025-04-18 17:50:08 · 624 阅读 · 0 评论 -
大数据技术之redis部署(一)
生产环境常选用cluster集群部署方式原因:redis3.0版本开始自带的集群部署方式,使用分布式(分片存储,单节点的数据不是全量的,当数据量过大,会让其他节点分摊数据)和高可用(副本、数据备份)replicaof 192.1.1.1 6379 //指定主节点的ip和端口号。配置Redis Cluster集群,需要至少3个master节点。redis集群部署方式:cluster集群(生产环境常用)三、对主节点(第一台)配置文件进行修改。原创 2025-04-18 16:29:24 · 332 阅读 · 0 评论 -
大数据技术之redis三种模式比较(二)
分布式:将数据分散存储在多个节点上,每个节点负责一部分数据的存储和处理,提高了系统的扩展性。故障转移:当主节点发生故障时,哨兵节点从从节点选举出一个新的主节点,并重新进行主从节点配置。高可用性:通过多个哨兵节点的协作,确保在部分哨兵节点故障的情况下,仍然能正常进行故障转移。写操作瓶颈依旧存在:和主从模式一样,所有的写操作都集中在主节点上,写性能仍然是系统的瓶颈。自动监控:哨兵节点实时监控主从节点的状态,一旦发现主节点故障自动进行故障转移。所有的写操作都必须发送到主节点,主节点的写性能大大影响系统的可用性。原创 2025-04-18 17:21:41 · 218 阅读 · 0 评论 -
大数据技术之elasticsearch基础操作
6、引名包含estest,对第三列进行排序。5、统计索引名包含estest的数量。4、查看集群所有索引信息。7、查看es集群健康状况。3、查看单个索引信息。原创 2025-04-13 21:46:54 · 144 阅读 · 0 评论 -
大数据技术之kafka基础操作
*查看单个topic对应的schema。**topic消费之后重置偏移量。**查看单个topic。**查看所有topic。**topic生产命令。**topic消费命令。原创 2025-04-13 21:28:04 · 576 阅读 · 0 评论 -
大数据技术之HDP基础操作
hdfs dfs -getmerger /warehouse/tmp /tmp/tmp.csv //从hdfs下载文件。hdfs dfs -get /warehouse/tmp /tmp/tmp //从hdfs下载文件夹。hdfs dfs -put /tmp/1.csv /warehouse/tmp //上传到hdfs。hdfs dfsadmin -report //hdfs存储规模。parquet:列式存储,可以只读取需要的列数据,提高查询性能。原创 2025-04-13 20:37:12 · 154 阅读 · 0 评论 -
大数据技术之linux进阶(1)
iptables-save > /etc/iptables.rules //将当前规则保存在ipta文件bles.rules。s/new2/old2/g' 1.txt,2.txt //多个文件替换多个内容。sed -i 's/new/old/g' 1.txt //1.txt文件中old替换成new。:5,10s/old/new/g //5-10行内替换old为new。:%s/old/new/g //全局替换old为new。原创 2025-04-13 20:37:00 · 280 阅读 · 0 评论 -
大数据技术之linux基础(2)
只能进行像同步时间等操作,而无法修改服务器配置或者发送 trap 消息。//-- 增加内容如下(让硬件时间与系统时间一起同步)当该节点丢失网络时间,依然采用本地时间作为时间服务器。三台机器时钟同步192.168.1.1-3。1、主节点操作(修改两个文件)原创 2025-04-13 17:27:51 · 213 阅读 · 0 评论 -
大数据技术之linux基础(1)
ssh-copy-id -i id_rsa.pub 10.58.11.1 //将公钥发送到其他节点。/dev/sdb磁盘1T要分为两个平均大小分区/dev/sdb1、/dev/sd。cat /etc/*release //详细操作系统信息。ssh-keygen -t rsa //生成公钥和私钥。cd ~/.ssh //进入.ssh文件。free -h //内存信息。df -h // 磁盘信息。p //分区。原创 2025-04-13 16:36:23 · 272 阅读 · 0 评论 -
大数据技术之windows虚拟机部署kerberos
4、hosts文件中加入ip和主机名的映射(这里是你要访问的linux集群节点ip、主机名),windows系统下hosts文件在:C:\Windows\System32\drivers\etc下。3、将集群中kdc节点的/etc/krb.conf文件拷贝到C:\Program Files\MIT\Kerberos\路径下面,改名为krb.ini。在非安全网络环境下,windows客户端要访问集群的服务(yarn界面、hdfs界面等),集群要认证你是否是它的客户端,身份验证。7、火狐浏览器相关配置。原创 2025-02-17 22:41:46 · 366 阅读 · 0 评论