
持之以恒挑战赛
春_
life
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
HBase +spark 使用bulkload方式存入数据
这个命令会找到HFile文件并将其加载到指定的HBase表中。需要注意的是,这个命令需要在HBase服务器上运行,并且需要确保在运行之前已经正确配置了表和列族。原创 2023-04-23 10:30:40 · 420 阅读 · 0 评论 -
java程序操作ES索引
【代码】java程序操作ES索引。原创 2023-04-23 10:29:54 · 415 阅读 · 0 评论 -
大数据集群将root用户切换至普通用户使用
2.2 配置免密,在所有机器上执行cat ~/.ssh/id_rsa.pub | ssh ampthon@nna ‘cat ~/.ssh/authorized_keys’ 命令,将公钥拷贝到nna服务器上,然后将nna上的authorized_keys文件覆盖到集群其他机器。4. 启动spark,./start-all.sh(这里要进入spark目录,如果使用环境变量是走的hadoop的脚本)hadoop-env.sh 、yarn-env.sh、 mapred-env.sh文件。增加用户和用户组设置。原创 2023-04-23 10:01:33 · 904 阅读 · 0 评论 -
模拟kafka测试零拷贝和磁盘顺序写的速度
使用nio + io多路复用 + 零拷贝 + 磁盘顺序写。原创 2023-04-23 10:01:01 · 168 阅读 · 0 评论 -
spark提交命令中的jars设置方式
此方法是在大数据平台架构与原型实现:数据中台建设实战这本书上看到的之前我们使用的方式是将所有jar的名字加入到配置文件中,提取为jars参数。原创 2023-04-23 10:00:12 · 538 阅读 · 0 评论 -
jvm性能调优
启动程序后查看一下内存占用。原创 2023-04-23 09:59:36 · 342 阅读 · 0 评论 -
非springboot项目非web项目添加druid监控页面
脚本druid-github官网有。原创 2023-04-23 09:59:02 · 457 阅读 · 0 评论 -
Linux下在没有root权限的普通用户下,执行需要root权限的java程序
我们需要在没有root权限的普通用户下,执行java程序,此java程序中需要使用到jpcap来接收网卡的包,jpcap需要root权限才能够加载网卡信息,由于此用户并不能拿到root权限,所以需要给java虚拟机提权来解决问题。原创 2023-04-23 09:58:29 · 1986 阅读 · 0 评论