- 博客(17)
- 收藏
- 关注
RSS订阅原创 HugeGraph搭建及使用
第一章 HugeGraph搭建检查依赖及安装相关依赖1.安装jdk-1.8 java -version2.安装GCC,版本>=4.3.0 gcc --version部署(2种)一键部署：wget https://github.com/hugegraph/hugegraph-tools/releases/download/v${version}/hugegraph-tools-${version}.tar.gztar -zxvf hugegraph-tools-${versi
2022-01-04 11:10:18
1605
原创 使用ambari安装Hadoop集群
一、环境准备1.操作系统检查操作系统版本检查cat /etc/redhat-release操作系统默认语言检查echo $LANGecho 'export LANG=en_US.UTF-8' >> ~/.bashrc操作系统时区设置cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime时钟同步4.1 安装ntp服务：rpm –qa|grep ntpyum install ntpsystemctl is
2021-07-09 17:55:44
4834
原创 bulk load数据到hbase表
使用bulk load批量导入到hbase表中删除临时目录hadoop fs -rm -r /app/tmp/hdfs/tableNameFile执行以下命令生成HFile文件hbase org.apache.hadoop.hbase.mapreduce.ImportTsv \-Dmapreduce.map.speculative=true \-Dmapreduce.reduce.separator=true \-Dmapreduce.map.memory.mb=5120 \-Dmapre
2021-06-24 09:28:18
241
原创 安装MySQL及配置HA和keepalive
软件准备下载MySQL：wget https://obs.cn-north-4.myhuaweicloud.com/obs-mirror-ftp4/database/mysql-5.7.27-aarch64.tar.gz安装MySQL解压MySQLtar -xvf xxx.tar.gz将MySQL解压文件移动mv mysql /usr/local创建数据目录mkdir /data/mysql新建mysql用户、组及目录groupadd mysqluseradd -r -s
2021-06-18 10:59:06
746
原创 JVM垃圾是收集器及内存分配策略
对象是否已死可达性分析算法 在虚拟机桟中引用的对象，例如：各个线程被调用的方法堆栈中是使用到的参数、局部变量、临时变量等 在方法区中静态属性引用的对象，例如：java类的引用类型静态变量 在方法区中常量引用的对象，例如：字符串常量池里的引用 在本地方法桟中JNI引用的对象 java虚拟机内部的引用，例如：基本数据类型对应的Class对象、常驻的异常对象等，还有系统类加载器 所有被同步锁持有的对象 反映java虚拟机内存情况的JMXBean、JMVTI中注册的回调、本地代码缓存等
2020-12-21 23:33:49
177
原创 jvm简介
运行时数据区域：程序计数器 java虚拟机栈 线程私有 生命周期和线程相同 局部变量表、操作数桟、动态连接、方法出口等 java方法执行的线程内存模型 本地方法栈 虚拟机使用到本地方法服务 java堆 被所有线程共享的一块内存区域，在虚拟机启动时创建 存放对象实例 方法区 各个线程共享的内存区域 存储已经被虚拟机加载的类型信息、常量、静态变量、即时编译器编译后的代码缓存的等 别名：非堆 运行时常量池 是方法区的一部分 直接内存 NIO：
2020-12-21 22:55:18
146
原创 hbase集群写入的TPS慢分析
异常日志:04 Jul 2019 08:31:01,333 INFO [htable-pool206-t448] (org.apache.hadoop.hbase.client.AsyncProcess$AsyncRequestFutureImpl.resubmit:1193) - #1, table=TTrace_20190701, attempt=17/35 failed=348ops...
2020-07-22 19:10:49
922
原创 greenplum时间转换
Greenplum日期时间转换时间相减返回两个时间差-秒: SELECT date_part('epoch', '2020-04-20 12:00:00'::TIMESTAMP -'2019-04-20 11:30:10'::TIMESTAMP)::NUMERIC;返回对应秒相减: SELECT date_part('second', '2020-04-20 12:...
2020-04-20 17:06:43
2081
原创 Flink-WordCount
1.代码例子-批计算def main(args: Array[String]): Unit = {//初始化环境val env = ExecutionEnvironment.getExecutionEnvironment//设置并行度env.setParallelism(1)//添加隐士转换import org.apache.flink.api.scala._//读取数据...
2020-04-01 07:33:30
190
原创 greenplum6.0安装
集群环境配置 修改每台机器的配置 修改文件/etc/sysctl.conf kernel.shmmax = 500000000kernel.shmmni = 4096kernel.shmall = 4000000000kernel.sem = 250 512000 100 2048kernel.sysrq = 1kernel.core_uses_pid = 1...
2019-12-01 23:57:42
478
原创 日常运维-高cup分析
1.查看高cpu对应pid的线程top -H -p 176042.线程中28035的cpu高，查看线程的函数调用栈$gstack 28035 > gstack.log3.使用gcore命令转存进程映像及内存上下文$ gcore 28035该命令生成core文件core.280354.用strace命令查看系统调用和花费的时间$ strace -T -r...
2018-12-23 23:56:58
240
原创 flume运维命令
1.启动agentnohup ./bin/flume-ng agent --conf ./conf/agent -conf-file ./conf/agent/flume.conf -n agent >/dev/null 2>&1 &会生成一个pid：1232.优雅的停掉agentps -ef|grep java|grep agent|awk '{p...
2018-12-17 18:17:59
417
原创 flume配置文件
1.Sink-ES#------agent-----agent.sources=agentSourceagent.channels=agentChannelagent.sinks=agentSink#-------- agentSource-----------agent.sources.agentSource.type=org.apache.flume.source.kafka....
2018-12-17 18:14:18
792
原创 MySQL-8.0.13安装
1.下载mysql-8.0.13-1.el7.x86_64.rpm-bundle.tar到本地2.解压安装包 3.安装MySQL：yum install mysql-community-{server,client,common,libs}-* --exclude='*minimal*'4.MySQL启动service mysqld start5.启动失败问题...
2018-12-16 22:37:36
285
原创 hbase-regionserver重启
hbase写入慢：1.region在合并2.gc时间3.内存不足regionserver重启后加载很慢日志：2018-12-18 11:22:03,817 INFO [LruBlockCacheStatsExecutor] hfile.LruBlockCache: totalSize=19.24 MB, freeSize=18.31 GB, max=18.33 GB, b...
2018-12-11 17:44:08
2025
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人