- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 gpfdist服务安装
gpfdist简介gpfdist是Greenplum数据库并行文件分发程序。可读外部表和gpload使用它为所有Greenplum数据库的segment并行地提供外部表文件。可写外部表使用它并行地接受来自Greenplum数据库的segement的输出流，并将它们写到文件中。使用gpfdist的好处是，在读写外部表时，可以保证最大的并行性，从而提供最佳的性能以及更容易管理外部表。更多官方原文描述请进入gpfdist。gpfdist涉及软件下载要使用gpfdist服务，需要安装greenplum
2020-11-16 16:51:41
1893
原创 java实现greenplum数据库导入实践
greenplum版本greenplum: 4.3.17.1依赖引入<!-- https://mvnrepository.com/artifact/org.apache.commons/commons-dbcp2 --><dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-dbcp2</artifactId>
2020-11-12 10:53:05
441
原创 java程序容器化部署的一次实践
背景需求：将现有的一个java程序迁移为容器化部署。大致过程为，根据目前物理机部署环境，以centos7为基础镜像，加入程序运行用到的jdk和oracle client环境，然后指定启动命令。文件准备$ lsDockerfile test-3.3.tar.gz jdk-8u251-linux-x64.tar.gz oracle-instantclient19.8.tar.gz README.md编写Dockerfile$ vi DockerfileFROM centos:7M
2020-11-06 17:07:15
941
原创 mysql8基于binary log的主从复制实践
主从架构介绍mysql自带的副本机制允许从一个mysql数据库（称之为主或者源库）复制一个或多个mysql数据库（称之为从或者副本库）。副本机制默认情况下是异步进行的，不需要永久连接从源库接收更新。副本机制作用的范围可以为所有数据库，选定的数据库或者选定的表。MySQL 8.0支持不同的两种复制方法：1）基于从源库的二进制日志（binary log）复制事件实现，并要求在源库和副本库之间同步日志文件和日志文件中的位置，异步实现，不具有事务性。2）基于全局事务标识符(GTIDs)实现，具有
2020-11-06 16:21:46
214
原创 centos7删除虚拟网卡
背景cloudera manager页面多台机器提示网络接口速度告警，具体提示为：“存在隐患 : 以下网络接口似乎未以全速运行：virbr0-nic。6 主机网络接口似乎以全速运行。对于 3 主机网络接口，Cloudera Manager Agent 无法确定双工模式或接口速度”查看IP地址[root@test ~]# ip -4 addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN..
2020-11-06 10:54:29
4061
原创 centos7根目录空间扩容
1 查看目前分区状况[root@test ~]# lsblkNAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTsda 8:0 0 446.1G 0 disk ├─sda1 8:1 0 2M 0 part ├─sda2 8:2 0 500M 0 part /boot└─sda3 8:3 0 132G 0 part ├─cl-root 25
2020-11-02 18:58:21
624
原创 elasticsearch之索引模板
索引模板简介索引模板是创建索引的一种方式。将数据写入指定索引时，如果该索引不存在，则根据索引名称能匹配相应索引模板话，会根据模板的配置建立索引。更多介绍请查看官网的Index templates索引模板查看查看某个索引模板curl --user ${USERNAME}:${PASSWORD} -XGET "${ES_URL}/_template/ftp_download_log?pretty"查看所有索引模板curl --user ${USERNAME}:${PASSWORD} -XGET "
2020-10-29 22:42:00
1090
原创 HDFS中小文件的排查方式之分析fsimage
问题cloudera manager监控页面HDFS大部分机器出现类似告警"存在隐患 : DataNode 有 xxxxxx 个块。 警告阈值：500,000 块。"，cm给出的建议：这是 DataNode 运行状况检查，用于检查 DataNode 是否含有过多的块。如果 DataNode 含有过多的块，可能影响 DataNode 的性能。具有大量块数的 DataNode 将需要较大的 java 堆并且可能遇到较长时间的垃圾回收暂停。另外，大量块数可能表明存在许多小文件。不会为处理许多小文件
2020-10-28 16:34:22
1704
原创 MR作业提交时指定第三方依赖jar
前言在提交MR作业时，如何将第三方依赖的jar追加运行环境解决方法首先构建一个项目基本架构，包括bin、lib等文件夹，，如下：[lqz@test app]$ tree ..├── bin│ └── startup.sh└── lib ├── aopalliance-1.0.jar ├── ...... ├── hbase-load-0.0.1...
2019-03-14 16:29:18
408
perl指导手册
2018-07-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人