micklf的博客

原创 互联网医疗调研

最近查阅了下互联网医疗的几个平台的信息，稍微整理了下。交互形式 　 春雨医生 丁香医生 好孕帮 试管婴儿APP 薄荷孕育 网站（功能性） √ √ √ × ...

原创 powerdesigner的导入excel插件

插件的code是参考网上代码的（抄过来改了一两行）'导入Excel表结构'开始Option Explicit Dim mdl ' the current model Set mdl = ActiveModel If (mdl Is Nothing) Then MsgBox "There is no Active Model" End IfDim HaveExcel...

原创 大数据数仓中增量数据问题讨论

目录数据增量类型介绍三种增量类型的具体介绍流水新增数据常规业务变化数据优化的业务变化数据总结数仓中增量数据的方法探讨先做个数据例子1月份2月份3月份4月份数仓分层生产数据同步到ODS层1月份ODS层表2月份ODS层表3月份ODS层表4月份ODS层表ODS→STD→DWD方案一方案二方案三数据增量类型介绍...

转载 【转载】ETL之增量抽取方式

1、触发器方式 触发器方式是普遍采取的一种增量抽取机制。该方式是根据抽取要求，在要被抽取的源表上建立插入、修改、删除3个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个增量日志表，ETL的增量抽取则是从增量日志表中而不是直接在源表中抽取数据，同时增量日志表中抽取过的数据要及时被标记或删除。为了简单起见，增量日志表一般不存储增量数据的所有字段信息，而只是存储源表名称、更新的关...

原创 阿里大数据平台MaxCompute初窥

如下内容大多来自官方手册、论坛等。这个产品解决了什么问题概况MaxCompute，旧名ODPS，是阿里的一款离线计算引擎。 底层基于阿里飞天、伏羲等阿里云基础套件，MaxCompute专注于离线计算部分。 对标产品：hadoop、spark等。 目前看，发展方向应该和很多公司用spark一致，主推以丰富的SQL来解决问题。毕竟sql相比MR等有较多的用户需求。以前的No SQ...

原创 如何在查看docker container内进程信息，与宿主机上进程信息的映射关系

docker container内运行的进程，在宿主机上，通过ps也是能够查到的，但是在不熟悉命令的时候，无法快速找到他们的关系。这里科普一个基础命令 docker top1. 找到容器的iddocker ps2. 找到容器在宿主机上映射后的进程信息docker top 9b40a74ceb82（容器id）就会得到类似下面的信息，其中PID是容器内进程在宿主机上的pid，ppid是容器内进程在宿主...

转载 转greenplum中文手册，强赞

https://gp-docs-cn.github.io/docs/common/gpdb-features.html

原创 greenplum架构初窥

转载 greenplum中vacuum如何计算ao表的冗余度

http://blog.youkuaiyun.com/shipeng1022/article/details/78720867背景Greenplum支持行存储（堆存储）与AO存储，堆存储的垃圾回收和膨胀检测方法请参考：《如何检测、清理Greenplum膨胀、垃圾 - 阿里云HybridDB for PG最佳实践》对于AO存储，虽然是appendonly，但实际上

原创 greenplum的几个内存配置

max_statement_mem 设置每个查询最大使用的内存量，该参数是防止statement_mem参数设置的内存过大导致的内存溢出statement_mem 设置每个查询在segment主机中可用的内存，该参数设置的值不能超过max_statement_mem设置的值，如果配置了资源队列，则不能超过资源队列设置的值，其计算公式为( gp_vmem_protect_limitGB * .9

转载 两阶段事务

【转自】http://www.cnblogs.com/binyue/p/3678390.html一、分布式数据一致性在分布式系统中，为了保证数据的高可用，通常会将数据保留多个副本(replica)，这些副本会放置在不同的物理的机器上。（1）什么是数据一致性在数据有多份副本的情况下，如果网络、服务器或者软件出现故障，会导致部分副本写入成功，部分副本写入失败。这就造成各个副本之间的数据

转载 【转载】定位 UNIX 上常见问题的经验总结

原文地址： https://www.ibm.com/developerworks/cn/aix/library/1206_yudh_unixproblemsolve/index.html同时通过对下面两个例子的介绍，巩固了上面问题分析的介绍：一个多线程应用的性能问题的分析一个 crash 问题的分析UNIX 程序常见问题分类UNIX 下运行程序，

原创 【未完待续】greenplum AO

AO表，以前是append-only，现在是append-optimizedAO表都是追加的方式，写数据到文件末尾，然后通过EOF来确认结束。 AO模式相关的几个部分pg_appendonly table记录表的元数据信息，可以理解类似pg_classAosegments table存储了所有ao文件信息 表名规则pg_aoseg.pg_aoseg_<relfilenode>，其中relfile

转载 3008 sas卡

3008有三种型号，3008 imr加raid key可以支持，3008 it/ir没有办法加riad key，所以不支持~

原创 使用.pgpass密码文件，通过psql登录greenplum

前景存在用户mick，已经配置md5登录，允许所有ip地址登录常规登录[gpadmin@m2 ~]$ psql -h 192.168.181.216 -d postgres -UmickPassword for user mick: 会提示你输入密码文件配置在操作系统用户目录，也就是cd ~，创建文件.pass，依次是greenplum master ip，端口，数据库，用户，用户密码[gpadm

原创 ipmitool配置管理网络

配置管理网络（ipmi/ilo）ipmi设置ipmitool lan set 1 ipsrc staticipmitool lan set 1 ipaddr 192.168.142.11ipmitool lan set 1 netmask 255.255.255.0ipmitool lan set 1 defgw ipaddr 192.168.142.254ipmitool lan print

原创 通过ipmi无法从pci网卡启动pxe模式

描述一般通过ipmitool chassis bootdev pxeipmitool power reset就可以让服务器下一次从pxe模式启动 但是有一台服务器，默认4个千兆网口，我给装了一个万兆网卡，配好后，执行ipmi，无法从pxe启动检查一般检查是否允许网卡走pxe模式等，这些都做了，均正常解决问题没有定位，但是做了一个动作，就解决了，记录下。。。 在boot sequence的位置，

原创 zookeeper的单机使用例子

安装下载文件: zookeeper-3.4.9.tar.gz 1. 解压 2. 修改/home/zookeeper/zookeeper-3.4.9/conf/zoo.cfg:```[root@zk conf]# cat zoo.cfg tickTime=2000initLimit=10syncLimit=5dataDir=/home/zookeeper/zk_dataclientPo

原创 greenplum使用postgis例子

greenplum中使用postgis的版本是v2.0.3安装安装插件在如下位置下载postgis gppkg https://network.pivotal.io/products/pivotal-gpdb/#/releases/4540/file_groups/493 安装插件gppkg -i /home/gpadmin/postgis-ossv2.0.3_pv2.0.1_gpdb4.3or

转载 理解 bashrc 和 profile

在一般的 linux 或者 unix 系统中, 都可以通过编辑 bashrc 和 profile 来设置用户的工作环境, 很多文章对于 profile 和 bashrc 也都有使用, 但究竟每个文件都有什么作用和该如何使用呢?首先我们来看系统中的这些文件, 一般的系统可能会有12345/etc/profile/etc/bashrc~/.bas

原创 关于git提交文件结尾问题的介绍

问题描述：因为大家在用的时候，经常出现^M的问题，也就是\r\n的事情，导致很多脚本跑不通。道理上应该在编译服务器上做掉统一过滤，但是碰巧我的编译脚本也放在git上。。。所以干脆通过工具的方式在第一个环节就解决掉测试情景：a.txt 内容是a，行结尾\r\nb.txt内容是b，行结尾\n1. 提交检出均不转换执行：git config -

原创 cockroachdb尝试

newsql3台是最小集群，数据1：1：1，超过3台，数据会按规则散落在不同服务器上，但是数据依然是3份，所以超过3台的集群，就可以看到数据均衡的动作了底层使用rocksdb存储，mvcc，支持事务，raft一致性开源，licence是CockroachDB Community License Agreement

原创 在Greenplum 4.x版本使用dblink

简介greenplum 4.3.8.0以及4.3.9.0的版本都没有带dblink，但是5.0beta带了 通过select version()，可以看到是基于postgresql 8.3.23开发的greenplum，所以下载postgresql 8.3.23版本源码，用于编译dblink https://www.postgresql.org/ftp/source/v8.3.23/编译在安装好

原创 inotify-tool和rsync

简介安装rsyncrsync[root@c1 ~]# rpm -qa rsyncrsync-3.0.9-17.el7.x86_64配置slave及启动useradd rsync -s /sbin/nologin -M[root@c1 ~]# grep rsync /etc/passwdrsync:x:1000:1000::/home/rsync:/sbin/nologin[root@c1 ~

原创 看zookeeper的事物日志

拷贝如下两个包到同一个目录zookeeper-3.4.9/lib/slf4j-api-1.6.1.jar zookeeper-3.4.9/zookeeper-3.4.9.jar在这个目录执行下面命令，可以看到zookeeper的二进制事物日志内容java -classpath .:slf4j-api-1.6.1.jar:zookeeper-3.4.9.jar org.apache.zookeep

原创 资源隔离-systemd

介绍systemd系统和用户位置/usr/lib/systemd/system/usr/lib/systemd/userunitsystemd管理的基础单元叫unit，分为如下几种类型Service unit：系统服务Target unit：多个 Unit 构成的一个组Device Unit：硬件设备Mount Unit：文件系统的挂载点Automount Unit：自动挂载点Path

原创 资源隔离-cgroup

安装安装yum -y install libcgroup-tools.x86_64yum -y install numactlnumactl是用来看cpu的numa内存的 启动systemctl status cgconfig.servicesystemctl start cgconfig.service启动后的默认挂载位置：[root@c2 cgroup]# lssubsys -amcpu

原创 cpu

cpu规格先看一个cpu的规格，比如Intel Xeon E5-2650 v2 http://detail.zol.com.cn/371/370742/param.shtml 主要看如下参数核心数量：8核心线程数量：16线程最大CPU配置：2颗超线程技术支持上面的意思是：2颗CPU，每颗CPU有8核，每核有2个处理线程（超线程技术）细节先看一下Intel Xeon E5-2650 v2的信

原创 RAID卡

RAID卡简介RAID模式介绍Linux下raid卡工具安装使用进入/opt/MegaRAID/storcli，只有在这个目录下，才能执行（因为没有加入系统path）。 Raid数量及当前状态[root@seg1 storcli]# pwd/opt/MegaRAID/storcli[root@seg1 storcli]# ./storcli64 show ctrlcountStatus Co

原创 创建kvm网络

环境介绍用于测试的环境： 一台物理服务器，两个网口做了team0，基础环境如下：[root@localhost network-scripts]# cat ifcfg-team0DEVICE=team0TEAM_CONFIG="{\"runner\":{\"name\":\"lacp\"}}"DEVICETYPE=TeamBOOTPROTO=noneDEFROUTE=yesIPV4_F

原创 SSD读写速度测试

测试环境在EXSI上，基于PCIE SSD和普通的SSD磁盘，创建了2个规格一样的虚拟机： 2*2 cpu, 4GB mem, 60 disk vm1：pcie ssd vm2：普通ssd测试工具hdparm dd测试读测试方法hdparm -Tt /dev/sdavm1读[root@localhost yum.repos.d]# hdparm -Tt /dev/sda/dev/sda:

原创 zkpython安装

下载zookeeper，去官网下载zookeeper-3.4.9.tar.gz安装源码（需要装源码，因为zkpython装的时候有头文件引用）tar xf zookeeper-3.4.9.tar.gzcd zookeeper-3.4.9/src/c./configuremakemake install这样之后，在/usr/local/include/zookeeper下会安装好zooke

转载 greenplum 5.0 版本规划

greenplum 5.0 版本规划

原创 再读greenplum的admin guide文档

masterThe master is where the global system catalog resides. The global system catalog is the set of system tables that contain metadata about the Greenplum Database system itself. master负责的内容包括： *

原创 聚合口配置mode lacp-dynamic

问题：配置过聚合口的服务器，通过PXE装机，概率性失败。 有的TFTP也会失败，提示arp timeout，有的安装到某一步停住： 组网图：正确聚合口配置：interface Eth-Trunk27 port link-type trunk port trunk pvid vlan 181 undo port trunk allow-pass vlan 1 port trunk al

原创 【todo】impala

http://www.youkuaiyun.com/article/2013-12-04/2817707-Impala-Big-Data-Engine

原创 【todo】数据存储格式

数据存储格式Parquet 文本存储 SequenceFile 等

原创 【todo】LLVM

pg的内存管理机制一：AllocSet的内存分配

原创 ipmitool命令

无法使用ipmitool设置开机启动模式，有如下错误：[root@adb_g1_m2 ~]# ipmitool chassis bootdev pxeCould not open device at /dev/ipmi0 or /dev/ipmi/0 or /dev/ipmidev/0: No such file or directoryCould not open device at /dev

原创 greenplum安装

前期准备四台centos7.2服务器root，密码123456gpadmin，密码123456 groupadd -g 530 gpadmin useradd -g 530 -u 530 -m -d /home/gpadmin -s /bin/bash gpadmin chown -R gpadmin:gpadmin /home/gpadmin echo 123456 |passw