- 博客(25)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 postgresql日期函数
1、数据类型格式化函数： PostgreSQL格式化函数提供一套有效的工具用于把各种数据类型(日期/时间、integer、floating point和numeric)转换成格式化的字符串以及反过来从格式化的字符串转换成指定的数据类型。下面列出了这些函数，它们都遵循一个公共的调用习惯：第一个参数是待格式化的值，而第二个是定义...
2018-08-10 11:12:41
1275
原创 gpdb使用纪要
使用资源队列master配置max_resource_queues = 9max_resource_portals_per_transaction = 64resource_select_only = onresource_cleanup_gangs_on_wait = ongp_resqueue_memory_policy = 'auto'gp_vmem_protect_limit...
2018-08-10 10:00:00
658
原创 eclipse打开tomcat部署目录的插件
eclipse里面server里的tomcat的Browse Deployment Location 功能的插件名称为： Pivotal tc Server Integration for Eclipse 可在Eclippse的Eclipse MarketPlace中找到。安装此插件可以直接打开tomcat部署目录的地址...
2018-08-02 15:52:33
1709
1
原创 kettle在多环境中区分环境使用
kettle的kettle.properties可以根据环境添加值，job中使用变量，达到区分环境的效果。通常我们项目中每个环境的数据库都是分开的，这个时候我们就需要根据环境来设置数据库的连接信息了，如：编辑kettle.properties： 数据库连接使用变量 这样就能达到区分环境的效果。自定义修改kettlle默认读取kettle.properties文件路径：配...
2018-08-01 18:50:52
828
原创 安装greenplum-cc-web工具出现-error on command: PGPORT=5432 gpconfig -c gp_enable_gpperfmon -v on
安装greenplum-cc-web工具执行gpperfmon_install命令[gpadmin@localhost ~]$ gpperfmon_install --enable --password gpmon --port 543220180730:18:15:14:029823 gpperfmon_install:localhost:gpadmin-[INFO]:-createdb ...
2018-07-30 18:33:25
1915
2
原创 greenplum gp 常用命令
1、连接数据库, 默认的用户和数据库是postgrespsql -U user -d dbname2、切换数据库,相当于MySQL的use dbname\c dbname3、列举数据库，相当于mysql的show databases\l4、列举表，相当于mysql的show tables\dt5、查看表结构，相当于desc tblname,show colu...
2018-07-27 15:04:27
11221
1
原创 ETL工具kettle基本使用
1.下载kettle：https://sourceforge.net/projects/pentaho/files/Data%20Integration/7.0/pdi-ce-7.0.0.0-25.zip/download说明：kettle 是pentaho收购的一个etl工具,pentaho是一家BI解决方案的商业公司。2.解压文件：pdi-ce-7.0.0.0-25.zip，执行：sp...
2018-07-27 14:57:45
3700
原创 windows下kettle使用gpload加载数据到greenplum
使用gpload需要先安装几个软件，安装顺序是python-2.5.4.msiPyYAML-3.05.win32-py2.5.exePyGreSQL-4.1.1.win-amd64-py2.5.msiPyGreSQL-4.1.1.win-amd64-py2.5.exegreenplum-loaders-4.3.26.0-WinXP-x86_32.msipython必须是2.5.4...
2018-07-27 14:50:13
9420
3
原创 greenplum使用gpfdist外部表加载数据
greenplum使用gpfdist外部表加载数据greneplum安装后自带gpfdist启动程序，在安装目录/bin下，指定端口，共享文件路径启动即可gpfdist -d /var/load_files -p 8081 &准备数据文件，本例为t_user.text，上传至/var/load_file下1^测试啦啦啦^2222^2^^2^2018-07-24 09:5...
2018-07-27 14:46:06
3767
原创 cloudera添加hdfs服务，perl: command not found
cloudera添加hdfs服务，部署客户端时出现perl: command not found解决办法： 安装perl跟perl-devel yum -y install perl perl-devel
2018-05-04 14:45:41
2707
1
原创 hadoop集群只有一个datanode能启动
这是因为两个datanode的VERSION里面有2个id是一模一样不能共存。datanodeUuid和storageIDCDH：/dfs/dn/current/VERSION
2018-05-03 14:43:29
2712
原创 Cloudera CDH离线安装增加节点到集群
新增一台机器步骤：设置所有集群的hosts一样，加入新增的机器vim /etc/sysconfig/network 修改hostnmae为dw.node2hostname dw.node2cp cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz 到新增的机器上安装jdk环境，最好jdk版本统一tar -zxvf cloudera-manager-cen...
2018-05-02 18:45:36
1474
转载 ElasticSearch 5 安装部署常见错误或问题
问题1:uncaught exception in thread [main]org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root12问题原因：不能使用root用户启动 解决方案：改用别的用户问题2：unable to install ...
2018-04-25 16:18:23
271
原创 elasticsearch-head插件安装运行npm install，可能存在的Head插件phantomjs权限问题
在elasticsearch-head源码目录中，执行npm install：1 npm install在运行npm install时，可能会存在Head插件phantomjs权限问题： 1 [root@localhost elasticsearch-head]# npm install 2 phantomjs-prebuilt@2.1.16 install /usr/local/elastic...
2018-04-24 17:03:49
5691
2
转载 ElasticSearch5.6.3下载安装步骤
一、ElasticSearch5.6.3下载安装步骤说明：ElasticSearch的运行不能用root执行，自己用useradd命令新建一个用户如下所示：sueradd chenpasswd chen 然后根据提示输入密码即可下载地址：https://www.elastic.co/downloads/elasticsearch 下载最新的安装包并解压、然后执行、命令如下：wget https:...
2018-04-24 16:59:32
3433
原创 启动hdfs时，报错 Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件
启动hdfs时，报错 Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件。 经过查看日志，发现 Name node is in safe mode. 解决方法：sudo -uhdfs hdfs dfsadmin -safemode leave...
2018-04-18 14:32:32
16071
转载 CentOS7.3下安装Cloudera Manager5.11.1
概述准备条件系统环境配置安装Java安装MySQL安装CMCM配置Q&A参考概述最近公司需要研究大数据方向的内容，经初步讨论，决定使用CDH版本 的Hadoop，使用Cloudera生态下的Cloudera Manager平台。CDH(Cloudera’s Distribution, including Apache Hadoop),是Hadoop分支中的一种，由Cloudera 维护，基...
2018-04-18 14:28:10
217
转载 CDH使用错误或者报警
在CDH安装完成后或者CDH使用过程中经常会有错误或者警报，需要我们去解决，积累如下:解决红色警报时钟偏差这是因为我们的NTP服务不起作用导致的，几台机子之间有几秒钟的时间偏差。这种情况下一是把NTP重新整理配置一下。一种是在操作里调整报警误差范围。 因为NTP的时间同步是平滑同步，不是跳跃式同步，如果设置得不好的话，很难校验出它同步成功了没，总感觉会缺少几秒钟的感觉。有一种解决方法是 我们这里...
2018-04-18 14:22:42
2783
原创 hbase基础使用
hbase shell命令的使用再使用hbase 命令之前先检查一下hbase是否运行正常hadoop@Master:/usr/hbase/bin$ jps2640 HMaster27170 NameNode27533 SecondaryNameNode3038 Jps27795 TaskTracker27351 DataNode2574 HQuorumPeer
2018-01-02 12:52:59
372
原创 Hadoop2.7.3+Hbase-1.2.6完全分布式安装部署
Hadoop安装部署基本步骤： 1、安装jdk，配置环境变量。 jdk可以去网上自行下载，环境变量如下： 编辑 vim /etc/profile 文件，添加如下内容： export JAVA_HOME=/opt/java_environment/jdk1.7.0_80（填写自己的jdk安装路径） exp
2018-01-02 12:51:08
268
转载 hadoop安装
本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2，适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利在 CentOS 中安装并运行 Hadoop。环境本教程使用 CentOS 6.4 32位 作为系统环境，请自行安装系统。如果用的是 Ubuntu 系统，请查看
2017-12-29 13:57:13
3616
转载 Kettle使用jndi mssqlserver
kettle可以使用jdbc的方式设置job或者tansform的数据库连接，但是，同时它也支持JNDI方式连接数据库，后者更加方便，只需要配置一份配置文件就可以了，不用每个DBConnection都配置一遍。具体使用方法如下： 1. 在data-integration\simple-jndi\jdbc.properties中加入jdbc的连接信息。比如：#####
2017-12-23 10:51:00
1145
转载 开源ETL工具kettle系列之常见问题
开源ETL工具kettle系列之常见问题摘要：本文主要介绍使用kettle设计一些ETL任务时一些常见问题，这些问题大部分都不在官方FAQ上，你可以在kettle的论坛上找到一些问题的答案1. Join我得到A 数据流（不管是基于文件或数据库），A包含field1 , field2 , field3 字段，然后我还有一个B数据流，B包含field4 , field5 , field
2017-12-23 10:41:00
1607
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人