飞鱼丶灬的博客

spark

准备 hbase 启动并开启复制配置 Solr 启动 Key-Value Store Indexer 启动 Lily HBase Indexer 的 Java 堆栈大小（字节）调整 1.solr 创建collection MIDDLE_PLATFORM_MP_HBASE_SOLR_INDEX 2.solr 添加字段 3.solr 设置自动提交时间 发送POST请求 curl http://n1:8983/solr/MIDDLE_PLATFORM_MP_HBASE_SOLR_INDEX/config

/*** * 分析引擎查询 * @param dbSourcePageQueryReqDTO * @return * @throws SQLException * @throws ClassNotFoundException */ public List<Map<String, Object>> pageQuery(DbSourcePageQueryReqDTO dbSourcePageQueryReqDTO) th

HiveServer2： 一、Hive2 Beeline： -Beeline要与HiveServer2配合使用，支持嵌入和远程模式 -启动HiveServer2,./bin/hiveserver2 或者 hive --service hiveserver2 & -启动Beeline： 1. ./bin/beeline 或者 hive --service beeline beelin...

忘记安装gcc ./setup-x86_64.exe -q -P wget -P gcc-g++ -P make -P diffutils -P libmpfr-devel -P libgmp-devel -P libmpc-devel

当某一行没有要过滤的字段时,SingleColumnValueFilter是默认这一行符合过滤条件的。 接下来就要让SingleColumnValueFilter在判断的时候把这个策略改改。 查看源码发现是有方法可以更改这个策略的 /** * This filter is used to filter cells based on value. It takes a {@link CompareFilter.CompareOp} * operator (equal, greater, not equal

#进命令行 hbase shell #批量禁用表 disable_all 'MIDDLE_PLATFORM.*' #批量删除表 drop_all 'MIDDLE_PLATFORM.*'

public class HDFSTest { FileSystem fileSystem; @Before public void setUp() throws IOException { Configuration configuration = new Configuration(); configuration.set("fs.defaultFS", "hdfs://ns1"); configuration.set("dfs.

package com.xinyan.mp.base.manager; import lombok.extern.slf4j.Slf4j; import org.apache.commons.io.IOUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.security.UserGroupInformation; import org.spri

CREATE TABLE `default`.customers ( id INT, name STRING(32767), email_preferences STRUCT< EMAIL_FORMAT:STRING, FREQUENCY:STRING, CATEGORIES:STRUCT< PROMOS:BOOLEAN, SURVEYS:BOOLEAN > >(32767), addresses MAP<STRING,STRUCT&lt

impala与LDAP集成后的登录 impala-shell -i 127.0.0.1:21000 -u root -l --auth_creds_ok_in_clear [root@AAA ~]$ impala-shell -i 127.0.0.1:21000 -u root -l --auth_creds_ok_in_clear Starting Impala Shell using LDAP-based authentication LDAP password for root : Connect

CDH 5.13.1安装 apache-phoenix-4.14.0-cdh5.13.2 添加phoenix parcel https://archive.apache.org/dist/phoenix/apache-phoenix-4.14.0-cdh5.13.2/parcels/ 下载 分配 激活 HBase 配置 phoenix 开启命名空间和二级索引 hbase-site....

ps -ef|grep httpd yum install httpd 开机启动 systemctl enable httpd.service 启动httpd服务 systemctl start httpd.service cd /var/www/html mkdir -p phoenix/apache-phoenix-5.1.0-cdh6.0.1/parcels/ cd /var/ww...

centos自带open jdk 发现jps不能用，此时需要安装另外一个包才能使用 通过以下命令进行安装： sudo yum install java-1.8.0-openjdk-devel.x86_64

##免密 #生成 ssh-keygen -t rsa #本机免密 ssh-copy-id localhost #CM yum源 cd /etc/yum.repos.d/ wget https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/cloudera-manager.repo vi cloudera-manager.repo #去掉 enab...

1

https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/installation.html 一.CDH介绍 二.安装环境 1.系统说明 2.版本说明 CM 6.3.1，CDH 6.3.2 （6.3.3版本及以上的要收费了） 3.组件版本 4.安装包准备 (1)Cloudera Manger下载 cloudera-manager-server-6.3.1-1466458.el7.x86_64 cloudera-manager-agent-

卸载后重新安装AMBARI 2.7.3 报错： While trying to install HDP with Ambari, I often end up getting this error. I have tried multiple times and even downloaded tar.gz file and extracted it as per documentation a...

Apache atlas 安装 1./etc/profile，需要配JAVA_HOME。 2.环境：MAVEN3.6/JDK8 3.下载 wget https://www.apache.org/dyn/closer.cgi/atlas/1.1.0/apache-atlas-1.1.0-sources.tar.gz 4.解压 tar xvfz apache-atlas-1.1.0-source...