<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[memoordit的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/memoordit</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; memoordit]]></copyright><item><title><![CDATA[trino与ranger集成]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/124726013</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/124726013</guid><author>memoordit</author><pubDate>Thu, 12 May 2022 10:37:48 +0800</pubDate><description><![CDATA[集成

trino配置


	将编译后的ranger-trino插件包拷贝到Trino的coordinator节点，然后解压。
	
	
	修改install.properties文件：

	
# ranger admin url
POLICY_MGR_URL=http://nn23.fff.com:6080/
REPOSITORY_NAME=trinodev
# 审计日志根据需要
# trino 安装目录
COMPONENT_INSTALL_DIR_NAME=/apps/trino-server-378
X]]></description><category></category></item><item><title><![CDATA[Trino与LDAP集成]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/124725827</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/124725827</guid><author>memoordit</author><pubDate>Thu, 12 May 2022 10:31:06 +0800</pubDate><description><![CDATA[生成证书

新建openssl.cnf文件，使用subjectAltName生成带有IP的自签名证书：


[req]
distinguished_name = req_distinguished_name
req_extensions = v3_req


[req_distinguished_name]
countryName = CN
countryName_default = CN
stateOrProvinceName = ZheJiang
stateOrProvinceName_default ]]></description><category></category></item><item><title><![CDATA[Kerberos常用命令]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/88813166</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/88813166</guid><author>memoordit</author><pubDate>Tue, 26 Mar 2019 09:49:31 +0800</pubDate><description><![CDATA[进入kerberos 控制台

kadmin.local


添加用户，生成实例


add_principal, addprinc, ank

addprinc -randkey xxxx@xxxxT.COM


为各实例生成密钥

xst -k xxxx.keytab xxxx@xxxxT.COM

或
kadmin.local -q "xst -k xxxx.keytab xxxx@xxx...]]></description><category></category></item><item><title><![CDATA[Kerberos安装以及使用ambari开启HDP集群Kerberos认证]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/88813004</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/88813004</guid><author>memoordit</author><pubDate>Tue, 26 Mar 2019 09:43:07 +0800</pubDate><description><![CDATA[文章目录环境准备安装KDC MASTER安装KDC SLAVER安装客户端：使用ambari
环境准备

安装jdk
下载Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy File。解压下载后的zip包，将得到的jar包放到所有服务器上的$JAVA_HOME/jre/lib/security/目录下。

安装KD...]]></description><category></category></item><item><title><![CDATA[Yarn Connecting to ResourceManager]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/80103776</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/80103776</guid><author>memoordit</author><pubDate>Fri, 27 Apr 2018 10:03:48 +0800</pubDate><description><![CDATA[18/04/27 09:09:58 INFO RMProxy: Connecting to ResourceManager at cn-bji-p-dmp02/10.86.210.12:8050
18/04/27 09:09:59 INFO Client: Retrying connect to server: cn-bji-p-dmp02/10.86.210.12:8050. Already t...]]></description><category></category></item><item><title><![CDATA[HIVE load数据时 User null does not belong to hadoop]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/80091265</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/80091265</guid><author>memoordit</author><pubDate>Thu, 26 Apr 2018 11:16:37 +0800</pubDate><description><![CDATA[在HUE中新建了一个用户，使用hive editor load数据，或者oozie流程中load数据时报以下错误



INFO  : Loading data to table test.test01 from hdfs://gdmp/user/gdmp/test_data.lo
ERROR : Failed with exception org.apache.hadoop.security.A...]]></description><category></category></item><item><title><![CDATA[07 配置优化]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/79237150</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/79237150</guid><author>memoordit</author><pubDate>Fri, 02 Feb 2018 11:35:12 +0800</pubDate><description><![CDATA[carbon.sort.intermediate.files.limit
Data loading 
在加载数据期间，使用本地temp来对数据进行排序。 此数字指定必须启动合并排序之后的最小中间文件数。 
增加参数到一个更高的值将提高负载性能。 例如，当我们将数值从20增加到100时，它将数据负载性能从35MB / S提高到超过50MB / S。 在加载过程中，此参数值越高，内存消耗越多。
carb]]></description><category></category></item><item><title><![CDATA[06 分区]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/79237118</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/79237118</guid><author>memoordit</author><pubDate>Fri, 02 Feb 2018 11:33:07 +0800</pubDate><description><![CDATA[创建HASH分区表CREATE TABLE [IF NOT EXISTS] [db_name.]table_name
                    [(col_name data_type , ...)]
   PARTITIONED BY (partition_col_name data_type)
   STORED BY 'carbondata'
   [TBLPROPERTIES]]></description><category></category></item><item><title><![CDATA[05 数据压缩]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/79237110</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/79237110</guid><author>memoordit</author><pubDate>Fri, 02 Feb 2018 11:32:37 +0800</pubDate><description><![CDATA[压缩可显着提高查询性能。 在加载数据期间，几个CarbonData文件会被生成，这是因为数据只在每次加载（每个load segment和一个B+ tree 索引）时被排序。频繁的load数据会导致carbon的存储目录生成很多影响查询性能的分散的CarbonData小文件，CarbonData提供了压缩load数据的措施。 压缩过程通过对来自各个分段的数据进行合并排序，将多个分段合并为一个大分段。有]]></description><category></category></item><item><title><![CDATA[04 Load Data]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/79237095</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/79237095</guid><author>memoordit</author><pubDate>Fri, 02 Feb 2018 11:32:08 +0800</pubDate><description><![CDATA[将文件Load到CARBONDATA表此命令用于将csv文件加载到carbondata，对于数据加载过程，OPTIONS不是强制性的。 OPTIONS内部用户可以根据需要提供任何选项，如DELIMITER，QUOTECHAR，FILEHEADER，ESCAPECHAR，MULTILINE。carbondata在load数据时。默认必须csv格式，而且必须有header和表中的列对应。 
但是可以在l]]></description><category></category></item><item><title><![CDATA[03-附 建表时调优和建议]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/79237078</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/79237078</guid><author>memoordit</author><pubDate>Fri, 02 Feb 2018 11:31:00 +0800</pubDate><description><![CDATA[索引调优主要利用这两个属性， SORT-COLUMNS 和 SORT-SCOPE。SORT-COLUMNS 就是把使用最常用的过滤列放入里面，比如 C1 和 C2，假设 C1、C2 是最常用的，因索引有顺序，在业务设计的时候需要将最常用的过滤条件识别出来，按照顺序放入 COLUMNS 选项里面。这对常用的过滤条件有着较高效率。第二个是 SORT-SCOPE，我建议大家在默认情况下使用 LOCAL-S]]></description><category></category></item><item><title><![CDATA[03 CarbonData的数据管理（建表）]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/79237061</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/79237061</guid><author>memoordit</author><pubDate>Fri, 02 Feb 2018 11:30:11 +0800</pubDate><description><![CDATA[建表
字典编码配置
Table Block Size配置
Inverted Index配置
排序列配置Sort Columns Configuration
排序范围配置 Sort Scope Configuration
管理表
SHOW TABLE
ALTER TALBE
DROP TABLE
加载数据
将数据文件加载到CARBONDATA表
INSERT DATA INTO CARBONDATA]]></description><category></category></item><item><title><![CDATA[02 corborn 配置]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/79237045</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/79237045</guid><author>memoordit</author><pubDate>Fri, 02 Feb 2018 11:29:13 +0800</pubDate><description><![CDATA[系统配置本节提供了CarbonData系统所需的所有配置的详细信息。carbon.properties中的系统配置
  Property
  Default Value
  Description  carbon.storelocation
  /user/hive/warehouse/carbon.store
  CarbonData将创建存储的位置，并以自己的格式写入数据。 注意：存储位置应该在]]></description><category></category></item><item><title><![CDATA[01  安装测试carbondata]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/79236914</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/79236914</guid><author>memoordit</author><pubDate>Fri, 02 Feb 2018 11:20:12 +0800</pubDate><description><![CDATA[下载carbondata源码

https://github.com/apache/carbondata/tree/master



编译

所需环境： 
1. linux 
2. jdk1.7或者1.8 
3. maven 3.3+ 
4. thrift 0.93

thrift安装：http://blog.youkuaiyun.com/qq910894904/article/details/411327]]></description><category></category></item><item><title><![CDATA[kafka 1.0 中文文档（十）：kafka streaming]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/79131941</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/79131941</guid><author>memoordit</author><pubDate>Mon, 22 Jan 2018 18:04:09 +0800</pubDate><description><![CDATA[1运行demo
1准备输入的主题并启动Kafka生产者
2启动Wordcount应用程序
3处理一些数据
4停止应用程序
2流处理程序编程指南
建立一个Maven项目
编写第二个Streams应用程序Line Split
编写第三个Streams应用程序Wordcount
9.1运行demoKafka Streams是用于构建关键任务实时应用程序和微服务的客户端库，输入和（或）输出数据存储在Kafk]]></description><category></category></item><item><title><![CDATA[kafka 1.0 中文文档（九）：操作]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/79131934</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/79131934</guid><author>memoordit</author><pubDate>Mon, 22 Jan 2018 18:03:32 +0800</pubDate><description><![CDATA[1基本的Kafka操作
添加和删除主题
修改主题
平滑关闭
leadership  平衡
通过机架平衡副本
集群间的数据镜像
检查消费者位置
管理消费者组
集群扩展
自动迁移数据到新机器上
自定义分区分配和迁移
退役经纪人 Decommissioning brokers
增加复制因子
限制数据迁移过程中的带宽使用
ZooKeeper
Log configuration
Other configura]]></description><category></category></item><item><title><![CDATA[kafka 1.0 中文文档（八）：实现]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/79131933</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/79131933</guid><author>memoordit</author><pubDate>Mon, 22 Jan 2018 18:02:48 +0800</pubDate><description><![CDATA[1网络层
2消息
3消息格式
31 Record Batch
311 Control Batches
32    Record
4 日志
写
读
删除
保证
5分布式
消费者偏移量跟踪
把offset从ZooKeeper迁移到Kafka
ZooKeeper目录
Notation
Broker Node Registry代理节点注册
Broker Topic Registry
Consumers an]]></description><category></category></item><item><title><![CDATA[oozie调用shell脚本报脚本找不到的错误]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/78931787</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/78931787</guid><author>memoordit</author><pubDate>Fri, 29 Dec 2017 15:08:07 +0800</pubDate><description><![CDATA[shell脚本一定要是是!/bin/bash]]></description><category></category></item><item><title><![CDATA[KAFKA 1.0 文档（七）：设计]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/78892176</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/78892176</guid><author>memoordit</author><pubDate>Mon, 25 Dec 2017 14:10:41 +0800</pubDate><description><![CDATA[设计
1动机
2持久化
不要害怕文件系统
恒定的时间复杂度
3效率
端到端的批量压缩
4生产者
负载均衡
异步发送
5消费者
推送 vs 拉取
消费位置
离线数据加载
6消息传递语义
7 复本
复制日志法定人数ISR和状态机
不纯洁的leader选举如果所有副本都失效了怎么办
可用性和持久性
副本管理
8日志压缩
日志压缩基础
日志压缩提供了什么保证
日志压缩细节
Configuring The L]]></description><category></category></item><item><title><![CDATA[KAFKA 1.0 文档（六）：消费者配置]]></title><link>https://blog.youkuaiyun.com/memoordit/article/details/78852531</link><guid>https://blog.youkuaiyun.com/memoordit/article/details/78852531</guid><author>memoordit</author><pubDate>Wed, 20 Dec 2017 14:05:38 +0800</pubDate><description><![CDATA[新的消费者配置
  Name
  Description
  类型
  默认值
  重要性  bootstrap.servers
  用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载，不管哪些server是指定用于bootstrapping。这个列表仅仅影响初始化的hosts（用于发现全部的servers这个列表格式：host1:port1,host2:po]]></description><category></category></item></channel></rss>