<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[我思，故我在！--My data life]]></title><description><![CDATA[生命在于运动，知识在于积累。]]></description><link>https://blog.youkuaiyun.com/lichangzai</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lichangzai]]></copyright><item><title><![CDATA[CDH6.2环境中启用Kerberos]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/93861348</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/93861348</guid><author>lichangzai</author><pubDate>Thu, 27 Jun 2019 11:40:48 +0800</pubDate><description><![CDATA[一、Kerberos概述：

Kerberos是一个用于安全认证第三方协议，并不是Hadoop专用，你也可以将其用于其他系统，它采用了传统的共享密钥的方式，实现了在网络环境不一定保证安全的环境下，client和server之间的通信，适用于client/server模型，由MIT开发和实现。而使用Cloudera Manager可以较为轻松的实现界面化的Kerberos集成，



Ker...]]></description><category></category></item><item><title><![CDATA[CM启动 Oozie 服务器 Web 控制台]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/89183024</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/89183024</guid><author>lichangzai</author><pubDate>Wed, 10 Apr 2019 14:49:59 +0800</pubDate><description><![CDATA[默认情况下Cloudera Manager是没有开启 Oozie web console的。

在打开Oozie Web UI时会出现下面的错误：

http://172.16.29.10:11000/oozie/

Oozie web console is disabled.

To enable Oozie web console install the Ext JS library.



...]]></description><category></category></item><item><title><![CDATA[通过CDH5 Hadoop读取和写入OSS数据]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/88711001</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/88711001</guid><author>lichangzai</author><pubDate>Thu, 21 Mar 2019 11:43:58 +0800</pubDate><description><![CDATA[本页目录

准备工作
步骤一：增加 OSS 配置
步骤二：配置 Impala 对 OSS 的支持
	验证配置
	参考文档
CDH（Cloudera's Distribution, including Apache Hadoop）是众多 Hadoop 发行版本中的一种，最新版本 CDH6.0.1 中的 Hadoop3.0.0 版本已经支持 OSS。CDH5 中的 Hadoop2.6 版本不支持...]]></description><category></category></item><item><title><![CDATA[通过hue执行Oozie作业]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/88709796</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/88709796</guid><author>lichangzai</author><pubDate>Thu, 21 Mar 2019 11:26:55 +0800</pubDate><description><![CDATA[Oozie是什么？

Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容：

工作流定义
	当前运行的工作流实例，包括实例的状态和变量
Hue是什么？

Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。它是基于Python Django Web框架编写的。

Hue能干什么...]]></description><category></category></item><item><title><![CDATA[修改mysql数据目录]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/87074533</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/87074533</guid><author>lichangzai</author><pubDate>Tue, 12 Feb 2019 11:04:24 +0800</pubDate><description><![CDATA[mysql在线默认安装后的数据目录为/var/lib/mysql
如果因为目录大小问题要修改数据存放目录，主要通过下面两个步骤就可以：
1. 停止mysql服务
2. 把/var/lib/mysql目录迁移到新目录，如/data01/mysqldata/mysql(注意新建目录权限)
3. 修改my.cnf相关目录参数，如：


[mysqld]
bind-address = 0.0.0.0
po...]]></description><category></category></item><item><title><![CDATA[在CDH5.14上离线安装Spark2.3]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/82225494</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/82225494</guid><author>lichangzai</author><pubDate>Thu, 30 Aug 2018 17:52:53 +0800</pubDate><description><![CDATA[ 在先前装的CDH5.14集群中，默认安装的spark是1.6.0版本。我们现在可以现有的集群中再装spark2.x版本，能和spark1.6版本并存。

当前CDH支持的Spark2.X最新版本是Spark2.3.0，目前Apache Spark最近版本是2.3.1，即CDH的版本更新是慢半拍的，但基本上不影响使用。

下面是在CDH中安装Spark2.3的步骤：

这是官方给出安装和升级方法说...]]></description><category></category></item><item><title><![CDATA[通过hive表整合查询hbase数据]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/81664269</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/81664269</guid><author>lichangzai</author><pubDate>Tue, 14 Aug 2018 11:47:28 +0800</pubDate><description><![CDATA[大家知道，直接从hbase的读取数据是一个比较繁锁的过程，需要java代码或是spark 查询
通过Hive整合HBase,可以通过hive表查询hbase数据，下面是测试过程
--创建hbase表


create &quot;user&quot;,&quot;account&quot;,&quot;address&quot;,&quot;info&quot;,&quot;userid&quot;

--创建映射hbase表列族的hive外部表


CREATE EXTERNAL TABLE ...]]></description><category></category></item><item><title><![CDATA[hive锁表操作]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/81233871</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/81233871</guid><author>lichangzai</author><pubDate>Fri, 27 Jul 2018 11:08:59 +0800</pubDate><description><![CDATA[当hive表被锁住后，进行drop insert操作时都出挂起等待，sqoop也无法导入数据，此时就需要先对hive表解锁再进行相关操作。
步骤如下：


查看是否被锁：

show locks t_real_user_comein；

列出相关查看锁表语句：
SHOW LOCKS &amp;lt;TABLE_NAME&amp;gt;;
SHOW LOCKS &amp;lt;TABLE_NAME&amp;gt; extended...]]></description><category></category></item><item><title><![CDATA[使用beeline不能truncate table表]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/81163425</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/81163425</guid><author>lichangzai</author><pubDate>Mon, 23 Jul 2018 10:26:58 +0800</pubDate><description><![CDATA[问题：使用beeline不能truncate table表

和/etc/hive/conf.cloudera.hive/hive-site.xml修改参数在beeline里不起作用

 

在truncate table 表时报下面的错误：

0: jdbc:hive2://172.16.29.10:10000/dw_test&amp;gt; truncate table customer_dim; 
...]]></description><category></category></item><item><title><![CDATA[NameNode Last Checkpoint报错误[Checkpoint Critical]]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/81119743</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/81119743</guid><author>lichangzai</author><pubDate>Thu, 19 Jul 2018 17:39:11 +0800</pubDate><description><![CDATA[问题：

HDP重启后，NameNode Last Checkpoint报错误[Checkpoint Critical]



 

问题解决：
原理：
HDP中的hdfs组件默认的dfs.namenode.checkpoint.period和dfs.namenode.checkpoint.txns分别是6个小时和1000000。
只要达到这两个条件之一，secondarynamenode会执行c...]]></description><category></category></item><item><title><![CDATA[使用PyCharm进行远程开发和调试]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/80859162</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/80859162</guid><author>lichangzai</author><pubDate>Fri, 29 Jun 2018 16:56:16 +0800</pubDate><description><![CDATA[我们在使用python开发代码时，在linux上直接用vi编辑器开发操作起来会不是很方便，可以通过PyCharm的远程解释器加上文件同步功能，实现本地编辑代码-&amp;gt;同步到服务器-&amp;gt;通过远程debug来调试测试程序1.     远程服务器的同步配置远程服务器IP地址172.16.29.17，开启ssh服务，安装python版本2.6。我用一个在PyCharm里面的scripts项目来做演示...]]></description><category></category></item><item><title><![CDATA[mysql参数调整参考(mysqltuner)]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/80800042</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/80800042</guid><author>lichangzai</author><pubDate>Mon, 25 Jun 2018 11:54:13 +0800</pubDate><description><![CDATA[脚本获取# wget -c https://raw.githubusercontent.com/major/MySQLTuner-perl/master/mysqltuner.pl 脚本执行# chmod +x mysqltuner.pl# ./mysqltuner.pl 执行结果分析：[root@holly1 backup]# ./mysqltuner.pl  &amp;gt;&amp;gt;  MySQLTu...]]></description><category></category></item><item><title><![CDATA[MySQL 监控-innotop]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/80799911</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/80799911</guid><author>lichangzai</author><pubDate>Mon, 25 Jun 2018 11:42:40 +0800</pubDate><description><![CDATA[innotop 编写者Balon Schwartz,《高性能MySQL》的作者之一。innotop的作用为实时地展示服务器正在发生的事情，监控innodb,监控多个MySQL实例，是一款MySQL运维和问题定位分析的工具。具体特性 ： 事务列表可以显示Inoodb当前的全部事务 查询列表可以显示当前正在运行的查询 可以显示当前锁和锁等待的列表 以相对值显示服务器状态和变量的汇总信息 有多种模式可用...]]></description><category></category></item><item><title><![CDATA[CM启动 Oozie 服务器 Web 控制台]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/80045648</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/80045648</guid><author>lichangzai</author><pubDate>Mon, 23 Apr 2018 08:58:58 +0800</pubDate><description><![CDATA[默认情况下Cloudera Manager是没有开启Oozie web console的。在打开Oozie Web UI时会出现下面的错误：http://172.16.29.10:11000/oozie/Oozie web console is disabled.To enable Oozie web consoleinstall the Ext JS library.Oozie web cons...]]></description><category></category></item><item><title><![CDATA[Linux下安装 Python人脸识别 face_recognition 模块]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/79963808</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/79963808</guid><author>lichangzai</author><pubDate>Mon, 16 Apr 2018 17:43:11 +0800</pubDate><description><![CDATA[系统环境：CentOS6.7

Anaconda版本：Anaconda3-5.1.0-Linux-x86_64

Python版本：Python-3.6.4

 

1. yum安装cmake、boost

yum install cmake boost

 

2. yum安装gcc gcc-c++

yum install gcc gcc-c++

先利用yum安装系统现有版本，再升级至4.8...]]></description><category></category></item><item><title><![CDATA[用Hue中的Oozie执行Impala Sheel脚本]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/79412827</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/79412827</guid><author>lichangzai</author><pubDate>Thu, 01 Mar 2018 15:14:58 +0800</pubDate><description><![CDATA[在Oozie中不能像执行hive SQL那样直接执行impala SQL脚本。目前没有Impala操作，因此你必须使用调用impala-shell的shell操作。调用impala-shell的shell脚本中还必须包含设置PYTHON EGGS位置的环境变量。这是一个shell脚本（impala_overwrite.sh）示例： export PYTHON_EGG_CACHE=./myeggs ...]]></description><category></category></item><item><title><![CDATA[数据预处理--数据降维]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/75562367</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/75562367</guid><author>lichangzai</author><pubDate>Thu, 20 Jul 2017 17:10:48 +0800</pubDate><description><![CDATA[数据规约产生更小但保持数据完整性的新数据集。在规约后的数据集上进行数据分析和挖掘将更有效率。机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显式的或隐式的、线性的]]></description><category></category></item><item><title><![CDATA[协同过滤算法]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/74990059</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/74990059</guid><author>lichangzai</author><pubDate>Tue, 11 Jul 2017 17:33:19 +0800</pubDate><description><![CDATA[在现今的推荐技术和算法中，最被大家广泛认可和采用的就是基于协同过滤的推荐方法。本文将带你深入了解协同过滤的秘密。下面直接进入正题1 什么是协同过滤协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过滤 (Collaborative Filtering, 简称 CF)，首先想一个简单的问题，如果你现在想看个电影，但你不知道具体看哪部，你会怎么做？大部分的人会问问周围的朋友，看看最近有什么好看的电]]></description><category></category></item><item><title><![CDATA[动态 SQL、EXECUTE IMMEDIATE、using、into、returning]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/72885445</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/72885445</guid><author>lichangzai</author><pubDate>Tue, 06 Jun 2017 17:21:52 +0800</pubDate><description><![CDATA[很多时候我们需要在存储过程中使用动态的SQL，要怎么用好动态SQL呢，怎样执行效率最高呢。下面来介绍一下，如何使用动态SQL操作数据库。在存储过程中执行一个简单的SQL语句使用下面的方法即可。DECLARE
BEGIN
  /* 使用该方法来创建一个新数据表，但这方法需要当前用户具有创建表的权限。 */
  EXECUTE IMMEDIATE 'create table test (data1 n]]></description><category></category></item><item><title><![CDATA[python数据类型详解]]></title><link>https://blog.youkuaiyun.com/lichangzai/article/details/71271882</link><guid>https://blog.youkuaiyun.com/lichangzai/article/details/71271882</guid><author>lichangzai</author><pubDate>Sat, 06 May 2017 16:43:00 +0800</pubDate><description><![CDATA[目录1、字符串2、布尔类型3、整数4、浮点数5、数字6、列表7、元组8、字典9、日期1、字符串1.1、如何在Python中使用字符串a、使用单引号(')用单引号括起来表示字符串，例如：str='this is string';print str;b、使用双引号(")双引号中的字符串与单引号中的字符串用法完全相同，例如：str="this is string";print str;c、使用三引号(']]></description><category></category></item></channel></rss>