<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[zwbill的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/zwbill</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; zwbill]]></copyright><item><title><![CDATA[centos配置ssh免密码登录后仍要输入密码的解决方法]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/80448939</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/80448939</guid><author>zwbill</author><pubDate>Fri, 25 May 2018 11:03:53 +0800</pubDate><description><![CDATA[前言在搭建Linux集群服务的时候，主服务器需要启动从服务器的服务，如果通过手动启动，集群内服务器几台还好，要是像阿里1000台的云梯Hadoop集群的话，轨迹启动一次集群就得几个工程师一两天时间，是不是很恐怖。如果使用免密登录，主服务器就能通过程序执行启动脚步，自动帮我们将从服务器的应用启动。而这一切就是建立在ssh服务的免密码登录之上的。所以要学习集群部署，就必须了解linux的免密码登录。第...]]></description><category></category></item><item><title><![CDATA[hadoop2.9安装指南]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/80100905</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/80100905</guid><author>zwbill</author><pubDate>Thu, 26 Apr 2018 22:22:31 +0800</pubDate><description><![CDATA[1、到hadoop官网下载最新的二进制版本。 2、把压缩包上传到你的linux服务器、解压缩、配置环境变量. ps:我这里用的是centos6.9，你也可以用别的linux，譬如ubuntu。 解压缩命令： tar -zxvf hadoop-2.9.0.tar.gz 文件夹重命名：mv hadoop-2.9.0 hadoop 配置环境变量：vim /etc/profileexport PATH=....]]></description><category></category></item><item><title><![CDATA[python加itchat 获取微信群用户信息]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/79929860</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/79929860</guid><author>zwbill</author><pubDate>Fri, 13 Apr 2018 15:41:16 +0800</pubDate><description><![CDATA[失散了10多年的组织(高中同学群）建立的群，同学们“自觉”地实名了，下一步就要寻找还没有找到组织的同志，为此，爬取了群内用户清单，导出来列一下。#!/usr/bin/python 
#coding: utf-8

import itchat,time
from itchat.content import TEXT

import sys
reload(sys) 
sys.setdefaultenc...]]></description><category></category></item><item><title><![CDATA[katalon automation recorder 与python selenium 使用学习]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/79868364</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/79868364</guid><author>zwbill</author><pubDate>Mon, 09 Apr 2018 19:16:12 +0800</pubDate><description><![CDATA[近日，发现数据批量入错，由于没有数据库权限，之前应用界面重复操作，量有200多个，尝试使用selenium自动化一把给chrome安装katalon automation recorder(google应用商店，过墙) 界面操作录制脚本，export 为python脚本修改python脚本：如加上时间等待(sleep),修正katalon不支持的python语法（# ERROR: Caught e...]]></description><category></category></item><item><title><![CDATA[linux系统，启动、停止、重启crontab服务]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/79724053</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/79724053</guid><author>zwbill</author><pubDate>Wed, 28 Mar 2018 10:44:01 +0800</pubDate><description><![CDATA[因数据库停机维护，相关定时作业无法执行，需要停crontab服务，操作如下：https://blog.youkuaiyun.com/lv_shijun/article/details/70263919情况一：正常情况（系统有service命令）重启服务命令：[root@centos6 /]# service crond restart启动服务命令：[root@centos6 /]# service crond...]]></description><category></category></item><item><title><![CDATA[Linux shadow文件中密码的加密方式]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/79322374</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/79322374</guid><author>zwbill</author><pubDate>Tue, 13 Feb 2018 17:09:04 +0800</pubDate><description><![CDATA[1) 查看shadow文件的内容cat /etc/shadow可以得到shadow文件的内容，限于篇幅，我们举例说明：root:$1$Bg1H/4mz$X89TqH7tpi9dX1B9j5YsF.:14838:0:99999:7:::其格式为：{用户名}：{加密后的口令密码}：{口令最后修改时间距原点(1970-1-1)的天数}：{口令最小修改间隔(防止修改口令，如果时限未到，将恢复至旧口令)：{...]]></description><category></category></item><item><title><![CDATA[sqoop连接多实例的oracle数据库事项]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/79309593</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/79309593</guid><author>zwbill</author><pubDate>Sun, 11 Feb 2018 11:48:41 +0800</pubDate><description><![CDATA[背景：近期使用sqoop导入oracle 数据时，按格式 --connect jdbc:oracle:thin:@IP:port:service_name时导入数据不成功，提示 ORA-12505, TNS:listener does not currently know of SID given in connect descriptor，经过查看下面的文章，原因是本次连接的数据库是使用双机RA...]]></description><category></category></item><item><title><![CDATA[彻底理解MapReduce shuffle过程原理]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/79222502</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/79222502</guid><author>zwbill</author><pubDate>Wed, 31 Jan 2018 21:52:28 +0800</pubDate><description><![CDATA[http://blog.youkuaiyun.com/techchan/article/details/53405519


MapReduce的Shuffle过程介绍


Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。

为什么MapR]]></description><category></category></item><item><title><![CDATA[Linux下文件转码操作]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/79210744</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/79210744</guid><author>zwbill</author><pubDate>Tue, 30 Jan 2018 21:08:48 +0800</pubDate><description><![CDATA[参考文章

http://blog.youkuaiyun.com/jnbbwyth/article/details/6991425/
http://blog.chinaunix.net/uid-27050514-id-3721035.html



查看文件编码
在Linux中查看文件编码可以通过以下几种方式：
1.在Vim中可以直接查看文件编码
:set fileencoding
即可]]></description><category></category></item><item><title><![CDATA[pip 离线安装包方法]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/78897605</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/78897605</guid><author>zwbill</author><pubDate>Mon, 25 Dec 2017 22:26:11 +0800</pubDate><description><![CDATA[场景：内网服务器不能上外网（代理也不通！），只能通过虚拟机上下载相关包后，再scp到内网服务器，然后利用pip安装.
注：以下步骤是安装单个包的，下例子以安装ipython包（较多依赖）说明

步骤说明：
1、使用pip download 命令下载wheel文件至下载目录~/pippackage目录下
 pip install ipython --download ~/pippackag]]></description><category></category></item><item><title><![CDATA[Redis 三种启动设置 开机自启动]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/78651777</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/78651777</guid><author>zwbill</author><pubDate>Tue, 28 Nov 2017 09:47:04 +0800</pubDate><description><![CDATA[redis配置]]></description><category></category></item><item><title><![CDATA[利用python多线程更新数据]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/78616994</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/78616994</guid><author>zwbill</author><pubDate>Thu, 23 Nov 2017 17:22:19 +0800</pubDate><description><![CDATA[多线程共用游标]]></description><category></category></item><item><title><![CDATA[vim配置python编辑器]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/78475705</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/78475705</guid><author>zwbill</author><pubDate>Wed, 08 Nov 2017 10:24:39 +0800</pubDate><description><![CDATA[环境：centos7 + python2.7
坑：centos7中自带的vim 版本是7.4.160,安装完成YMC后报：YouCompleteMe unavailable: requires Vim 7.4.1578+.
解决方法：升级VIM 到8版本后解决



vimrc配置文件：
set nocompatible              " be iMproved, req]]></description><category></category></item><item><title><![CDATA[Python的列表推导式，字典推导式，集合推导式使用方法]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/78408155</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/78408155</guid><author>zwbill</author><pubDate>Tue, 31 Oct 2017 21:14:08 +0800</pubDate><description><![CDATA[推导式分为列表推导式（list），字典推导式(dict)，集合推导式(set)三种
1.列表推导式也叫列表解析式。
功能：是提供一种方便的列表创建方法，所以，列表解析式返回的是一个列表
格式：用中括号括起来，中间用for语句，后面跟if语句用作判读，满足条件的传到for语句前面用作构建先的列表
[x**2 for item in item_list if item>2]
例子：

1]]></description><category></category></item><item><title><![CDATA[python操作hiveserver2相关工具集]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/78329828</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/78329828</guid><author>zwbill</author><pubDate>Tue, 24 Oct 2017 15:10:08 +0800</pubDate><description><![CDATA[1、pyhs2,已没有更新维护
https://github.com/BradRuderman/pyhs2






2、pyhive
https://github.com/dropbox/PyHive


3、impyla
https://github.com/cloudera/impyla]]></description><category></category></item><item><title><![CDATA[jdbc远程连接hiveserver2]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/78317049</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/78317049</guid><author>zwbill</author><pubDate>Mon, 23 Oct 2017 11:29:15 +0800</pubDate><description><![CDATA[在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求，取回结果。HiveServe]]></description><category></category></item><item><title><![CDATA[sqoop操作之HDFS导出到ORACLE]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/78313752</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/78313752</guid><author>zwbill</author><pubDate>Sun, 22 Oct 2017 21:56:03 +0800</pubDate><description><![CDATA[注意：在导出前需要先创建待导出的表结构。如果导出的表在数据库中不存在则会报错；如果重复导出多次，表中的数据会重复；

create table EMP_DEMO as select * from EMP where 1=2;
create table SALGRADE_DEMO as select * from SALGRADE where 1=2;

 
导出表的所有字段

sqo]]></description><category></category></item><item><title><![CDATA[Hadoop HDFS本地存储目录结构解析]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/78271581</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/78271581</guid><author>zwbill</author><pubDate>Wed, 18 Oct 2017 12:44:30 +0800</pubDate><description><![CDATA[Hadoop HDFS本地存储目录结构解析

原创 2016年05月19日 11:38:21


标签：hadoop
/hdfs
/metadata
/

9207]]></description><category></category></item><item><title><![CDATA[du 使用详解 查看一级目录大小]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/78271263</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/78271263</guid><author>zwbill</author><pubDate>Wed, 18 Oct 2017 11:51:19 +0800</pubDate><description><![CDATA[du
 -h --max-depth=1 |grep [TG] |sort #查找上G和T的目录并排序du
 -sh #统计当前目录的大小，以直观方式展现du
 -h --max-depth=1 |grep 'G' |sort #查看上G目录并排序du
 -sh --max-depth=1 #查看当前目录下所有一级子目录文件夹大小du
 -h --max-depth=1 |sort #查]]></description><category></category></item><item><title><![CDATA[Hive 桶的分区]]></title><link>https://blog.youkuaiyun.com/zwbill/article/details/78256518</link><guid>https://blog.youkuaiyun.com/zwbill/article/details/78256518</guid><author>zwbill</author><pubDate>Tue, 17 Oct 2017 09:02:49 +0800</pubDate><description><![CDATA[总结：分桶关键字 clustered by(columname) into  N  buckets 
抽取sampletable函数(bucket X out of Y)
要求x<y，y 是N的倍数或者因子。
Y为倍数时，缩小抽取量，因子时，会加大抽取量（即多桶），X代表第几桶！]]></description><category></category></item></channel></rss>