<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wdier的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wdier</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wdier]]></copyright><item><title><![CDATA[连续特征离散化]]></title><link>https://blog.youkuaiyun.com/wdier/article/details/77964492</link><guid>https://blog.youkuaiyun.com/wdier/article/details/77964492</guid><author>wdier</author><pubDate>Wed, 13 Sep 2017 13:10:46 +0800</pubDate><description><![CDATA[RT，尤其在logistic regression上，需要把一些连续特征进行离散化处理。离散化除了一些计算方面等等好处，还可以引入非线性特性，也可以很方便的做cross-feature。

连续特征离散化处理有什么好的方法， 有时候为什么不直接归一化？

这里主要说明监督的变换方法；




连续性变量转化成离散型变量大致有两类方法：

（1）卡方检验方法；

（2）信息]]></description><category></category></item><item><title><![CDATA[GBDT与梯度的理解]]></title><link>https://blog.youkuaiyun.com/wdier/article/details/77961817</link><guid>https://blog.youkuaiyun.com/wdier/article/details/77961817</guid><author>wdier</author><pubDate>Wed, 13 Sep 2017 09:23:23 +0800</pubDate><description><![CDATA[GBDT 全称为 Gradient Boosting Decision Tree。顾名思义,它是一种基于决策树(decision tree)实现的分类回归算法。不难发现,GBDT
 有两部分组成: gradient boosting, decision tree。Boosting 作为一种模型组合方式,与gradient descent 有很深的渊源,它们之间究竟有什么关系?同时 decisio]]></description><category></category></item><item><title><![CDATA[Hadoop2.7.2之Hive-2.1.1的Hiveserver2服务和beeline远程调试]]></title><link>https://blog.youkuaiyun.com/wdier/article/details/73550298</link><guid>https://blog.youkuaiyun.com/wdier/article/details/73550298</guid><author>wdier</author><pubDate>Wed, 21 Jun 2017 16:20:06 +0800</pubDate><description><![CDATA[1.开启metastore 和 hiveserver2服务
[root@sht-sgmhadoopnn-01 bin]# hive --service metastore &
[1] 31092
[root@hadoop-01 bin]# hive --service hiveserver2 &
[root@hadoop-01 bin]# ps -ef|grep hive
root   ]]></description><category></category></item><item><title><![CDATA[HBase优化之bulkload写入]]></title><link>https://blog.youkuaiyun.com/wdier/article/details/71439871</link><guid>https://blog.youkuaiyun.com/wdier/article/details/71439871</guid><author>wdier</author><pubDate>Tue, 09 May 2017 10:38:10 +0800</pubDate><description><![CDATA[1、为何要 BulkLoad 导入？传统的 HTableOutputFormat 写 HBase 有什么问题？
我们先看下 HBase 的写流程：


通常 MapReduce 在写HBase时使用的是 TableOutputFormat 方式，在reduce中直接生成put对象写入HBase，该方式在大数据量写入时效率低下（HBase会block写入，频繁进行flush，split，co]]></description><category></category></item><item><title><![CDATA[HBase Rowkey热点问题]]></title><link>https://blog.youkuaiyun.com/wdier/article/details/69258941</link><guid>https://blog.youkuaiyun.com/wdier/article/details/69258941</guid><author>wdier</author><pubDate>Wed, 05 Apr 2017 16:12:45 +0800</pubDate><description><![CDATA[当处理由连续事件得到的数据时，即时间上连续的数据。这些数据可能来自于某个传感器网络、证券交易或者一个监控系统。它们显著的特点就是rowkey中含有事件发生时间。带来的一个问题便是Hbase对于row的不均衡分布，它们被存储在一个唯一的rowkey区间中，被称为region，区间的范围被称为Start
 Key和End Key。

对于单调递增的时间类型数据，很容易被散列到同一个Region中]]></description><category></category></item><item><title><![CDATA[HBase HFile BulkLoad]]></title><link>https://blog.youkuaiyun.com/wdier/article/details/68488922</link><guid>https://blog.youkuaiyun.com/wdier/article/details/68488922</guid><author>wdier</author><pubDate>Thu, 30 Mar 2017 16:01:52 +0800</pubDate><description><![CDATA[原文：http://shitouer.cn/2013/02/hbase-hfile-bulk-load/
一、这种方式有很多的优点：
1. 如果我们一次性入库Hbase巨量数据，处理速度慢不说，还特别占用Region资源， 一个比较高效便捷的方法就是使用 “Bulk Loading”方法，即HBase提供的HFileOutputFormat类。
2. 它是利用hbase的数据信息按照特定格式]]></description><category></category></item><item><title><![CDATA[Kubernetes kube-ui 安装部署]]></title><link>https://blog.youkuaiyun.com/wdier/article/details/64123783</link><guid>https://blog.youkuaiyun.com/wdier/article/details/64123783</guid><author>wdier</author><pubDate>Mon, 20 Mar 2017 11:49:20 +0800</pubDate><description><![CDATA[kube-ui是k8s提供的web管理界面，可以展示节点的内存、CPU、磁盘、Pod、RC、SVC等信息。



1.编辑kube-dashboard-rc.yml定义文件
[root@master kube-dashboard]# cat kubernetes-dashboard-rc.yml


kind: ReplicationController
apiVersion: v]]></description><category></category></item><item><title><![CDATA[Kubernetes安装部署学习笔记（二）]]></title><link>https://blog.youkuaiyun.com/wdier/article/details/62217579</link><guid>https://blog.youkuaiyun.com/wdier/article/details/62217579</guid><author>wdier</author><pubDate>Wed, 15 Mar 2017 11:11:35 +0800</pubDate><description><![CDATA[1 源码分析

如果全部前提工作准备完毕，启动和停止k8s的方法非常简单分别单独一条命令（在cluster目录下）：


KUBERNETES_PROVIDER=ubuntu ./kube-up.sh
KUBERNETES_PROVIDER=ubuntu ./kube-down.sh

下面分析下这条命令具体做了哪些事情。




#!/bin/bash

# Copyrig]]></description><category></category></item><item><title><![CDATA[Kubernetes安装部署学习笔记（一）]]></title><link>https://blog.youkuaiyun.com/wdier/article/details/62215099</link><guid>https://blog.youkuaiyun.com/wdier/article/details/62215099</guid><author>wdier</author><pubDate>Wed, 15 Mar 2017 09:07:16 +0800</pubDate><description><![CDATA[一 Kubernetes 一键部署，kube-up脚本解析 
二 脚本内部，脚本source调用步骤 
env.sh     —->     kube-env.sh      —>     kube-util.sh 
1 env.sh 找不到，就不执行 
2 kebe-env.sh  也就是定义了一些打印的颜色，和一个kube_server_version() 函数，来打印major ,minor]]></description><category></category></item><item><title><![CDATA[Java中String类型和Date类型的相互转换]]></title><link>https://blog.youkuaiyun.com/wdier/article/details/60956504</link><guid>https://blog.youkuaiyun.com/wdier/article/details/60956504</guid><author>wdier</author><pubDate>Thu, 09 Mar 2017 11:06:23 +0800</pubDate><description><![CDATA[java中String和Date的互相转换使用SimpleDateFormat来完成。SimpleDateFormat使用记得 import java.text.SimpleDateFormat。1.String -> Datejava.text.SimpleDateFormat formatter = new SimpleDateFormat( "yyyy-MM-dd ");
String s=]]></description><category></category></item><item><title><![CDATA[Docker学习(二)：不使用sudo执行Docker]]></title><link>https://blog.youkuaiyun.com/wdier/article/details/60571631</link><guid>https://blog.youkuaiyun.com/wdier/article/details/60571631</guid><author>wdier</author><pubDate>Mon, 06 Mar 2017 10:31:49 +0800</pubDate><description><![CDATA[为什么需要创建docker用户组？Docker守候进程绑定的是一个unix socket，而不是TCP端口。 
这个套接字默认的属主是root，其他是用户可以使用sudo命令来访问这个套接字文件。因为这个原因，docker服务进程都是以root帐号的身份运行的。 
为了避免每次运行docker命令的时候都需要输入sudo，可以创建一个docker用户组，并把相应的用户添加到这个分组里面。当docke]]></description><category></category></item><item><title><![CDATA[Docker学习(一)：Ubuntu下Docker的一些基本指令和注意事项]]></title><link>https://blog.youkuaiyun.com/wdier/article/details/60571230</link><guid>https://blog.youkuaiyun.com/wdier/article/details/60571230</guid><author>wdier</author><pubDate>Mon, 06 Mar 2017 10:16:30 +0800</pubDate><description><![CDATA[转载自：http://blog.youkuaiyun.com/tina_ttl

最近发现极客学院docker教程，还不错，可以参考
1.Dockerhub下载镜像

注：Dockerhub地址

有两种方式可以获得新的镜像

直接从dockerhub下载编译好的image（该编译过程在docker hub的云端完成）（见3.1）下载docekrfile文件，在本机进行build

直接]]></description><category></category></item><item><title><![CDATA[Ubuntu 16.04设置静态IP地址（NAT方式）]]></title><link>https://blog.youkuaiyun.com/wdier/article/details/60570475</link><guid>https://blog.youkuaiyun.com/wdier/article/details/60570475</guid><author>wdier</author><pubDate>Mon, 06 Mar 2017 09:32:38 +0800</pubDate><description><![CDATA[1.安装环境

VMware 10.0.4 build-2249910

Ubuntu 16.04 x86_64


2.在VMware中，配置网络环境

VMware在默认安装完成之后，会创建三个虚拟的网络环境：VMnet0、VMnet1和VMnet8。其类型分别为：桥接网络，Host-only和NAT。其中，NAT表示VMWware内安装的Ubuntu将会在一个子网中，VMw]]></description><category></category></item></channel></rss>