<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[a_victory的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/a_victory</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; a_victory]]></copyright><item><title><![CDATA[数据挖掘学习（三）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/72868582</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/72868582</guid><author>a_victory</author><pubDate>Mon, 05 Jun 2017 16:30:05 +0800</pubDate><description><![CDATA[Kaggle的Titanic数据分析——————————————(学习使用方法，重在运用) 
特征分析与选择 
特征工程1 
一般方法：1、 读取训练集和测试集为 DataFrame；2、 训练集数据（head查看）（配合字段含义）（info可以看到有缺失值的列） 
（describe，mean字段等查看具体数据数值）3、 数据清洗，（drop去除 PassengerId、Name、Ticket 字]]></description><category></category></item><item><title><![CDATA[数据挖掘学习（二）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/72845070</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/72845070</guid><author>a_victory</author><pubDate>Fri, 02 Jun 2017 15:51:21 +0800</pubDate><description><![CDATA[1、train.csv 
这里采用的数据集来自于Kaggle | Allstate Claims Severity比赛，这里的训练集如下所示，有116个离散特征（cat1-cat116）,14个连续特征（cont1 -cont14）2、xgboost代码分析import numpy as np  
import pandas as pd  
import xgboost as xgb  
impor]]></description><category></category></item><item><title><![CDATA[数据挖掘（pandas&xgboost）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/72842051</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/72842051</guid><author>a_victory</author><pubDate>Fri, 02 Jun 2017 10:32:43 +0800</pubDate><description><![CDATA[类别特征处理1、利用pd.get_dummies方法将类别特征进行编码。使用get_dummies进行one-hot编码（查看时间字段的类型，如果不是datetime类型需要to_datetime转化）例如：下面代码实现对age字段的转化，其中convert_age为转化函数，将对应的age、sex、user_lv进行one-hot编码，并concat一起，dump保存。user['age'].ma]]></description><category></category></item><item><title><![CDATA[Mule总结(初)]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/70216772</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/70216772</guid><author>a_victory</author><pubDate>Mon, 17 Apr 2017 22:10:04 +0800</pubDate><description><![CDATA[What is Mule?一个以Java为核心的轻量级的消息框架和整合平台。它使得开发人员可以快速，简单的连接多个应用。目前许多公司都使用了Mule，比如Walmart,HP,Sony,Deutsche Bank 以及 CitiBank等公司。Mule基于Enterprise Service Bus(ESB)架构思想。ESB的主要特性是通过扮演一个中转系统的角色，允许不同的应用系统交互，中转系统在内]]></description><category></category></item><item><title><![CDATA[Spark进阶（八）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/68921722</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/68921722</guid><author>a_victory</author><pubDate>Fri, 31 Mar 2017 09:34:35 +0800</pubDate><description><![CDATA[分类+回归+聚类+协同过滤 
1  分类算法 
分类算法属于监督式学习，使用类标签已知的样本建立一个分类函数或分类模型，应用分类模型，能把数据库中的类标签未知的数据进行归类。分类在数据挖掘中是一项重要的任务，目前在商业上应用最多，常见的典型应用场景有流失预测、精确营销、客户获取、个性偏好等。 MLlib 目前支持分类算法有：逻辑回归、支持向量机、朴素贝叶斯和决策树。案例：导入训练数据集，然后在训练集]]></description><category></category></item><item><title><![CDATA[Spark进阶（七）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/68061479</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/68061479</guid><author>a_victory</author><pubDate>Wed, 29 Mar 2017 10:53:40 +0800</pubDate><description><![CDATA[hive使用案例 
Spark进阶（六）安装好了hive的远程模式。 
Continue： 
http://www.sogou.com/labs/resource/q.php 中下载gz格式 
//SogouQ1.txt、SogouQ2.txt、SogouQ3.txt分别是用head -n 或者tail -n 从SogouQ数据日志文件中截取//访问时间\t用户ID\t[查询词]\t该URL在返回结]]></description><category></category></item><item><title><![CDATA[Spark进阶（六）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/67674009</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/67674009</guid><author>a_victory</author><pubDate>Tue, 28 Mar 2017 22:43:18 +0800</pubDate><description><![CDATA[SparkSQL 运行架构 && hive 的安装实践 
TreeNode 体系Logical Plans 、Expressions 、Physical Operators 都可以使用Tree 表示 
– TreeNode 具备一些scala collection 的操作能力和树遍历能力，树的修改是以替换已有节点的方式进行的。 
– TreeNode ，内部带一个children: Seq[Base]]></description><category></category></item><item><title><![CDATA[java(三)]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/67025653</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/67025653</guid><author>a_victory</author><pubDate>Mon, 27 Mar 2017 22:22:08 +0800</pubDate><description><![CDATA[空判断list == null || list.isEmpty()isNull()和containsKey()使用场景 如何判断json里面某个key存不存在
org.json.JSONObject的!json.isNull("XXX") net.sf.json.JSONObject的json.containsKey("XXX") 查看后台的logs情况cd logs
tail -f catalin]]></description><category></category></item><item><title><![CDATA[Java（二）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/66974620</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/66974620</guid><author>a_victory</author><pubDate>Mon, 27 Mar 2017 18:15:30 +0800</pubDate><description><![CDATA[final常量+staticpublic static final int AGE_0F_PERSON = 20;ListArrayList list = new ArrayList();
list.add  list.get(0) size() addLast() getFirst() removeFirst()* 类型转化处理*
  String.valueOf(XXX);转化为String类型]]></description><category></category></item><item><title><![CDATA[java（一）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/66970025</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/66970025</guid><author>a_victory</author><pubDate>Mon, 27 Mar 2017 11:42:39 +0800</pubDate><description><![CDATA[异常
  NullpointException（空指针异常）  
  ClassNotFoundException（类找不到异常） 
  ClassCastException（类型转换异常）  
  IllegalArgumentException（非法参数异常） 
  ArithmeticException（算术异常）  
  NumberFormatException（数据格式异常） 
  In]]></description><category></category></item><item><title><![CDATA[spark进阶（五）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/65627843</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/65627843</guid><author>a_victory</author><pubDate>Fri, 24 Mar 2017 10:36:17 +0800</pubDate><description><![CDATA[Spark StreamingSparkStreaming框架计算流程：Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark，也就是把Spark Streaming的输入数据按照batch size（如1秒）分成一段一段的数据（Discretized Stream），每一段数据都转换成Spark中的RDD（Resilient Distributed D]]></description><category></category></item><item><title><![CDATA[Spark进阶（四）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/65446036</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/65446036</guid><author>a_victory</author><pubDate>Thu, 23 Mar 2017 17:14:07 +0800</pubDate><description><![CDATA[1.Spark与MySQL或者其他的关系型数据库package scalaimport java.sql.{DriverManager, PreparedStatement, Connection}
import org.apache.spark.{SparkContext, SparkConf}object RDDtoMysql {//这里按需设置数据库Blog表
  case class Blo]]></description><category></category></item><item><title><![CDATA[Hbase学习笔记（一）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/65444317</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/65444317</guid><author>a_victory</author><pubDate>Thu, 23 Mar 2017 15:32:34 +0800</pubDate><description><![CDATA[HBase表数据分页处理1、HBase表数据分页模型类import java.io.Serializable;
import java.text.DecimalFormat;
import java.util.ArrayList;
import java.util.List;
import org.apache.hadoop.hbase.client.Result;
public class HBa]]></description><category></category></item><item><title><![CDATA[hadoop学习笔记（一）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/65441859</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/65441859</guid><author>a_victory</author><pubDate>Thu, 23 Mar 2017 11:53:08 +0800</pubDate><description><![CDATA[Hadoop之FileSystem文件的操作//读数据 
Hadoop中的IOUtils类的两个静态方法：  
1）IOUtils.copyBytes()，其中in表示拷贝源，System.out表示拷贝目的地（也就是要拷贝到标准输出中去），4096表示用来拷贝的buffer大小，false表明拷贝完成后我们并不关闭拷贝源可拷贝目的地（因为System.out并不需要关闭，in可以在finally语]]></description><category></category></item><item><title><![CDATA[Spark进阶（三）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/65437468</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/65437468</guid><author>a_victory</author><pubDate>Thu, 23 Mar 2017 10:14:03 +0800</pubDate><description><![CDATA[客户端模式和集群模式的区别这里我们要区分一下什么是客户端模式（client mode），什么是集群模式（cluster mode）。
  我们知道，当在YARN上运行Spark作业时，每个Spark executor作为一个YARN容器(container)运行。Spark可以使得多个Tasks在同一个容器(container)里面运行。 yarn-cluster和yarn-client模式的区别其]]></description><category></category></item><item><title><![CDATA[Spark进阶（二）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/62420126</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/62420126</guid><author>a_victory</author><pubDate>Thu, 16 Mar 2017 12:05:29 +0800</pubDate><description><![CDATA[Spark Stream将Stream数据分成小的时间片段，以类似batch批处理的方式来处理这一部分数据，兼容实时数据处理的逻辑和算法和兼容批量处理。Spark MLlibSparkSQL1.MapReduce计算过程大量的磁盘落地消耗了大量的io，降低运行效率。此时shark应运而生，同期的还有Impala和Drill。shark（在hive的基础上，把HQL翻译成Spark的RDD操作。实现基]]></description><category></category></item><item><title><![CDATA[Spark进阶（一）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/62229013</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/62229013</guid><author>a_victory</author><pubDate>Wed, 15 Mar 2017 16:31:08 +0800</pubDate><description><![CDATA[Hadoop与Spark的区别 
 
搜狗文件分析例子 
以交互的方式：val rdd = sc.textFile("/input/SogouQ.reduced")① ⽤户在00:00:00到12:00:00之间的查询数？以本地的模式：package cn.chinahadoop.scalaimport org.apache.spark.{SparkContext, SparkConf}  obje]]></description><category></category></item><item><title><![CDATA[Spark学习笔记（八）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/60962168</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/60962168</guid><author>a_victory</author><pubDate>Thu, 09 Mar 2017 16:08:02 +0800</pubDate><description><![CDATA[GRAPHX 
-SPARK上的统一图表分析许多图形并行算法 
协作过滤
  交替最小二乘法 
  随机梯度下降 
  张量因式分解
结构化预测
  Loopy Belief Propagation 
  最大产品线性计划 
  吉布斯取样
半监督ML
  图形SSL 
  CoEM
社区检测
  三角计数 
  K-core分解 
  K-Truss
图表分析
  PageRank 
  个性化P]]></description><category></category></item><item><title><![CDATA[Spark学习笔记（七）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/60960508</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/60960508</guid><author>a_victory</author><pubDate>Thu, 09 Mar 2017 14:59:13 +0800</pubDate><description><![CDATA[本文目的:
正式化RDD概念
Spark应用程序的生命过程
性能调试
正式化RDD概念 
科学定义RDD 是一个接口 
1.分区的集合 
2.对父RDD的依赖性列表 
3.计算分区的函数（作为迭代器） 
示例：HadoopRDD and Filtered RDD 
RDD Graph (DAG of tasks) 
 
同时，每一RDD包括5个部分（1.分区2.依赖3.计算4.（可选）分割器5.首选]]></description><category></category></item><item><title><![CDATA[Spark学习笔记（六）]]></title><link>https://blog.youkuaiyun.com/a_victory/article/details/60957373</link><guid>https://blog.youkuaiyun.com/a_victory/article/details/60957373</guid><author>a_victory</author><pubDate>Thu, 09 Mar 2017 11:51:03 +0800</pubDate><description><![CDATA[Json-SparkSQL 
JSON的流行特点：简单，重点内容紧凑，易于阅读
灵活的模式 
每个JSON对象都是自描述的
Web服务之间的的数据交换格式 
例如：Facebook和Twitter API
高度用于移动和Web应用程序开发 
大量的JSON数据集
JSON的灵活性使得生成JSON数据集变得容易，But，JSON的灵活性使得难以分析JSON数据集。Difference： 
 - 定义模]]></description><category></category></item></channel></rss>