<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Losteng的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Losteng</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Losteng]]></copyright><item><title><![CDATA[学习GBDT+LR]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/78378958</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/78378958</guid><author>Losteng</author><pubDate>Sat, 28 Oct 2017 20:28:37 +0800</pubDate><description><![CDATA[最近看了facebook的Practical Lessons from Predicting Clicks on Ads at Facebook的这篇文章
下面简单的介绍一下该算法：
1.GBDT+LR 模型
首先，该模型不算是新的模型了，在一些大公司的ctr的模型中已经使用了。


如图就是该论文中提出的组合模型GBDT+LR，可以将GBDT看做是对特征一种组合编码的过程，最后的LR]]></description><category></category></item><item><title><![CDATA[xgboost在win10 安装的we]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/75579309</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/75579309</guid><author>Losteng</author><pubDate>Fri, 21 Jul 2017 00:05:27 +0800</pubDate><description><![CDATA[最近在看xgboost的工具，需要在win10下安装，遇到一些问题，下面记录一下安装是遇到的问题。
首先是官方网站的安装说明
http://xgboost.readthedocs.io/en/latest/build.html



但是在安装前需要安装编译的环境

可以从下面的连接下载MinGW-w64 - for 32 and 64 bit Windows


https]]></description><category></category></item><item><title><![CDATA[mxnet的更新问题]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/69049934</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/69049934</guid><author>Losteng</author><pubDate>Mon, 03 Apr 2017 21:42:39 +0800</pubDate><description><![CDATA[最近关于caffe 和mxnet 都是在GitHub上的开源项目。
经常会出现需要更新版本到本地，使用下面的命令来git最新的文件到本地
重新编译
git pull && git submodule update && make clean && make]]></description><category></category></item><item><title><![CDATA[caffe训练时的一些错误记录]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/67631996</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/67631996</guid><author>Losteng</author><pubDate>Tue, 28 Mar 2017 09:49:04 +0800</pubDate><description><![CDATA[最近突然需要需要将之前的模型加载并进行训练，发现出错，就赶紧排查
I0328 09:35:34.497181  6268 layer_factory.hpp:76] Creating layer data
I0328 09:35:34.509884  6268 net.cpp:106] Creating Layer data
I0328 09:35:34.511267  6268 net.c]]></description><category></category></item><item><title><![CDATA[ROC和AUC介绍以及如何计算AUC]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/56832217</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/56832217</guid><author>Losteng</author><pubDate>Fri, 24 Feb 2017 10:14:26 +0800</pubDate><description><![CDATA[ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣，对两者的简单介绍见这里。这篇博文简单介绍ROC和AUC的特点，以及更为深入地，讨论如何作出ROC曲线图以及计算AUC。

ROC曲线

需要提前说明的是，我们这里只讨论二值分类器。对于分类器，或者说分类算法，评价指标主要有preci]]></description><category></category></item><item><title><![CDATA[maven的setting.xml配置文件详解]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/56007925</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/56007925</guid><author>Losteng</author><pubDate>Mon, 20 Feb 2017 10:12:14 +0800</pubDate><description><![CDATA[setting.xml配置文件



maven的配置文件settings.xml存在于两个地方：

1.安装的地方：${M2_HOME}/conf/settings.xml

2.用户的目录：${user.home}/.m2/settings.xml

前者又被叫做全局配置，对操作系统的所有使用者生效；后者被称为用户配置，只对当前操作系统的使用者生效。如果两者都存在，它们的内]]></description><category></category></item><item><title><![CDATA[hadoop之HDFS的扩充]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/53454882</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/53454882</guid><author>Losteng</author><pubDate>Sun, 04 Dec 2016 16:49:32 +0800</pubDate><description><![CDATA[最近在vm中进行扩容之后考虑，openstack的容量添加，随之想起hdfs的容量扩充的问题，从网上查找资料之后，现总结如下：
首先在服务器上大都使用的Linux的系统，实验上大都采用的是centos开源的项目。
在Linux中添加硬盘时，需要考虑的是容量，但是随着硬件资源的扩展现在磁盘的容量可鞥会出现原有系统不能很好的进行
先介绍2种分区表：
　　MBR分区表：（MBR含义：主引导记录）]]></description><category></category></item><item><title><![CDATA[Spark性能优化指南二——高级篇]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/53366563</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/53366563</guid><author>Losteng</author><pubDate>Sun, 27 Nov 2016 20:34:08 +0800</pubDate><description><![CDATA[1.如何判断发生数据倾斜？
2.为什么会发生数据倾斜?
3.如何定位导致数据倾斜的代码?
4.Spark Web UI哪些参数可以反映数据倾斜？

5.本文对于数据倾斜提出哪些解决方案？


前言

继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能]]></description><category></category></item><item><title><![CDATA[RDD详解]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/53366513</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/53366513</guid><author>Losteng</author><pubDate>Sun, 27 Nov 2016 20:19:29 +0800</pubDate><description><![CDATA[1、RDD是什么？
2、为什么产生RDD？
3、RDD在spark是什么地位？
4、RDD在spark说是什么作用？

5、如何操作RDD？
一、Spark RDD详解


1、RDD是什么？

RDD：Spark的核心概念是RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，
            这个数据集的全]]></description><category></category></item><item><title><![CDATA[Spark性能优化指南一——基础篇]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/53366468</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/53366468</guid><author>Losteng</author><pubDate>Sun, 27 Nov 2016 20:13:56 +0800</pubDate><description><![CDATA[1.Spark调优有哪些原则？

2.Spark作业原理是什么？

3.怎样进行参数调优？

前言

在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark]]></description><category></category></item><item><title><![CDATA[Spark1.6学习-RDD]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/53324745</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/53324745</guid><author>Losteng</author><pubDate>Thu, 24 Nov 2016 20:08:35 +0800</pubDate><description><![CDATA[最近开始学习spark的的东西，在学习之前可以去学习一些scala的，毕竟源码是scala的，有些东西操作习惯是从scala中扩展出来的。
下面切入正题
可以参考，下面的官方文档
http://spark.apache.org/docs/1.6.0/programming-guide.html#resilient-distributed-datasets-rdds

RDDs（Resil]]></description><category></category></item><item><title><![CDATA[类加载器与双亲委派模型]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/52890101</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/52890101</guid><author>Losteng</author><pubDate>Sat, 22 Oct 2016 09:22:14 +0800</pubDate><description><![CDATA[类加载器

加载类的开放性

类加载器（ClassLoader）是Java语言的一项创新，也是Java流行的一个重要原因。在类加载的第一阶段“加载”过程中，需要通过一个类的全限定名来获取定义此类的二进制字节流，完成这个动作的代码块就是类加载器。这一动作是放在Java虚拟机外部去实现的，以便让应用程序自己决定如何获取所需的类。

虚拟机规范并没有指明二进制字节流要从一个Class文件获取]]></description><category></category></item><item><title><![CDATA[跳表]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/52596168</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/52596168</guid><author>Losteng</author><pubDate>Tue, 20 Sep 2016 15:10:23 +0800</pubDate><description><![CDATA[最近在一篇文章中看到跳表的概念，下面是查到的一些。

为什么选择跳表

目前经常使用的平衡数据结构有：B树，红黑树，AVL树，Splay Tree, Treep等。

想象一下，给你一张草稿纸，一只笔，一个编辑器，你能立即实现一颗红黑树，或者AVL树

出来吗？ 很难吧，这需要时间，要考虑很多细节，要参考一堆算法与数据结构之类的树，

还要参考网上的代码，相当麻烦。

用跳]]></description><category></category></item><item><title><![CDATA[序列化]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/52596021</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/52596021</guid><author>Losteng</author><pubDate>Tue, 20 Sep 2016 15:01:06 +0800</pubDate><description><![CDATA[最近在看关于序列化的东西，下面是从几个博客和书本上组合的，感觉挺有用。
首先是为什么需要序列化



注意：“为避免编译错误，为可序列化的类添加了无参数构造函数。”

MSDN的定义：序列化是将对象状态转换为可保持或可传输的形式的过程。序列化的补集是反序列化，后者将流转换为对象。这两个过程一起保证数据易于存储和传输。

大家关心的是为什么需要序列化，用传统的方法也能实现这种需求吗]]></description><category></category></item><item><title><![CDATA[BSON与JSON]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/52402775</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/52402775</guid><author>Losteng</author><pubDate>Thu, 01 Sep 2016 19:31:18 +0800</pubDate><description><![CDATA[最近在看MongoDB中有提到BSON下面就来解释一下。

BSon是Binary JSON的简称，是一种类Json的一种二进制形式的存储格式。目前Bson主要被MongoDB（目前一个较为流行的非关系数据模型的开源数据库）使用于存储数据和网络数据交换。

下面我们进入正题，介绍一下BSon是怎么把一个个MongoDB的文档转换成二进制形式进行存储的，在此之前读者需要从BSon官网上大致了]]></description><category></category></item><item><title><![CDATA[Class.forName().newInstance()与new]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/52343914</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/52343914</guid><author>Losteng</author><pubDate>Sun, 28 Aug 2016 10:06:25 +0800</pubDate><description><![CDATA[最近复习多线程的程序，遇到了之前的Class.forName()的工厂，就总结一下
主要功能
Class.forName(xxx.xx.xx)返回的是一个类
Class.forName(xxx.xx.xx)的作用是要求JVM查找并加载指定的类，
也就是说JVM会执行该类的静态代码段

下面，通过解答以下三个问题的来详细讲解下Class.forName()的用法。
一.什么时候用Class.]]></description><category></category></item><item><title><![CDATA[java集合类深入分析之HashSet, HashMap]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/52337455</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/52337455</guid><author>Losteng</author><pubDate>Sat, 27 Aug 2016 22:29:25 +0800</pubDate><description><![CDATA[简介




    Map和Set是比较常用的两种数据结构。我们在平常的编程中经常会用到他们。只是他们的内部实现机制到底是怎么样的呢？了解他们的具体实现对于我们如何有效的去使用他们也是很有帮助的。这里主要是针对Map, Set这两种类型的数据结构规约和典型的HashMap,HashSet实现做一个讨论。

Map

    Map是一种典型的名值对类型，它提供一种Key-Val]]></description><category></category></item><item><title><![CDATA[mapreduce的问题]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/52293468</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/52293468</guid><author>Losteng</author><pubDate>Tue, 23 Aug 2016 18:45:50 +0800</pubDate><description><![CDATA[最近在重新学习MR：把遇到的问题进行总结。




1.写MR Job的时候遇到一个坑爹的异常：

LongWritable cannot be cast to org.apache.hadoop.io.IntWritable

 

当写Map的时候，key的默认输入就是LongWritable。

因为LongWritable指代Block中的数据偏移量。

 ]]></description><category></category></item><item><title><![CDATA[MySQL的数据文件的整理]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/51985615</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/51985615</guid><author>Losteng</author><pubDate>Thu, 21 Jul 2016 19:02:01 +0800</pubDate><description><![CDATA[今天遇到MySQL的原始的数据文件.frm,.myd,myi导入的问题。下面就来简单地介绍一下。


.frm .myd .myi都是Mysql存储数据的文件, 代表MySQL数据库表的结构/数据和索引文件 ,我们默认创建数据库和表时只生成数据库表结构的文件.frm. 移植数据库时,必须存在三种格式的数据库表文件,才能正常使用该DB。

打开mysql的data目录，可能还会遇见另一种文]]></description><category></category></item><item><title><![CDATA[词向量和语言模型 deep learning in NLP]]></title><link>https://blog.youkuaiyun.com/Losteng/article/details/51912043</link><guid>https://blog.youkuaiyun.com/Losteng/article/details/51912043</guid><author>Losteng</author><pubDate>Thu, 14 Jul 2016 21:06:14 +0800</pubDate><description><![CDATA[最近看了一些关于deep learning 在自然语上的处理，下面就收集了关于一些在此类文章中常用的名词术语的理解
　将词用“词向量”的方式表示可谓是将 Deep Learning 算法引入 NLP 领域的一个核心技术。大多数宣称用了 Deep Learning 的论文，其中往往也用了词向量。

词向量


　自然语言理解的问题要转化为机器学习的问题，第一步肯定是要找一种方法把这些符号]]></description><category></category></item></channel></rss>