<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[szdbl的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/szdbl</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; szdbl]]></copyright><item><title><![CDATA[XLNet 代码实践及原理解析(一）]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/129653158</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/129653158</guid><author>szdbl</author><pubDate>Sun, 19 Mar 2023 17:27:17 +0800</pubDate><description><![CDATA[本文记录对XLNet的实践过程，会在实践和代码分析的过程中，穿插着从代码层面对原理的理解。基本上是按照里面的顺序，一步步实践的，不过对里面的一些细节针对自己的实践，进行了补充和修改。希望对学习nlp朋友们有所帮助。读者阅读前需要初步了解XLNet的原理，不熟悉的读者请先阅读下面的。到了这一步你会对原理有初步的理解，深入的理解和对细节的把握还需要从代码细节入手。文章如有错误还望谅解，欢迎沟通讨论。]]></description><category></category></item><item><title><![CDATA[GBDT相关]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/104998546</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/104998546</guid><author>szdbl</author><pubDate>Mon, 23 Mar 2020 15:19:35 +0800</pubDate><description><![CDATA[Boosting算法族：

boosting方法通过分步迭代（stage-wise）的方式来构建模型，在迭代的每一步构建的弱学习器都是为了弥补已有模型的不足

1、AdaBoost：

通过给已有模型预测错误的样本更高的权重，使得先前的学习器做错的训练样本在后续受到更多的关注的方式来弥补已有模型的不足

2、梯度提升方法--以GBDT(Gradient Boosting Decison Tree)...]]></description><category></category></item><item><title><![CDATA[nlp相关]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/104959988</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/104959988</guid><author>szdbl</author><pubDate>Thu, 19 Mar 2020 20:56:31 +0800</pubDate><description><![CDATA[NLP之——Word2Vec详解

一句话，word2vec就是用一个一层的神经网络(CBOW的本质)把one-hot形式的词向量映射到分布式形式的词向量，为了加快训练速度，用了Hierarchical softmax，negative sampling 等trick。

Word2vec总共有两种类型--CBoW模型、Skip-gram模型，每种类型有两个优化算法--层次Softmax（Hier...]]></description><category></category></item><item><title><![CDATA[LR逻辑回归和sigmoid 函数]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/104964054</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/104964054</guid><author>szdbl</author><pubDate>Thu, 19 Mar 2020 12:38:42 +0800</pubDate><description><![CDATA[Q:

1, 逻辑回归为什么要使用sigmoid函数.2, LR模型的意义，即为什么有了线性回归(linear regression)还需要逻辑回归(logistic regression)



A：

1、逻辑回归模型的定义：

逻辑回归的输入是一个线性组合，与线性回归一样，但输出变成了概率

那么需要一个函数将逻辑回归的输入（一个线性组合）与p联系起来。下面介绍这个函数，它的名字叫Logi...]]></description><category></category></item><item><title><![CDATA[在Windows下安装fasttext，并对中文文本进行Text classification]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/89188933</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/89188933</guid><author>szdbl</author><pubDate>Wed, 10 Apr 2019 17:28:56 +0800</pubDate><description><![CDATA[工作中遇到nlp相关的问题,从接手到今天有了一点眉目差不多三周时间。由于之前只是在理论上知道有nlp这一回事，这次的实践遇到很多坑，过程磕磕碰碰经历得很痛苦，在此记录下，以便有与我相似需求的同学有一点参考资料。

首先我的工作环境是Windows7 64+Anaconda+Python 3.6,明确自己的工作环境很重要，因为在网上查找资料时很多解决方案都不适用于我这个环境，如果用的是li...]]></description><category></category></item><item><title><![CDATA[R语言tar.gz 后缀window环境安装攻略]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48548671</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48548671</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 16:41:24 +0800</pubDate><description><![CDATA[原文：http://blog.sina.com.cn/s/blog_46f7e25d0101h73l.html

里面的有些地方和我执行的有出路我这边做了修改​

R语言使用时，我们经常会碰到下载一个cran上没有的包，命名规则为name.tar.gz这样的包我们如何安装使用呢。例如，我们在下面的网站http://linchen.fhcrc.org/grass.html

发现一个包，]]></description><category></category></item><item><title><![CDATA[Deep&nbsp;learning和Reinforcement&nbsp;lea…]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48547679</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48547679</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 15:48:22 +0800</pubDate><description><![CDATA[转自：http://www.infoq.com/cn/articles/atari-reinforcement-learning

作者 尹绪森 发布于
2014年3月31日




引子

说到机器学习最酷的分支，非Deep learning和Reinforcement
learning莫属（以下分别简称DL和RL）。这两者不仅在实际应用中表现的很酷，在机器学习理论中也有不俗的表现。DeepMi]]></description><category></category></item><item><title><![CDATA[svd++]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48547677</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48547677</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 15:48:19 +0800</pubDate><description><![CDATA[SVD++ refers
to a matrix
factorization model
which makes use of implicit
feedback information.
In general, implicit feedback can refer to any kinds
of users'
history information that can help indicate]]></description><category></category></item><item><title><![CDATA[ive&nbsp;lateral&nbsp;view…]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48547675</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48547675</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 15:48:17 +0800</pubDate><description><![CDATA[原文地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView#



lateral view用于和split,
explode等UDTF一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。

一个简单的例子，假设我们有一张表pageAds，它有两列数据，第一列是pagei]]></description><category></category></item><item><title><![CDATA[hive常用函数&nbsp;两层json格式解析]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48547673</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48547673</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 15:48:14 +0800</pubDate><description><![CDATA[转自http://blackproof.iteye.com/blog/2108353



字符串函数
字符串长度函数：length
 



Java代码  两层json格式解析" />



语法: length(string A)  

返回值: int  

说明：返回字符串A的长度  

举例：  

hive> select length(‘abcedfg’) from dual;  ]]></description><category></category></item><item><title><![CDATA[我学习的R函数]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48547671</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48547671</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 15:48:12 +0800</pubDate><description><![CDATA[unique去重
difftime日期间隔函数
 strsplit(data,split=":")
提取字符串
merge数据框合并
as.numeric(as.character避免成为因子
subset取一定条件的子集
HoltWinters 时间序列的hw平滑法
inherits(fit_cashpay,"try-error") 判断函数的使用是否出错
cat("a error happen]]></description><category></category></item><item><title><![CDATA[HIVE&nbsp;中&nbsp;multi_distinct的注意事项]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48547669</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48547669</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 15:48:09 +0800</pubDate><description><![CDATA[前hive的版本支持multi-distinct的特性，这个在用起来比较方便，但是在此特性下面无法开启防数据倾斜的开关(set
hive.groupby.skewindata=true),防止数据倾斜的参数只在单distinct情况下会通过一个job来防止数据的倾斜。multi-distinct使用起来方便的同时也可能会带来性能的不优化，如日志中常常统计pv，Uv，独立ip数，独立session数]]></description><category></category></item><item><title><![CDATA[HIVE&nbsp;自定义函数]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48547667</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48547667</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 15:48:07 +0800</pubDate><description><![CDATA[转自：http://blog.youkuaiyun.com/zythy/article/details/18818559

当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined
function）。

Hive目前只支持用java语言书写自定义函数。如果需要采用其他语言，比如Python，可以考虑上一节提到的transform语法来实现。

H]]></description><category></category></item><item><title><![CDATA[Hive&nbsp;MapReduce脚本]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48547663</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48547663</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 15:48:04 +0800</pubDate><description><![CDATA[Hive查询

排序和聚集
转自http://blog.youkuaiyun.com/zythy/article/details/18814781

通过Hive提供的order
by子句可以让最终的输出结果整体有序。但是因为Hive是基于Hadoop之上的，要生成这种整体有序的结果，就必须强迫Hadoop只利用一个Reduce来完成处理。这种方式的副作用就是回降低效率。

如果你不需要最终结果整体有序，你就]]></description><category></category></item><item><title><![CDATA[HIVE&nbsp;加jar包]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48547661</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48547661</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 15:48:02 +0800</pubDate><description><![CDATA[use tmp_htldb;
--加载UDF函数
drop resources zlp_udf.jar;
drop function GPSDistance;
add jar hdfs://ns//user/xxx/user/zlp/udf/zlp_udf.jar;
 
create temporary function GPSDistance as
'com.baidu.bi.udf.GPSDi]]></description><category></category></item><item><title><![CDATA[R中设置图形参数--函数par()…]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48547659</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48547659</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 15:47:59 +0800</pubDate><description><![CDATA[原文地址：R中设置图形参数--函数par()详解作者：菜鸟的成长
    R有着非常强大的绘图功能，我们可以利用简单的几行代码绘制出各种图形来，但是有时候默认的图形设置没法满足我们的需要，甚至会碰到各种各样的小问题：如坐标轴或者标题出界了，或者图例说明的大小或者位置遮挡住了图形，甚至有时候默认的颜色也不能满足我们的需求。如何进行调整呢？这就用到了“强大”的函数par()。我们可以通过设定函数par]]></description><category></category></item><item><title><![CDATA[［转载］hive的查询注意事项以及优…]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48547655</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48547655</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 15:47:56 +0800</pubDate><description><![CDATA[hive的查询注意事项以及优化总结
.



Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，

所以需要去掉原有关系型数据库下开发的一些固有思维。

基本原则：

1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段

select]]></description><category></category></item><item><title><![CDATA[hive大数据倾斜总结]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48547651</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48547651</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 15:47:54 +0800</pubDate><description><![CDATA[hive大数据倾斜总结



在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的redu]]></description><category></category></item><item><title><![CDATA[SAS中常用选项的含义简介]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48547647</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48547647</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 15:47:52 +0800</pubDate><description><![CDATA[原文地址：SAS中常用选项的含义简介作者：gigu003



System options：



obs：表示需要处理的最后一行observation，如果指定其为max，就表示处理到最后一条observation



firstobs：表示需要从第几行observation开始处理，默认是1observation



msglevel：默认值是N，仅打印notes，warnings和er]]></description><category></category></item><item><title><![CDATA[12306&nbsp;售票网站新版验证码识别对抗]]></title><link>https://blog.youkuaiyun.com/szdbl/article/details/48547645</link><guid>https://blog.youkuaiyun.com/szdbl/article/details/48547645</guid><author>szdbl</author><pubDate>Fri, 18 Sep 2015 15:47:49 +0800</pubDate><description><![CDATA[近段时间 12306 订票网站验证码升级为用户识别图像内容，然后选取符合条件的图片为验证码，比如这样：
售票网站新版验证码识别对抗"  TITLE="12306 售票网站新版验证码识别对抗" />

不少媒体新闻大呼抢票工具集体失效、12306终极验证码等新闻，这种验证码的推出有好同样也有坏处：机器识别困难，同样人眼识别也轻松不到哪里去。

用这种方式作为验证码最大的担忧就是怕脚本或人工对其图片进]]></description><category></category></item></channel></rss>