<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[dabingsun的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/dabingsun</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; dabingsun]]></copyright><item><title><![CDATA[fasttext]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/107870888</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/107870888</guid><author>dabingsun</author><pubDate>Fri, 07 Aug 2020 21:32:19 +0800</pubDate><description><![CDATA[论文：

网络结构：

目的：

微调：

代码：

总结：
]]></description><category></category></item><item><title><![CDATA[python yield]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/107823480</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/107823480</guid><author>dabingsun</author><pubDate>Wed, 05 Aug 2020 19:49:44 +0800</pubDate><description><![CDATA[yield: 较少内存消耗


#定义
def get_batch_data(self, data_x, data_y, batch):
    #会丢弃最后少部分的数据
    steps = len(data_y) // batch
    
    for step in range(steps):
        batch_x, batch_y = [], []
        
        batch_x = data_x[step*batch:(step+1)*batch]
       ]]></description><category></category></item><item><title><![CDATA[python 字典排序]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/107567717</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/107567717</guid><author>dabingsun</author><pubDate>Fri, 24 Jul 2020 18:59:41 +0800</pubDate><description><![CDATA[dict_ = {"key1":value1, "key2":value2, "key3":value3}
#sorted(items(), key, reverse) reverse:True降序  False：升序
dict_order=sorted(dict_.items(),key=lambda x:x[1],reverse=True)


]]></description><category></category></item><item><title><![CDATA[从hdfs导出大数据]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/106893793</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/106893793</guid><author>dabingsun</author><pubDate>Mon, 22 Jun 2020 00:14:08 +0800</pubDate><description><![CDATA[#拷贝数据到本地
hadoop fs -get /xxx/bb /yyy/aa &amp;


#在Hadoop上删除url的文件
hadoop fs rm -rf url


]]></description><category></category></item><item><title><![CDATA[python codecs]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/106875284</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/106875284</guid><author>dabingsun</author><pubDate>Sat, 20 Jun 2020 17:34:10 +0800</pubDate><description><![CDATA[预留
]]></description><category></category></item><item><title><![CDATA[Linux下&和&&,|和||]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/106871984</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/106871984</guid><author>dabingsun</author><pubDate>Sat, 20 Jun 2020 14:36:45 +0800</pubDate><description><![CDATA[在linux中，&amp;和&amp;&amp;,|和||介绍如下：

&amp; 表示任务在后台执行，如要在后台运行redis-server,则有redis-server &amp;

&amp;&amp; 表示前一条命令执行成功时，才执行后一条命令 ，如 echo '1‘ &amp;&amp; echo '2' 

| 表示管道，上一条命令的输出，作为下一条命令参数，如 echo 'yes' | wc -l

|| 表示上一条命令执行失败后，才执行下一条命令，如 cat nofile || ...]]></description><category></category></item><item><title><![CDATA[Linux下在后台启动程序：nohup 输出重定向]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/106867352</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/106867352</guid><author>dabingsun</author><pubDate>Sat, 20 Jun 2020 08:43:00 +0800</pubDate><description><![CDATA[前情提要：

当前有一个helloword.sh脚本，其中运行的是一个py脚本。


python helloword.py


print('hello word!')

后台运行任务


nohup sh helloword.sh &gt;&gt; output.txt 2&gt;&amp;1 &amp;

查询后台任务


jobs

杀死任务


kill jobsId（通过jobs查看到的id）
or 
kill 进程号

其中涉及到：

nohup：不挂断的运行，注意并没有后台运行的功能
	&.]]></description><category></category></item><item><title><![CDATA[ssk]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/105430265</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/105430265</guid><author>dabingsun</author><pubDate>Fri, 10 Apr 2020 12:02:29 +0800</pubDate><description><![CDATA[1：做基本介绍

2：数据集如何做增强的（数量和质量，噪声如何添加）

3：分类用到的两个分类（bert、TextCNN）:bert如何理解，如何调用输出，TextCNN卷积核形式。

4：bert: mask模型目的。bert与word2vec区别，bert内部最重要的创新点。

5：lstm:怎么解决RNN梯度消失的问题

6：droupout：在随机丢弃后，如何进行处理的（源码）

7...]]></description><category></category></item><item><title><![CDATA[sm]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/105418112</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/105418112</guid><author>dabingsun</author><pubDate>Thu, 09 Apr 2020 19:49:07 +0800</pubDate><description><![CDATA[1. 说一个最能代表你水平的项目（说的文本检测，主要说优化这方面）

2. 文本检测的输入、输出、损失函数、优化方法是什么

3. 延申出来的word2vec 两种训练方法区别和联系

4. 延申出来的优化方法（梯度下降、随机梯度下降、拟牛顿、坐标下降区别和联系）

5. 过拟合的现象和解决办法：训练数据集上表现好，测试数据集上表现不好。解决：数据（增强）和模型（减少复杂度、正则、早停、droup...]]></description><category></category></item><item><title><![CDATA[hadoop、spark、hive概念及关系]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/105338439</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/105338439</guid><author>dabingsun</author><pubDate>Mon, 06 Apr 2020 09:23:31 +0800</pubDate><description><![CDATA[来自：这里

大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。

大数据，首先你要能存的下大数据

传统的文件系统是单机的，不...]]></description><category></category></item><item><title><![CDATA[运算效率（时间）：pyhton 原生List和numpy的array比较]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/105270916</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/105270916</guid><author>dabingsun</author><pubDate>Thu, 02 Apr 2020 15:52:35 +0800</pubDate><description><![CDATA[目录

Numpy array

python List

运算时间

Numpy array

一个numpy array 是内存中一个连续块，并且array里的元素都是同一类（例如整数）。所以一旦确定了一个array，它的内存就确定了，那么每个元素（整数）的内存大小都确定了（4 bytes）。使用numpy内置函数计算数值型数据时，要比原生List快。

python List

lis...]]></description><category></category></item><item><title><![CDATA[gsbm]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/105265530</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/105265530</guid><author>dabingsun</author><pubDate>Thu, 02 Apr 2020 11:49:37 +0800</pubDate><description><![CDATA[1.自我介绍：老套路---》应该改善，基本信息介绍完毕后，顺着应聘的方向说。

2. 对机器学习的理解：模型拟合数据、函数、损失函数、优化方法

3. 数据预处理：文本、名词、连续

4. 神经网络：使用的一些技巧，调参。说了大致三方面（数据分析、模型选择和搭建、优化调参）

5. 机器学习方法的一些选择：说了所有的都可以使用神经网络，高位稀疏的使用LR，连续变量可以使用GDBT，小样本可以使用S...]]></description><category></category></item><item><title><![CDATA[根据数据的特性选择合适的机器学习方法（各机器学习模型比较）]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/105228349</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/105228349</guid><author>dabingsun</author><pubDate>Tue, 31 Mar 2020 22:16:34 +0800</pubDate><description><![CDATA[根据数据选择模型：





各模型之间的对比：
]]></description><category></category></item><item><title><![CDATA[索引文章]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/105205471</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/105205471</guid><author>dabingsun</author><pubDate>Mon, 30 Mar 2020 18:37:08 +0800</pubDate><description><![CDATA[机器学习：

逻辑回归：LR
	决策树：DecisionTree
	支持向量机：SVM
	集成模型：bagging与boosting，随机森林，GDBT
	隐马尔可夫：HMM
	条件随机场：CRF
	总结归纳文：各模型对比，待写


深度学习：

卷积神经网络：CNN




调参技巧：

loss震荡
	loss出现NAN
	各种损失函数
	
	学习率与batch_size对模型性能...]]></description><category></category></item><item><title><![CDATA[正则化L1、L2]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/104943865</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/104943865</guid><author>dabingsun</author><pubDate>Mon, 30 Mar 2020 10:56:15 +0800</pubDate><description><![CDATA[BN

概念

公式

训练和预测有什么区别

L1:

公式

为什么可以用来选择特征



L2：

公式
]]></description><category></category></item><item><title><![CDATA[常用集合、数据接口：set list hash]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/104707489</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/104707489</guid><author>dabingsun</author><pubDate>Mon, 30 Mar 2020 08:48:22 +0800</pubDate><description><![CDATA[为什么重写hashlist的时候，也要重写谁？


]]></description><category></category></item><item><title><![CDATA[面试问题总结]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/105180197</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/105180197</guid><author>dabingsun</author><pubDate>Sun, 29 Mar 2020 15:55:32 +0800</pubDate><description><![CDATA[1：面试问题总结(面试前可以看一下):https://blog.youkuaiyun.com/Neekity/article/details/88182090

2.（很多实战和讲解的项目）：https://github.com/NLP-LOVE/ML-NLP/tree/master/Machine%20Learning
...]]></description><category></category></item><item><title><![CDATA[SVM支持向量机]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/104943743</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/104943743</guid><author>dabingsun</author><pubDate>Sun, 29 Mar 2020 15:14:46 +0800</pubDate><description><![CDATA[SVM概念

公式

求解

损失函数

优缺点及比较
]]></description><category></category></item><item><title><![CDATA[最优化问题与约束最优化（拉格朗日和KKT）]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/105175475</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/105175475</guid><author>dabingsun</author><pubDate>Sun, 29 Mar 2020 11:23:32 +0800</pubDate><description><![CDATA[转载自：https://www.cnblogs.com/xinchen1111/p/8804858.html


]]></description><category></category></item><item><title><![CDATA[RBM]]></title><link>https://blog.youkuaiyun.com/dabingsun/article/details/104936878</link><guid>https://blog.youkuaiyun.com/dabingsun/article/details/104936878</guid><author>dabingsun</author><pubDate>Sat, 28 Mar 2020 10:35:04 +0800</pubDate><description><![CDATA[https://blog.youkuaiyun.com/zb1165048017/article/details/66473906



https://blog.youkuaiyun.com/bingo_csdn_/article/details/79443332?utm_source=blogxgwz9



https://blog.youkuaiyun.com/xingzhedai/article/details/...]]></description><category></category></item></channel></rss>