<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[joey周琦]]></title><description><![CDATA[work for fun]]></description><link>https://blog.youkuaiyun.com/u011467621</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u011467621]]></copyright><item><title><![CDATA[程序员的职业素养 (the clean coder读书笔记)]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/111879418</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/111879418</guid><author>u011467621</author><pubDate>Tue, 29 Dec 2020 08:39:31 +0800</pubDate><description><![CDATA[程序员的职业素养 (the clean coder读书笔记)


by 刚搬完砖




这本书是作者总结自己几十年工作经验，给如何做一名"专业"程序员提出的建议。专业主义有深的含义，不象征荣誉与骄傲，而是责任与义务。 作者认为专业程序员应该有如下义务:


	定义专业的"完成"。专业的完成是， 保证代码质量的前提，是从需求对接、单元测试、研发、回归测试等一系列工作后，称为完成

	
		很多开发一开始就不了解产品提出的需求，就一顿开发，最后才发现需求没对清楚（包括我自己也犯过）
		
		
		有没有写.]]></description><category></category></item><item><title><![CDATA[在pytorch中load超大训练数据]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/111496844</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/111496844</guid><author>u011467621</author><pubDate>Mon, 21 Dec 2020 20:22:46 +0800</pubDate><description><![CDATA[在pytorch中load超大训练数据

by joeyqzhou

相关代码地址: https://github.com/joeyqzhou/blog/tree/master/pytorch%E4%B8%ADload%E8%B6%85%E5%A4%A7%E8%AE%AD%E7%BB%83%E6%95%B0%E6%8D%AE
最简单方式:
1 单线程获取数据到内存中
2  train的过程
   for epoch in range(num_epochs):
        for i in range(i]]></description><category></category></item><item><title><![CDATA[spring boot项目不能被其他项目依赖解决方法]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/105980747</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/105980747</guid><author>u011467621</author><pubDate>Thu, 07 May 2020 20:27:59 +0800</pubDate><description><![CDATA[在pom的spring boot的配置中增加如下
```
 &lt;configuration&gt; &lt;classifier&gt;exec&lt;/classifier&gt; &lt;/configuration&gt;
```


插入位置:

&lt;plugin&gt;
    &lt;groupId&gt;org.springframework.boot&lt;/groupI...]]></description><category></category></item><item><title><![CDATA[神经网络检索方法与一种结合local和distributed文本相似度算法]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/105146687</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/105146687</guid><author>u011467621</author><pubDate>Fri, 27 Mar 2020 17:58:21 +0800</pubDate><description><![CDATA[神经网络检索方法与一种结合local和distributed文本相似度算法

by joeyqzhou

基于频次的信息检索方法
信息检索(IR), 简单说，就是给一个query, 返回与其最相关的doc. 传统的IR方法有tfidf, BM25, 它们主要考虑的是query中词语的确定性匹配(不能匹配到类似词）。即词在某篇候选doc中出现的次数(term frequency)和在所有doc中出现...]]></description><category></category></item><item><title><![CDATA[tensorflow批量直方图快速计算]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/105032059</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/105032059</guid><author>u011467621</author><pubDate>Sun, 22 Mar 2020 18:08:25 +0800</pubDate><description><![CDATA[最近在实现DRRM, 计算直方图，官方的api, tf.histogram_fixed_width不支持批量的直方图计算
在网上搜了一些方法，https://stackoverflow.com/questions/41764199/row-wise-histogram/，但是运算速度都比较慢，我自己想了一种，根据连续值转整型的方法，来进行批量计算直方图。

tensor: 是输入的tensor
n...]]></description><category></category></item><item><title><![CDATA[总结ES的各种查询与打分方式:]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/100065071</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/100065071</guid><author>u011467621</author><pubDate>Sun, 25 Aug 2019 17:04:58 +0800</pubDate><description><![CDATA[总结ES的各种查询与打分方式:

match_all: 查询所有字段
match 查询某个字段，并且根据(tfidf or bm25)打分
match_pharse 查询短语，区别于match他要考虑前后顺序. 可以设置slop=整数，来设定词语之间的最大距离
term: 查询单个词(区别于match, 是查询没有被analysize的语料(即比如大小写转换。。)).
terms: 查询多个词
q...]]></description><category></category></item><item><title><![CDATA[如何搭建tensorflow serving]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/99698871</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/99698871</guid><author>u011467621</author><pubDate>Sat, 17 Aug 2019 22:28:57 +0800</pubDate><description><![CDATA[这两天学习如何搭建tf.serving，就此总结一下.
1 安装、学习docker
tf.serving的运行环境比较繁琐，在这个环境配好了，另一个不行。docker解决了这个问题。官方文档中也推荐使用docker
2 参考tf.serving github README
# Download the TensorFlow Serving Docker image and repo
docker ...]]></description><category></category></item><item><title><![CDATA[mac 硬盘占用过大？]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/90172935</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/90172935</guid><author>u011467621</author><pubDate>Mon, 13 May 2019 14:31:28 +0800</pubDate><description><![CDATA[今天发现mac系统system占用了120多G, 搜索了一下，有的说是time machine过多备份，有的是office的问题。但这都不是我的电脑系统的问题。

我操作的顺序
1 去到根目录，使用” du -sh *” 目录加起来并没有200G
2 su du -sh *  (出现sorry). 所以Mac进入root权限的方法是”sudo su”
3 du -sh * | grep G
4 ...]]></description><category></category></item><item><title><![CDATA[机器学习: ensemble learning]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/85037944</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/85037944</guid><author>u011467621</author><pubDate>Sun, 16 Dec 2018 16:09:53 +0800</pubDate><description><![CDATA[机器学习: ensemble learning
ensemble learning即把多个模型综合成一个模型。这样往往能达到不错的效果。原因为: 不同的模型可能采用了不同的数据、或对数据的刻画方式角度不一样；直觉上讲，如果一个问题从多个角度去看，那么效果往往会比从单角度看效果更好。
各种ensemble的方法，据说在kaggle比赛中也有明显的效果
ensemble的方式大致分几类:
baggin...]]></description><category></category></item><item><title><![CDATA[Spark中分布式使用HanLP（1.7.0)分词d]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/84675730</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/84675730</guid><author>u011467621</author><pubDate>Sat, 01 Dec 2018 17:27:27 +0800</pubDate><description><![CDATA[Spark中分布式使用HanLP（1.7.0)分词
HanLP分词（https://github.com/hankcs/HanLP），如README中所说，如果没有特殊需求，可以通过maven配置，如果要添加自定义词典，需要下载“依赖jar包和用户字典&quot;.
本人一些经验:

是直接&quot;java xf hanlp-1.6.8-sources.jar&quot; 解压源码，把源码加入工程（依赖本地jar包，有些麻...]]></description><category></category></item><item><title><![CDATA[gitignore 例子 只包含特定文件]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/79108980</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/79108980</guid><author>u011467621</author><pubDate>Fri, 19 Jan 2018 17:17:48 +0800</pubDate><description><![CDATA[git工程只上传必须的文件，所以需要在一个文件（跟目录.gitignore)下面记录需要忽略的文件或文件夹。下面举例.gitignore, 该模版适合去除一些指定目录，并且仅仅包含其他目录下的特定结尾的文件:*!/**/##去除哪些路径/dirignore1//dirignore2/##只包含哪些结尾的文件!*.c!*.h!*.cpp!*.sh!*.xml!*.py!*.md!*.jar!.sca]]></description><category></category></item><item><title><![CDATA[重构笔记]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/52244285</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/52244285</guid><author>u011467621</author><pubDate>Thu, 18 Aug 2016 19:47:53 +0800</pubDate><description><![CDATA[重构笔记>By joeyqzhou
>摘自 重构 Martin Fowler
- The first Step in refactoring is to build a solid set of tests 
- It is vital to make tests self-checking 
- 更改到更好的变量名是很有意义的 
- code that communicates its purpo]]></description><category></category></item><item><title><![CDATA[信息论小结]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/51540578</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/51540578</guid><author>u011467621</author><pubDate>Mon, 30 May 2016 19:53:44 +0800</pubDate><description><![CDATA[信息论小结
  joey 周琦
某个事件x发生的概率为p(x),那么该事件的信息量h(x)=−logP(x) h(x)=-\log P(x) 
该定义满足h(x)>=0
若事件x,y相互独立，那么
h(x,y)=−logp(x,y)=−logp(x)p(y)=h(x)+h(y) h(x,y)=-\log p(x,y)=-\log p(x)p(y) = h(x) + h(y)  熵：可以表示某个随机事]]></description><category></category></item><item><title><![CDATA[大数据工程师为什么要学习scala]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/50450421</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/50450421</guid><author>u011467621</author><pubDate>Sun, 03 Jan 2016 10:40:59 +0800</pubDate><description><![CDATA[>joey 周琦
现在很多数据处理用的是python或R, 那么现在我们对比下scala和python在大数据处理方面的优劣： 
- scala与python对比 
    - scala 相对于c语言慢2-3倍，但是python一般比c语言慢50倍。（只是大概，实际会情况不同） 
    - scala 缺少python那样丰富的数据处理,机器学习的包（Numpy, scipy, matplotl]]></description><category></category></item><item><title><![CDATA[机器学习概念：最大后验概率估计与最大似然估计 （Maximum posterior probability and maximum likelihood estimation)]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/50040427</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/50040427</guid><author>u011467621</author><pubDate>Wed, 25 Nov 2015 18:01:31 +0800</pubDate><description><![CDATA[joey 周琦
假设有参数θ\theta, 观测x\mathbf{x}, 设f(x|θ)f(x|\theta)是变量xx的采样分布，θ\theta是其中的参数。那么θ\theta的最大似然估计可以表示为： 
θ̂ ML(x)=argmaxθf(x|θ) \hat \theta_{ML}(x) = \arg \max \limits_{\theta} f(x|\theta)而贝叶斯理论，假设θ\the]]></description><category></category></item><item><title><![CDATA[机器学习算法之正则化]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/49888467</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/49888467</guid><author>u011467621</author><pubDate>Tue, 17 Nov 2015 15:46:43 +0800</pubDate><description><![CDATA[>By joey周琦
正则化假设目标函数为JJ, 比如JJ可以是对数似然函数的负数形式，特征ii的系数为wiw_i, 系数向量 w=[w1,...,wK] w = [w_1,...,w_K] ,假设一共有KK个备选类。 机器学习（分类为例）的目标就是要解决一个优化问题  
w=argminwL(w) w = \arg \min \limits_w L(w) 而为了避免模型的过拟合(overfitti]]></description><category></category></item><item><title><![CDATA[高效相似度计算 LSH minHash simHash的学习]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/49685107</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/49685107</guid><author>u011467621</author><pubDate>Fri, 06 Nov 2015 16:52:52 +0800</pubDate><description><![CDATA[相似度计算：
1 局部敏感哈希
2 minHash
3 simHash]]></description><category></category></item><item><title><![CDATA[机器学习算法之：决策树 (decision trees)]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/49281405</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/49281405</guid><author>u011467621</author><pubDate>Tue, 20 Oct 2015 19:16:40 +0800</pubDate><description><![CDATA[> By joey周琦
概述
线性模型一般variance小，bias大；而树模型一般variance大，bias小
决策树的优点：具有可读性，分类速度快
一般包含三个步骤： 
特征选择
决策树生成
剪枝
决策树定义：分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点(node)和有向边(directed edge)组成。结点分为内部结点和叶结点，内部结点表示一个特征(feature),]]></description><category></category></item><item><title><![CDATA[Dummy variable (变量dummy化）]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/48754679</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/48754679</guid><author>u011467621</author><pubDate>Sat, 26 Sep 2015 21:21:42 +0800</pubDate><description><![CDATA[总是可以从身边同学口中听到说到dummy化，dummy lr, 今天自己看了dummy variable的wiki，这里记下笔记总结：
dummy variable是用0或1表示某个类别是否出现
为什么要dummy化 
若用数字1-12表示1-12月，那么就潜在表示了12月和1月差的很远，其实离的很近
若用离散数字表示一地域，假如用数字1-23表示23个省，那么数字潜在的意思是，相邻的数字代表的省比]]></description><category></category></item><item><title><![CDATA[kaggle比赛练习_1: 做的什么菜？（What's Cooking?）]]></title><link>https://blog.youkuaiyun.com/u011467621/article/details/48735929</link><guid>https://blog.youkuaiyun.com/u011467621/article/details/48735929</guid><author>u011467621</author><pubDate>Fri, 25 Sep 2015 17:54:10 +0800</pubDate><description><![CDATA[Kaggle简介Kaggle是一个数据分析的竞赛平台，网址：https://www.kaggle.com/。企业或者研究者可以将数据、问题描述、期望的指标发布到Kaggle上，以竞赛的形式向广大的数据科学家征集解决方案，类似于KDD-CUP（国际知识发现和数据挖掘竞赛）。Kaggle上的参赛者将数据下载下来，分析数据，然后运用机器学习、数据挖掘等知识，建立算法模型，解决问题得出结果，最后将结果提交，]]></description><category></category></item></channel></rss>