<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[strwolf的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/strwolf</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; strwolf]]></copyright><item><title><![CDATA[2017.08.16回顾 关于PSI 关于WOE无拒绝推断影响]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/77277231</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/77277231</guid><author>strwolf</author><pubDate>Wed, 16 Aug 2017 21:01:52 +0800</pubDate><description><![CDATA[继续思考woe iv psi 拒绝推断这个我都觉得难以control的问题，好在今天总算有了自己的一些结论和未来尝试方向


变量每组好坏比不变，分布变，woe同增同减，影响不大psi没卵用，更应该去关注变量每组的好坏趋势是否有变化拒绝推断我目前暂时不需要，但是这么低的通过率，以后应该会遇到这个问题可以尝试用bad rate在总体中去计算woe或者用bad rate编码，这个可以消除建模集到]]></description><category></category></item><item><title><![CDATA[2017.08.15回顾]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/77200180</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/77200180</guid><author>strwolf</author><pubDate>Tue, 15 Aug 2017 21:36:53 +0800</pubDate><description><![CDATA[1、IV计算时候前面的系数推导，反正结论一句话，odds固定，样本数越多，IV分量越大
2、为什么不能用bad rate去编码，我搜了很多资料但是没得到结果，我也和别人讨论，在群中提问，但目前无人回答
3、拒绝推断到底有没有必要，这个有联系到变量分布，PSI等问题，而且现在通过率相当低，下一次迭代模型，有可能看见有个变量并没有区隔度了，因为都是高分段了，区隔自然差，但实际上别人是有区隔度的在总]]></description><category></category></item><item><title><![CDATA[2017.08.14回顾 IV的系数]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/77170074</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/77170074</guid><author>strwolf</author><pubDate>Mon, 14 Aug 2017 21:30:40 +0800</pubDate><description><![CDATA[1、校验了建模数据存在的问题
2、阅览了FICO的产品介绍，里面可以窥见一些方法
3、SQL拉出新数据集，数据洞察
4、思考系统的变量随时间随不同因变量定义的稳定性校验方法，思考了PSI，以及拒绝推断等等相关问题
5、在IV的计算过程中前面乘以一个系数(Gi/GT-Bi/BT)，固定该组好坏比，后面的WOE就不变，所以在好坏比固定的情况下，该组样本数越多，系数就越大，因为(Gi/GT-Bi]]></description><category></category></item><item><title><![CDATA[2017.08.11回顾]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/77101730</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/77101730</guid><author>strwolf</author><pubDate>Fri, 11 Aug 2017 18:24:48 +0800</pubDate><description><![CDATA[1、一系列的引擎规则改动，但是有些改动我是很被动的，但是我觉得应该更进一步有主人公意识，不能只是个搬砖的，对于不合理的改动拒不执行，本来这个产品就是自己负责，荣辱共存。在修改过程中并无什么技术难点，但是对整个流程有了一些新的想法，需要以后探讨
2、我确认了sklearn的RandonForest用的基分类器是CART，后来我发现sklearn只实现了CART树，但是做了一些优化
3、继续抓了几]]></description><category></category></item><item><title><![CDATA[2017.08.11回顾]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/77092543</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/77092543</guid><author>strwolf</author><pubDate>Fri, 11 Aug 2017 11:00:06 +0800</pubDate><description><![CDATA[1、完成前一天没有写完的回顾，然后相关知识点进行了实践和搜索学习
2、和同事讨论，psi和woe变化的研究，进展还可以，我需要去check思考一下，最后精准量化结论
3、fork了一个脚本，发现kaggle跑和本地跑结果有差异，不知道是什么情况
4、lightGBM参数学习，lightGBM直接支持哑变量似的分隔操作，没有dummy编码，但是在分裂的时候，会考虑1个类和其他类这种分化，主要好]]></description><category></category></item><item><title><![CDATA[2017.08.09回顾 seaborn两个坐标系 series中mixtype sorted key]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/77017667</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/77017667</guid><author>strwolf</author><pubDate>Thu, 10 Aug 2017 14:10:08 +0800</pubDate><description><![CDATA[1、上午对现有决策引擎做了一些简单修改，没什么技术含量，注意的地方就是条件概率的计算
2、继续SQL抓取数据集，没什么技术含量，后来发现中间少抓了几个变量，已经补上，后面还需要check看是否遗漏变量
3、有了数据集，又开始耍自己的评分卡工具包，对工具包做了一些修改，美化barplot/修正排序BUG/regroup写成静态方法，过程中发现一些问题，也有一些收获


我发现我给int64]]></description><category></category></item><item><title><![CDATA[2017.08.08回顾 ensemble]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/76943869</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/76943869</guid><author>strwolf</author><pubDate>Tue, 08 Aug 2017 21:13:15 +0800</pubDate><description><![CDATA[1、ensemble的层次是这样的
baseline是常数，是训练集因变量的平均
xgb = w1*xgb1 + (1-w1)*xgb2
trees = w2*gbm + w3*xgb + (1-w2-w3)*baseline
final = w4*OLS + (1-w4)*trees
作者独立的model也是直接fork别人的，lightgbm/xgb without outliers]]></description><category></category></item><item><title><![CDATA[2017.08.07回顾]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/76861094</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/76861094</guid><author>strwolf</author><pubDate>Mon, 07 Aug 2017 21:09:47 +0800</pubDate><description><![CDATA[我也不明白为什么，睡觉时间有这么久，但是早上来到办公室状态好差，很困，不知道是不是星期一综合征
1、上午带着浓烈的睡意，补全了上周的日志，然后解决了线上系统一个BUG，开始弄数据集，又发现了一些问题
2、下午主要是回答邮件的内容，写一些SQL查数据解决对方的疑惑
3、linux安装lightGBM很方便，pip install lightgbm，windows安装会报一个编码错误，原因不明]]></description><category></category></item><item><title><![CDATA[2017.08.04回顾]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/76805032</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/76805032</guid><author>strwolf</author><pubDate>Mon, 07 Aug 2017 09:56:10 +0800</pubDate><description><![CDATA[今天上午主要是解决两个问题，第一个是写SQL抓出tableau的逾期统计，遇到一个通用效率问题，这个解决方法应该也是通用的才可以，还没完全研究透，下午就和商务外出谈合作去了，social能力还有一定提升空间，外出回来到公司，吹了下牛批，继续探讨了下PSI和WOE变化的问题，还未能得到突破，周五最后的时间工作不够专注，效率偏低，一旦用社交工具聊天，效率就会变的十分低下！]]></description><category></category></item><item><title><![CDATA[2017.08.03回顾]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/76639362</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/76639362</guid><author>strwolf</author><pubDate>Mon, 07 Aug 2017 09:45:14 +0800</pubDate><description><![CDATA[今天的工作比较单纯，就是继续整理建模数据，从中也发现了数据中明显的错误，还有些数值型的错误还需要仔细check，没什么技术含量，今天比较有收获的是还是那个问题：是否变量分布越大，WOE变化也越大？
方法是采用模拟的形式，变量分成6类，固定每类的好坏比，固定总样本数，找到满足好坏比，总数约束，整数约束的一共79种分布，这其中33组的WOE唯一，46组WOE存在重复，所以分布变了，WOE不变的概率是]]></description><category></category></item><item><title><![CDATA[2017.08.02回顾 centos安装anaconda/xgboost linux操作系统信息 top内存CPU notebook注释 feature多]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/76595371</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/76595371</guid><author>strwolf</author><pubDate>Wed, 02 Aug 2017 20:51:25 +0800</pubDate><description><![CDATA[1、centos下安装anaconda，参考http://devopspy.com/python/anaconda-centos-7/


wget https://repo.continuum.io/archive/Anaconda2-4.3.0-Linux-x86_64.sh
bash Anaconda2-4.3.0-Linux-x86_64.sh
   #这一步，bash本来就是默]]></description><category></category></item><item><title><![CDATA[2017.08.01回顾 xgboost get_dummies 尽可能留变量]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/76570539</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/76570539</guid><author>strwolf</author><pubDate>Wed, 02 Aug 2017 10:42:48 +0800</pubDate><description><![CDATA[节奏不要乱，做应该做的事情，一些不应该做的事情需要克制！
1、上午就是抓取建模变量，对变量做一些初步encode的工作，集中注意力弄了一上午，应该完成了1/3
2 、继续zillow数据建模，有几点收获：


xgboost的基分类器是CART，但是也可以用线性分类器，booster参数可以设置，似乎还有一个名叫dart的分类器，听朋友说是神经网络相关的整理了所有变量的预处理方法尝试了d]]></description><category></category></item><item><title><![CDATA[2017.07.31回顾 LabelEncoder xgb.cv]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/76462459</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/76462459</guid><author>strwolf</author><pubDate>Mon, 31 Jul 2017 20:25:50 +0800</pubDate><description><![CDATA[1、花了少量时间补充上周五的小结
2、然后开始继续抄作业


kernel去除outliers的方法是用的常数，-0.4和0.4，为什么这样设计，并没有给出说明，这个值是介于2 delta和3 delta之间缺失值处理方面，全部用-1填补对于类型为object的变量，使用了一个sklearn.preprocessing中的LabelEncoder，这个类使用上需要建立一个实例，使用方法很简]]></description><category></category></item><item><title><![CDATA[2017.07.28回顾]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/76416259</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/76416259</guid><author>strwolf</author><pubDate>Mon, 31 Jul 2017 09:52:38 +0800</pubDate><description><![CDATA[1、花了大半天的时间前情提要
2、各个指标浏览一圈
3、继续kaggle zillow的问题，开始尝试去除离群点，采取箱线图的3倍四分位距的方法，排除了极端异常值，然后拟合的时候自己尝试了下xgboost，但是调参失败了，最后得出的值都差不多，后来仿照了别人的调参方法，提交，结果排在了1011位，还需要调整。浏览了一下xgboost的调参指南，有些没涉及到的参数只有一个浅显的印象，还有些参数是]]></description><category></category></item><item><title><![CDATA[2017.07.27回顾 ET和RT比较 高级切片 argsort barplot(yerr=) xgb.plot_importance]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/76228199</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/76228199</guid><author>strwolf</author><pubDate>Fri, 28 Jul 2017 14:32:31 +0800</pubDate><description><![CDATA[1、一到办公室写了上一日的小结
2、昨天帮同事拉进白名单，就只能顺带更新了channel rolling variable，运行良好
3、看了下ExtraRandomizedTrees和randomForest的文档，随机森林是有放回的抽样，样本数等于原始样本数，特征数随机子集，结果回归用average，分类用voting（但是sklearn的实现是对probability的average），]]></description><category></category></item><item><title><![CDATA[2017.07.26回顾 ggplot初探]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/76169849</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/76169849</guid><author>strwolf</author><pubDate>Thu, 27 Jul 2017 10:20:20 +0800</pubDate><description><![CDATA[昨天的做的事情脉络还比较清晰
1、写前一天的小结，主要是总结阿三那骚气的EDA技术，里面着实学到不少东西
2、写完第一个记得已经是下午3点过了，开始弄channel的rolling variable上线的事情，也还是老套路了，改SQL/表添加字段/设计权重等
3、上午给新同事布置了新的任务，大概讲解了一下表结构
4、2做完后，开始继续未完成的EDA，最后部分的EDA用到了ggplot这个函]]></description><category></category></item><item><title><![CDATA[2017.07.25回顾 骚气EDA研究学习]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/76098533</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/76098533</guid><author>strwolf</author><pubDate>Wed, 26 Jul 2017 15:14:19 +0800</pubDate><description><![CDATA[1、上午主要是开发新的rolling variable，算出woe，明天可以完成
2、另外一个主要工作是和新同事交流，关于两个变量分布变化对woe的影响，有一些新的发现，我推翻了昨天自己的猜想，也就是分布变化，woe一定会改变，我发现是能构造出分布改变，但是woe不变的情况，而且分布的变化是能通过卡方检验的，还有就是第二个猜想，分布变化越大，woe变化越大，同事构造的一些数据也说明了不一定成立，]]></description><category></category></item><item><title><![CDATA[2017.07.24回顾 plt.hist直方图绘制]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/76037805</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/76037805</guid><author>strwolf</author><pubDate>Mon, 24 Jul 2017 21:02:23 +0800</pubDate><description><![CDATA[今天是新的一周的第一天，状态不是很好，还沉浸在周末的喜悦之中，无论好与坏，还是对今天的工作做一个小结吧。
1、完成了接口的拆分上线，一些检查和督促工作
2、和新人讨论关于两个变量分布变化影响的问题，一个是看了改变前后的变化，实际上14号改变前后变化并不大，看起来像是按比例分配到后面的value上去，但是也有一些轻微的左偏，说明建模数据集的分布和14号之前全量的客户数据分布存在一定的差异，建模的]]></description><category></category></item><item><title><![CDATA[2017.07.21回顾 notepad++tab转space df.plot series.value_counts()]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/75669911</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/75669911</guid><author>strwolf</author><pubDate>Fri, 21 Jul 2017 18:29:53 +0800</pubDate><description><![CDATA[1、上午一到办公室就是解决线上的错误问题，主要配合搞了一上午
2、上午也帮同事review代码
3、写了昨天的小结，内容比较多，在小结中也整理了其他一些获得的新知识
4、修复了自己程序的一个BUG
5、处理一些公司杂事，一段SQL或一些决定
6、和新人交流沟通，关于两个变量的分析问题
7、notepad++，edit里面有个功能可以一键转换成把tab转space，日常tab转4空格设置]]></description><category></category></item><item><title><![CDATA[2017.07.20回顾 xgboost安装 xgboost抄作业]]></title><link>https://blog.youkuaiyun.com/strwolf/article/details/75570944</link><guid>https://blog.youkuaiyun.com/strwolf/article/details/75570944</guid><author>strwolf</author><pubDate>Fri, 21 Jul 2017 16:12:17 +0800</pubDate><description><![CDATA[1、上午主要就做rts的逻辑，稍微改了一下PTI的限制逻辑，然后编辑邮件，差不多时间进行提交
2、在这中间处理了一个老客户的问题，处理了live_time和work_time疑似BUG的问题，和新人讨论了一些最新的分析结果，其中我对非参检验和参数检验还不是很清楚，需要下来学习，老实说卡方检验的原理，我也只看过一半，应用点到是知道，她新提到的KS检验，我基本不了解
3、今天剩余时间主要就是抄作业]]></description><category></category></item></channel></rss>