2017.07.28回顾

原创 于 2017-07-31 09:52:38 发布 · 276 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文记录了一次参加Kaggle Zillow比赛的经历，包括使用箱线图去除离群点、采用XGBoost进行预测的过程及遇到的问题。尽管初次尝试未能取得理想排名，但通过学习调参指南，为后续改进提供了方向。

1、花了大半天的时间前情提要

2、各个指标浏览一圈

3、继续kaggle zillow的问题，开始尝试去除离群点，采取箱线图的3倍四分位距的方法，排除了极端异常值，然后拟合的时候自己尝试了下xgboost，但是调参失败了，最后得出的值都差不多，后来仿照了别人的调参方法，提交，结果排在了1011位，还需要调整。浏览了一下xgboost的调参指南，有些没涉及到的参数只有一个浅显的印象，还有些参数是train方法的参数，这些需要看看xgb的官方文档


2017.07.31回顾 LabelEncoder xgb.cv
strwolf的专栏
07-31 4524
1、花了少量时间补充上周五的小结 2、然后开始继续抄作业 kernel去除outliers的方法是用的常数，-0.4和0.4，为什么这样设计，并没有给出说明，这个值是介于2 delta和3 delta之间缺失值处理方面，全部用-1填补对于类型为object的变量，使用了一个sklearn.preprocessing中的LabelEncoder，这个类使用上需要建立一个实例，使用方法很简
2017.07.20回顾 xgboost安装 xgboost抄作业
strwolf的专栏
07-21 417
1、上午主要就做rts的逻辑，稍微改了一下PTI的限制逻辑，然后编辑邮件，差不多时间进行提交 2、在这中间处理了一个老客户的问题，处理了live_time和work_time疑似BUG的问题，和新人讨论了一些最新的分析结果，其中我对非参检验和参数检验还不是很清楚，需要下来学习，老实说卡方检验的原理，我也只看过一半，应用点到是知道，她新提到的KS检验，我基本不了解 3、今天剩余时间主要就是抄作业
2017.07.18回顾
strwolf的专栏
07-18 265
0、昨天晚上更新了iv工具包，对数据集X进行检测，对于含有缺失值的字段，将抛出错误，并指出哪些字段存在缺失值，主要还是用之前写的find_na_column函数，这个函数主要就是靠pd.isnull来实现，然后如果存在miss_columns，会抛出错误，这里抛出错误，我起初是想找一个built-in的类来raise，但是发现没有符合我这种错误的，就只好用Exception基类包装，最后一个老的操
2017.07.10回顾
strwolf的专栏
07-10 236
1、3E逻辑 2、开会准备，分享 3、上午精神状态不佳，打瞌睡 4、mysql生产环境SQL以及接口实现思考 5、帮同事debug，过程中也学到一些新东西 df.values是直接取出来一个ndarray，去掉行索引和列名pd.read_csv和pd.read_excel可以加个参数，知道行索引index=0(索引下标)ndarray只有一种数据类型from sklearn.ut
2017.07.06-2017.07.07回顾 信息熵的坑 多重共线性实践
strwolf的专栏
07-11 598
上周最后两天比较忙，没来得及写小结，这里补充一下 上周还是忙建模的事情，稳定性上进行一些新的探索，周四还面试了几个人，有些知识不用确实容易忘记，但是有什么办法了，只有一遍一遍去理解，面试别人的时候也不用着急，也不要怕丢人，现场去推理，这样也可以检验对方的水平，就是个探讨，技术上没有什么丢人不丢人
2017.07.25回顾 骚气EDA研究学习
strwolf的专栏
07-26 663
1、上午主要是开发新的rolling variable，算出woe，明天可以完成 2、另外一个主要工作是和新同事交流，关于两个变量分布变化对woe的影响，有一些新的发现，我推翻了昨天自己的猜想，也就是分布变化，woe一定会改变，我发现是能构造出分布改变，但是woe不变的情况，而且分布的变化是能通过卡方检验的，还有就是第二个猜想，分布变化越大，woe变化越大，同事构造的一些数据也说明了不一定成立，
HTML 2017.07.19
ledgewont的博客
07-19 239
1. div回顾：   text   2. 设置网页的背景图片； body{ background-img:url (图片的url); } 3.  html的输入与表单 HTML 表单格式： 1） 创建文本字段输入框与创建密码字段输入框 Username： Password： 2)
2017.07.24回顾 plt.hist直方图绘制
strwolf的专栏
07-24 4341
今天是新的一周的第一天，状态不是很好，还沉浸在周末的喜悦之中，无论好与坏，还是对今天的工作做一个小结吧。 1、完成了接口的拆分上线，一些检查和督促工作 2、和新人讨论关于两个变量分布变化影响的问题，一个是看了改变前后的变化，实际上14号改变前后变化并不大，看起来像是按比例分配到后面的value上去，但是也有一些轻微的左偏，说明建模数据集的分布和14号之前全量的客户数据分布存在一定的差异，建模的
2017.07.03回顾 matplotlib作两个y轴图形
strwolf的专栏
07-03 1061
今天主要是解决python绘图的问题，基本上是完成了一个可以交付的图形，像这样 也就是共用一个x轴，有两个y轴，我参照matplotlib官方的example，写了个定值的demo，然后结合自己的程序，也了一个变量化的，先看看demofig, ax1 = plt.subplots() #生成一个图对象，一个坐标对象 #fig.subplots_adjust(left=0.2, right
2017.07.04回顾 dataframe组合 groupby sort to_csv不存index
strwolf的专栏
07-04 3565
今天主要是建模的事情，小结一下 1、我使用了6种不同的y定义，然后写了一个程序去计算平均iv，这个程序中主要是对pandas的回顾 多dataframe的组合，pd.concat((df1,df2,df3,df4,df5,df6),ignore_index=True)默认axis=0，就按行组合，相同的表头会忽略掉，重新起序号，用ignore_index = Truedf的groupb
2017.07.27回顾 ET和RT比较 高级切片 argsort barplot(yerr=) xgb.plot_importance
strwolf的专栏
07-28 3108
1、一到办公室写了上一日的小结 2、昨天帮同事拉进白名单，就只能顺带更新了channel rolling variable，运行良好 3、看了下ExtraRandomizedTrees和randomForest的文档，随机森林是有放回的抽样，样本数等于原始样本数，特征数随机子集，结果回归用average，分类用voting（但是sklearn的实现是对probability的average），
精品报告系列-2017 年上半年中国信托行业业绩回顾.pdf
04-29
2016年底，信托资产规模达到202,186.07亿元，同比实现了24.01%的增长。到了2017年第二季度末，信托资产规模进一步扩大，达到231,387.80亿元，同比增长高达33.86%。此番增长主要得益于证券业和保险业对于资产管理通道...
航空机场行业深度报告：起飞与跌宕，回顾航空投资20年.pdf
09-21
- 第三轮周期（2014.07-2015.06）：出境旅游的繁荣导致国际航线需求高涨。 - 此外，2017-2019年间出现了两次由预期驱动的短期行情。 2. **供需分析**： - 需求是每轮周期的基础，且行情通常与经济周期同步。 - ...
2016-2021年上半年中国物流行业并购活动回顾及趋势展望.pdf
11-29
同时，平均交易额在剔除巨型交易后也增长了13%，达到8.07亿元人民币，这是自2017年下半年以来的第二高纪录，显示出行业头部企业集中度的提高。 并购市场的头部效应明显，2021年上半年十大重大交易占据了总交易规模...
python post content-type:multipart/form-data 类型的表单数据
热门推荐
strwolf的专栏
01-10 1万+
表单数据post默认为application/x-www-form-urlencode，可以为标签加入属性enctype=multipart/form-data，使得post的数据按multipart/form-data编码，这种格式通常用于文件上传，二进制传输，但是普通表单数据也可以使用multipart/form-data。      python处理multipart/form-data的
2017.05.10回顾 numpy学习 其他python woe iv实现参考
strwolf的专栏
05-11 6624
1、昨天早上一来写小结都花了1个多小时，到11点3分结束，期间我在小结pandas相关用法的过程中，领悟了新的建空dataframe，然后不断append的方法 2、小结完后，监控了一下坏账和模型运行状况 3、上午小结完后，开始着手，合作方黑名单的问题，进行了一些设计和思考，还有处理一些杂事，比如解答boss的疑惑，差不多上午结束 4、下午继续合作方黑名单的问题，进行了一系列修改，没什么新东
linux安装cx_Oracle模块
strwolf的专栏
06-06 5432
数据库版本为11.2，linux环境64位 去http://www.oracle.com/technetwork/topics/linuxx86-64soft-092277.html下载oracle的精简版客户端，instantclient-basic-linux.x64-11.2.0.4.0.zip和instantclient-sdk-linux.x64-11.2.0.4.0.zip，下载需要登录
sklearn中gbdt源码解读笔记
strwolf的专栏
01-12 3561
这周已经过去了3天，主要精力都是集中在sklearn的gbdt代码解读上，进展肯定是有，但是感觉阻力比较大，但是这又有什么办法呢？人一能之，我十之！但是感觉有时候多花时间的情况下效率很低很低，但是可能也是自己内心浮躁，想回去玩造成了这种效率低下，要看这个算法，只有不到黄河心不死的决心，即便我被迫需要先应用再解读，我也一定要花时间去解读，一定要精通这个算法，排除万难！把前几天关于gbdt的解读再总结
2017.05.15回顾 numpy新东西学习 scoreatpercentile
strwolf的专栏
05-16 3435
1、昨天上午精神不是太好，周末玩太疯没完全恢复过来，上午主要就是解决了那天抓付款方式那个SQL的问题，我用了单步调试的方法搞清楚了表与表之间的关系，这种SQL写法感觉也是一种我不太常用的思路，而且有时候把条件写在where后面是有道理的，做一种过滤，join是无法达到那种效果的 2、下午对前置模型做了一些调整，温习了一个新的方法has_key，dict.has_key(key_name)，如果有
Loading and preparing results... 07/21 08:41:10 - mmengine - ERROR - /home/featurize/work/20250715/mmdetection/mmdet/evaluation/metrics/coco_metric.py - compute_metrics - 461 - The testing results of the whole dataset is empty. 07/21 08:41:10 - mmengine -
最新发布
07-22
- COCO注解文件（如 `instances_train2017.json`）的类别ID与模型输出不兼容。 2. **数据加载错误**：配置文件中的路径设置错误，或COCO API版本问题（如 `get_cat_ids` 缺失）[^1]。 3. **评估配置不当**：测试...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值