2017.08.11回顾

最新推荐文章于 2020-05-26 17:50:48 发布
原创 最新推荐文章于 2020-05-26 17:50:48 发布 · 388 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

1、一系列的引擎规则改动，但是有些改动我是很被动的，但是我觉得应该更进一步有主人公意识，不能只是个搬砖的，对于不合理的改动拒不执行，本来这个产品就是自己负责，荣辱共存。在修改过程中并无什么技术难点，但是对整个流程有了一些新的想法，需要以后探讨

2、我确认了sklearn的RandonForest用的基分类器是CART，后来我发现sklearn只实现了CART树，但是做了一些优化

3、继续抓了几个数据集，果然IV正常连0.2都超不过，我还发现了一点：按期信用贷款，越到后面整体IV都开始变小，所以一个贷款产品我觉得不应该设计得过长，后面和老板讨论

4、上午杂事多，没能专注，补了昨天的日志，然后在网上看了下舆情，知己知彼，也和同事聊了下

2017.08.01回顾 xgboost get_dummies 尽可能留变量
strwolf的专栏
08-02 1422
节奏不要乱，做应该做的事情，一些不应该做的事情需要克制！ 1、上午就是抓取建模变量，对变量做一些初步encode的工作，集中注意力弄了一上午，应该完成了1/3 2 、继续zillow数据建模，有几点收获： xgboost的基分类器是CART，但是也可以用线性分类器，booster参数可以设置，似乎还有一个名叫dart的分类器，听朋友说是神经网络相关的整理了所有变量的预处理方法尝试了d
2017.08.09回顾 seaborn两个坐标系 series中mixtype sorted key
strwolf的专栏
08-10 1640
1、上午对现有决策引擎做了一些简单修改，没什么技术含量，注意的地方就是条件概率的计算 2、继续SQL抓取数据集，没什么技术含量，后来发现中间少抓了几个变量，已经补上，后面还需要check看是否遗漏变量 3、有了数据集，又开始耍自己的评分卡工具包，对工具包做了一些修改，美化barplot/修正排序BUG/regroup写成静态方法，过程中发现一些问题，也有一些收获 我发现我给int64
2017.08.15回顾
strwolf的专栏
08-15 516
1、IV计算时候前面的系数推导，反正结论一句话，odds固定，样本数越多，IV分量越大 2、为什么不能用bad rate去编码，我搜了很多资料但是没得到结果，我也和别人讨论，在群中提问，但目前无人回答 3、拒绝推断到底有没有必要，这个有联系到变量分布，PSI等问题，而且现在通过率相当低，下一次迭代模型，有可能看见有个变量并没有区隔度了，因为都是高分段了，区隔自然差，但实际上别人是有区隔度的在总
2017.08.14回顾 IV的系数
strwolf的专栏
08-14 773
1、校验了建模数据存在的问题 2、阅览了FICO的产品介绍，里面可以窥见一些方法 3、SQL拉出新数据集，数据洞察 4、思考系统的变量随时间随不同因变量定义的稳定性校验方法，思考了PSI，以及拒绝推断等等相关问题 5、在IV的计算过程中前面乘以一个系数(Gi/GT-Bi/BT)，固定该组好坏比，后面的WOE就不变，所以在好坏比固定的情况下，该组样本数越多，系数就越大，因为(Gi/GT-Bi
(2017.08.14-2017.08.18)周总结－琐事总结
Be yourself.
08-21 464
本周的事情，主要是对于之前的系统的问题进行修复，回顾自己的代码。哎，是真的有点烂。 其次，项目组有人走了去了某A公司了。搞得人心又点那啥。 主要贡献如下: 添加一组关联关系、更新统计数据、将部分sql存储在数据库供其他部分使用。 感悟 向之前的situation添加team的关系，更新优化策略。filter在创建时过滤，关联关系直接与中间表挂钩，提高运行的速度。 Reference[1]
2017.08.16回顾 关于PSI 关于WOE无拒绝推断影响
strwolf的专栏
08-16 2227
继续思考woe iv psi 拒绝推断这个我都觉得难以control的问题，好在今天总算有了自己的一些结论和未来尝试方向 变量每组好坏比不变，分布变，woe同增同减，影响不大psi没卵用，更应该去关注变量每组的好坏趋势是否有变化拒绝推断我目前暂时不需要，但是这么低的通过率，以后应该会遇到这个问题可以尝试用bad rate在总体中去计算woe或者用bad rate编码，这个可以消除建模集到
工作-2017.08.27-周记总结篇（四）
Monkey_D_Jie的博客
08-27 654
老样子，还是先来把本周的工作给回顾一下。按着下面的内容提纲来。   首先呢是要回顾本周学习了的，上手实践了的内容，最好是能把它们串起来，在记录的时候还是依照上一周的那种形式； 其次，记录一下自己在弄的过程中或者在理解上，自己的问题些，务必要精确到点子上，尽量不要整的太宽泛。 最后就是反思自己在学习过程中在主观上做的不好的地方，包括方法的运用上，时间的计划安排上。制定下周的目标和计划，在实践
2017.08.02回顾 centos安装anaconda/xgboost linux操作系统信息 top内存CPU notebook注释 feature多
strwolf的专栏
08-02 915
1、centos下安装anaconda，参考http://devopspy.com/python/anaconda-centos-7/ wget https://repo.continuum.io/archive/Anaconda2-4.3.0-Linux-x86_64.sh bash Anaconda2-4.3.0-Linux-x86_64.sh   #这一步，bash本来就是默
【计算机科学】【2017.08】机器人在拥挤动态环境中的自主导航
weixin_42825609的博客
05-26 496
本文为英国谢菲尔德大学（作者：Ross Walker）的博士论文，共282页。 本文提出了一种新的路径规划算法，用于机器人在拥挤行人环境中导航。这个机器人的设计是通过周密的动作在人群中穿行。与许多其他的路径规划算法（假设与其他行人协作）不同，该算法是完全独立的，只需要进行观察。本文以自主移动机器人为研究对象，提出了一种综合导航策略。利用预测行人运动的简单方法，以及机器人与行人之间的简单相对距离和轨迹测量，机器人可以在人群中导航，而不会对行人轨迹造成干扰。利用不确定椭圆预测动态行人位置，提出了一种新的Vor.
2017-2018年奶茶行业调研报告-文军智库-2018.08-26页.pdf
04-08
报告首先回顾了奶茶行业的演变历程。从最初的粉末奶茶，到街头奶茶店的流行，再到如今新中式茶饮时代的来临，行业的每一个发展阶段都对应着消费者口味和消费观念的变迁。新中式茶饮时代的到来，不仅仅是一种风格的...
自然语言处理论文（2021.08.05).rar
08-05
2017年自然语言处理精选论文中可能涵盖了早期NLP领域的热点，如词嵌入（Word Embedding）、循环神经网络（RNNs）和长短时记忆网络（LSTMs）在文本理解和生成中的应用。这些技术为后续的Transformer模型和BERT预训练...
航空机场行业深度报告：起飞与跌宕，回顾航空投资20年.pdf
09-21
- 第一轮周期（2006.08-2008.01）：受到宏观经济高增长的推动，航空需求强劲上升。 - 第二轮周期（2008.11-2010.10）：在需求受挫后显著反弹，体现了航空业的顺周期特性。 - 第三轮周期（2014.07-2015.06）：出境...
算法刷题中如何高效掌握时间复杂度.doc
08-06
算法刷题中如何高效掌握时间复杂度.doc
swr.cn-southwest-2.myhuaweicloud.com/ks/kubesphere/kubectl:v1.27.16
08-06
docker镜像包swr.cn-southwest-2.myhuaweicloud.com/ks/kubesphere/kubectl:v1.27.16
Spring Cloud Config配置中心使用全流程.doc
08-06
Spring Cloud Config配置中心使用全流程.doc
PSP_Sevice_Level_2014.xls
08-06
PSP_Sevice_Level_2014.xls
全球透视2025年展望报告.pdf
最新发布
08-06
全球透视2025年展望报告.pdf
《详解HttpServletRequestWrapper的使用方法》
08-06
资源下载链接为： https://pan.quark.cn/s/f989b9092fc5 HttpServletRequestWrapper 是 Java Servlet API 中的一个工具类，位于 javax.servlet.http 包中，用于对 HttpServletRequest 对象进行封装，从而在 Web 应用中实现对 HTTP 请求的拦截、修改或增强等功能。通过继承该类并覆盖相关方法，开发者可以轻松地自定义请求处理逻辑，例如修改请求参数、添加请求头、记录日志等。 参数过滤：在请求到达处理器之前，可以对请求参数进行检查或修改，例如去除 URL 编码、过滤敏感信息或进行安全检查。 请求头操作：可以修改或添加请求头，比如设置自定义的 Content-Type 或添加认证信息。 请求属性扩展：在原始请求的基础上添加自定义属性，供后续处理使用。 日志记录：在处理请求前记录请求信息，如 URL、参数、请求头等，便于调试和监控。 跨域支持：通过添加 CORS 相关的响应头，允许来自不同源的请求。 HttpServletRequestWrapper 通过继承 HttpServletRequest 接口并重写其方法来实现功能。开发者可以在重写的方法中添加自定义逻辑，例如在获取参数时进行过滤，或在读取请求体时进行解密。当调用这些方法时，实际上是调用了包装器中的方法，从而实现了对原始请求的修改或增强。 以下是一个简单的示例，展示如何创建一个用于过滤请求参数的包装器： 在 doFilter 方法中，可以使用 CustomRequestWrapper 包装原始请求： 这样，每当调用 getParameterValues 方法时，都会先经过自定义的过滤逻辑。 HttpServletRequestWrapper 是 Java Web 开发中一个强大的工具，它提供了灵活的扩展性，允许开发者
Loading and preparing results... 07/21 08:41:10 - mmengine - ERROR - /home/featurize/work/20250715/mmdetection/mmdet/evaluation/metrics/coco_metric.py - compute_metrics - 461 - The testing results of the whole dataset is empty. 07/21 08:41:10 - mmengine -
07-22
<think>首先，用户的问题是关于MMDetection框架中的COCO评估错误，具体是测试结果为空。用户提到一个错误：在运行测试时，结果为空，这可能是由于配置或数据加载问题。 回顾用户提供的引用： - 引用[1]：显示一个错误 `AttributeError: 'COCO' object has no attribute 'get_cat_ids'`，这通常是由于版本不兼容或代码错误。 - 引用[2]：提到修改 `class_names.py` 中的类别列表，以确保类别名称正确。 - 引用[3]：涉及使用 `test.py` 脚本生成JSON文件。 - 引用[4]：是关于训练自定义数据集。 用户当前的查询是：“我想解决在使用MMDetection进行COCO评估时出现的空结果错误 请问MMDetection COCO评估错误 测试结果为空” 所以，我需要基于这些引用和我的知识，提供解决方案。关键点： - 空结果错误可能由于多种原因，如类别不匹配、数据路径错误、评估配置问题。 - 从引用[1]，`get_cat_ids` 错误表明COCO API版本问题或自定义数据集配置错误。 - 引用[2]强调修改类别名称文件的重要性。 - 引用[3]展示了测试命令。 我的回答结构应该清晰： 1. **理解问题**：解释什么是COCO评估错误和空结果。 2. **常见原因**：列出可能导致空结果的原因。 3. **解决方案**：一步步提供解决方法。 4. **验证**：如何确认问题已解决。 5. **相关问题**：生成相关问题。 确保使用LaTeX格式： - 行内数学表达式用 `$...$`，如 `$x^2$`。 - 独立公式用 `$$...$$`，但这里可能不需要。 - 使用中文回答。 - 在引用末尾添加引用标识，如 `[^1]`。 生成相关问题： - 基于主题，生成2-3个相关问题。 现在，构建回答： - **引言**：简述问题。 - **原因分析**： - 类别不匹配：训练和测试时的类别名称不一致。 - 数据加载问题：COCO注解文件路径错误。 - 评估配置错误：在配置文件中设置不正确。 - **解决方案**： 1. 检查类别名称：确保 `mmdet/core/evaluation/class_names.py` 中的 `coco_classes()` 函数返回正确的类别列表[^2]。 2. 验证数据路径：确认在配置文件中数据路径正确，特别是 `data_root` 和 `ann_file`。 3. 检查COCO API版本：确保pycocotools是最新版本，以避免 `get_cat_ids` 错误[^1]。 4. 运行测试命令：使用正确的命令生成结果，如 `python tools/test.py config_file checkpoint_file --format-only --options "jsonfile_prefix=./results"`[^3]。 5. 查看日志：运行测试时，检查输出日志以识别错误。 - **验证**：运行后检查生成的JSON文件是否包含检测结果。 - **相关问题**：生成2-3个相关问题。 最后，添加引用标识。</think>### 解决MMDetection中COCO评估错误：测试结果为空的问题 在使用MMDetection框架进行目标检测任务时，COCO评估阶段出现空结果错误是常见问题，通常由数据配置、类别定义或评估脚本错误引起。以下我将逐步分析原因并提供解决方案，确保问题得到彻底解决。本文基于您提供的引用信息和MMDetection最佳实践。 #### 问题原因分析 空结果错误（即测试输出无检测结果）的根本原因包括： 1. **类别名称不匹配**：模型预测的类别与COCO格式的标注类别不一致，导致评估时无法对齐。例如： - 训练时使用的类别列表（如 `CLASSES`）与评估脚本中的定义不同。 - COCO注解文件（如 `instances_train2017.json`）的类别ID与模型输出不兼容。 2. **数据加载错误**：配置文件中的路径设置错误，或COCO API版本问题（如 `get_cat_ids` 缺失）[^1]。 3. **评估配置不当**：测试命令参数错误（如 `--format-only` 未正确生成JSON文件），或配置文件中的评估参数未启用。 4. **模型或数据问题**：模型未训练收敛、数据预处理错误，或测试集无有效标注。 #### 逐步解决方案 遵循以下步骤排查和修复问题，确保每个步骤执行后验证输出。 1. **检查并修正类别名称定义** - 打开MMDetection源码中的类别名称文件：`mmdet/core/evaluation/class_names.py`。 - 修改 `coco_classes()` 函数，确保返回的类别列表与您的数据集完全一致。例如，如果数据集只有两类（如 "person" 和 "mask"），则代码应为： ```python def coco_classes(): return ['person', 'mask'] # 与COCO标注文件中的类别顺序匹配[^2] ``` - **验证**：运行测试脚本后，检查日志是否输出正确类别名称。若类别不匹配，评估结果会为空。 2. **验证数据路径和COCO标注文件** - 检查配置文件（如 `configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py`）中的 `data` 部分： - 确认 `data_root` 指向数据集根目录（如 `data/coco/`）。 - 确保 `ann_file` 路径正确（如 `annotations/instances_val2017.json`）。 - 示例配置片段： ```python data = dict( test=dict( type='CocoDataset', ann_file='data/coco/annotations/instances_val2017.json', # 修正路径[^3] img_prefix='data/coco/val2017/', ) ) ``` - 更新COCO API：运行 `pip install -U pycocotools` 修复 `AttributeError: 'COCO' object has no attribute 'get_cat_ids'` 错误[^1]。 3. **正确运行测试脚本** - 使用以下命令生成COCO格式的JSON结果文件： ```bash python tools/test.py config_file.py checkpoint.pth --format-only --options "jsonfile_prefix=./results" ``` - `config_file.py`：您的配置文件（如 `faster_rcnn_r50_fpn_1x_coco.py`）。 - `checkpoint.pth`：训练好的模型权重文件。 - `jsonfile_prefix=./results`：指定输出JSON文件前缀（如 `results.bbox.json`）[^3]。 - **关键点**：运行后检查 `./results.bbox.json` 文件。如果文件为空，检查测试日志中的错误信息（如 "No predictions found"）。 4. **检查模型和训练配置** - 确保模型已正确训练：查看训练日志，确认损失值下降且验证指标合理。 - 在配置文件中启用评估：在 `model.test_cfg` 中设置 `score_thr=0.01`（降低置信度阈值避免过滤有效检测）： ```python model = dict( test_cfg=dict( score_thr=0.01, # 避免低置信度预测被忽略 ) ) ``` - 如果使用自定义数据集（如CrowdHuman），确保数据转换与COCO兼容[^2]。 5. **调试与日志分析** - 运行测试时添加 `--show` 参数可视化结果：`python tools/test.py ... --show`，确认模型是否输出检测框。 - 检查日志文件：查找如 "Evaluating... results is empty" 的警告，这通常指向类别或数据路径错误。 #### 验证问题解决 完成上述步骤后： 1. 重新运行测试命令。 2. 确认 `results.bbox.json` 文件包含非空内容（如检测框坐标和类别）。 3. 使用COCO评估工具验证指标：`python tools/analysis_tools/eval_metric.py results.bbox.json`。如果输出mAP值，则问题已解决。 #### 预防措施 - **统一类别定义**：在训练和测试的所有配置文件中使用相同的 `CLASSES` 列表。 - **定期更新环境**：保持MMDetection和pycocotools为最新版本（如 `pip install -U mmdet pycocotools`）。 - 参考官方文档：[MMDetection COCO Dataset](https://mmdetection.readthedocs.io/en/latest/tutorials/customize_dataset.html)。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值