TG's Maze

LiveTV Mining介绍此站点是为了实现爬虫、数据挖掘/分析等技术。目前主要是扫描斗鱼直播的数据进行统计，后续会加入其他直播网站(战旗、熊猫、itwich等)爬虫结果。站点是在个人兴趣指引下用业余时间写的项目，可能技术还欠缺火候。使用中有问题或更新建议，欢迎直接提issue Github 反馈给我。历程2016-04-06 域名 http://www.zhengwentao.com 申请完毕

问题提出存在五十万个数字，如何快速找到最大(小)的100个。思路思考线索如下：普通排序方式，需要同时把数据全部加载到内存排序，由于python性能问题不采用。采用堆排序(heapq)的方式提升排序速度。不全部加载，每次取500个数据，取其中最大100个。然后再以每次500个加载比较。代码(Python)```python# !/usr/env/bin ...

爬虫总结项目展示的数据都是由爬虫爬取的，在使用过程中出现了很多没有注意和意料之外的一些问题，特此总结一下提醒自己。历程爬虫开发的技术路线经过了好几个阶段，将一一总结：原生写法urllibRequests + Gevent + CeleryScrapy + Redis原生写法urllib这个阶段是刚开始学习爬虫，对如何构造和理解爬虫以及相关库的用法都不熟悉...

待解决的问题在拥有多个模型的情况下，是否可以通过给多个模型分配权重(weight)，使得加权后的多模型预测结果要好于单模型？思路是否存在通用的多模型weight计算方式？如果没有，是否存在其他选取模型的方式？如果权重只能人为设置，增加权重提高拟合度的方法是否可行？如果权重能自动计算，能否在实际数据训练中增加拟合度？解决方向查找相关论文资料，确认了使用多模...

问题和实现引自资料：https://en.wikipedia.org/wiki/Subset_sum_problem介绍子集和问题（英语：Subset sum problem），又称子集合加总问题，是计算复杂度理论和密码学中一个很重要的问题。问题可以描述为：给一个整数集合，问是否存在某个非空子集，使得子集内中的数字和为0。例：给定集合{−7, −3, −2, 5, 8}，答案是...