qq_41389266的博客

#项目起因大二在做weibo爬虫帮学长用于情感分析抓取语料时遇到了模拟登陆的问题，其中关键的一环就是验证码识别。由于当时专业知识有限选择了对接打码平台来解决这个痛点，在时间不充分情况下这是效率最高的方法但这也在我心中埋下了一个小小的种子。大二暑假在校听了邹老师的课程后，抱着学习的态度我把weibo验证码识别做为了我的软件工程课设题目同时也是我的第一个深度学习实战项目。#为什么采用端到端的方式...

Gan的基本介绍GAN（Generative Adversarial Networks）被Lan Goodfellow提出以后，各种Gan遍地开花，GAN掀起了一场技术革命在各个领域的应用都取得了重大突破, 图灵奖得主Yann LeCun也称近Gan是20年来深度学习领域最棒的想法。身为小白的我也久仰Gan的大名，在寒假期间终于有时间能实操一下Gan的训练（期待的搓搓小手） Gan在近些年来的...

本篇开门见山，在做机器学习项目时有时会遇到前后端的交互问题。以本地打码平台为例，在模型训练好之后前端是由java写的，模型则是由python完成，前后端的交互实际上就是前后端两个程序所在线程的交互，所以将python所在线程实现ServerSocket，Java线程实现Socket则可实现交互。Python：import socketimport sysimport thread...

在维护代理池时报错1：zincrby(REDIS_KEY,proxy,-1)redis.exceptions.ResponseError: value is not a valid float查看文档后发现zincrby（）跟新为zincrby(self, name, amount, value)解决方案： zincrby(REDIS_KEY,-1,proxy) ...

模拟登陆就是获取新浪服务器返回的登陆参数（cookies等），然后添加到爬虫的post请求中来伪装用户提交给新浪访客系统首先感谢 Bgods（https://blog.youkuaiyun.com/songzhilian22/article/details/48396545）敲代码的耗子(http://www.cnblogs.com/mouse-coder/archive/2013/03/03/294...

需求：获取天涯论坛上某关键字搜索出来的所有页面里面的每个帖子的楼主id和评论id获取id间的对应关系，用于粒子群算法。（实际上已匹配出用户id，评论内容，用户名等信息，需要的话自己改一下return 就行了）分析：天涯论坛所有界面都是静态页面，没有发现反爬机制。 没有速度限制，但是还是请合理采集不要过度占用网站资源（我爬的时候，速度快了服务器会反应不过来。。多试几次就行了）...

今天用Pycharm pandas读取csv文件（1.3g）时 报错Process finished with exit code -1073740940 (0xC0000374)但是用Spyder运行代码时能正常运行，所以说应该是Pycharm内存爆了解决方案：pandas包更新到最新版 pycharm中后缀为vmoptions的配置文件里Xms、Xmx的值调大文...