Yolo_C的博客

使用户scrapy.spider爬取网站的时候，遇到了Forbidden by robots.txt报错，robots.txt是网站爬取的规范协议，很多地方写需要将setting中的robotsbox_obey设置为False，但是这样做是有风险的，我这次报错主要是因为使用了两个月之前的代码再次爬取的时候没有更新cookie，只要更新一下就好了...

问题主要是使用multiprocessing在每一轮训练时并行随机产生数据时，job.get()数据超过了torch的暂存内存，参考了以下文章，加入代码或者降低了num_pool都没有解决我的问题https://blog.youkuaiyun.com/u012796629/article/details/105936386/最终我使用del data,在每轮训练结束时释放掉了该轮使用的数据就可以了...

在使用pytorch训练模型的时候，训练时候，内存十分平稳，预测的时候迅速增长，报内存不足的错误原始是忘记加no_grad解决方法：在预测的时候，加with torch.no_grad()with torch.no_grad(): for i,batch in enumerate(test_loader): pass...

今天遇到一个bug，使用一个tensorflow后端的keras模型的时候，速度巨慢，后面发现是模型只使用了CPU，没有调用GPU。1.解决方案https://blog.youkuaiyun.com/qq_40829288/article/details/90509417这个问题是由于tensorflow的版本高于tensorflow-gpu版本首先查看版本pip installtensorflow 1.12.0tensorflow-gpu 1.11.0所以脚本默认调用了tensorflow而不是te