
python
北方的杨先生
声明:博文的编写,主要参考网上资料,并结合个人见解,仅供学习、交流使用,如有侵权,请联系博主删除,原创文章转载请注明出处。博主微信:wx_big。
展开
-
Warm-up预热学习率
学习率是神经网络训练中最重要的超参数之一,针对学习率的优化方式很多,Warmup是其中的一种(一)、什么是Warmup?Warmup是在ResNet论文中提到的一种学习率预热的方法,它在训练开始的时候先选择使用一个较小的学习率,训练了一些epoches或者steps(比如4个epoches,10000steps),再修改为预先设置的学习来进行训练。(二)、为什么使用Warmup?由于刚开始训练时,模型的权重(weights)是随机初始化的,此时若选择一个较大的学习率,可能带来模型的不稳.原创 2020-05-21 10:41:40 · 975 阅读 · 0 评论 -
浏览器的用户代理(User-Agent)
Chrome的User-Agent这里可以看出来,该Chrome是MAC的发布版,采用了兼容了Mozilla,Safari,内核兼容AppleWebkit和GeckoUser-Agent:Mozilla/5.0(Macintosh;IntelMacOSX10_9_2)AppleWebKit/537.36(KHTML, likeGecko)Chrome/35.0.1916.153Safari/537.36火狐的User-Agent可以看出来,该Firefox为Windo...原创 2020-05-21 10:23:51 · 721 阅读 · 0 评论 -
python爬取图片提示urllib error HTTPError HTTP Error 403 Forbidden解决
上网查了很多资料,都说是缺少user-agent头,但我明明是已经加上了,尝试了很多遍还是没有用,就在我快要放弃的时候,在抓包工具中突然发现了图片请求头中的一个头信息Referer,这才突然想起来。很多网站都会设置Referer头来做防盗链功能,防止网站被恶意的请求,于是我很开心的加上这个请求头...原创 2020-05-21 10:21:55 · 569 阅读 · 0 评论 -
No module named 'pip._internal.cli.main'
解决方案:sudo easy_install pip原创 2020-04-24 17:29:55 · 3462 阅读 · 0 评论 -
Conda 常用命令
您的鼓励是我前进的源动力????原创 2020-01-10 16:04:17 · 284 阅读 · 0 评论 -
基于结构相似性的图像质量评价SSIM及其python实现
您的鼓励是我前进的源动力????原创 2020-01-10 16:01:52 · 668 阅读 · 0 评论 -
在Wider Easy Medium Hard 数据集上Map评估
您的鼓励是我前进的源动力????原创 2019-10-18 14:03:53 · 1242 阅读 · 1 评论 -
Python 学习 001:Python判断文件是否存在的三种方法
目录1.使用os模块判断文件是否可做读写操作2.使用Try语句3.使用pathlib模块正文通常在读写文件之前,需要判断文件或目录是否存在,不然某些处理方法可能会使程序出错。所以最好在做任何操作之前,先判断文件是否存在。这里将介绍三种判断文件或文件夹是否存在的方法,分别使用os模块、Try语句、pathlib模块。回到顶部1.使用os模块os模块中的os.path....原创 2018-11-14 10:17:13 · 341 阅读 · 0 评论 -
Python多进程multiprocessing使用示例
参考:http://outofmemory.cn/code-snippet/2267/Python-duojincheng-multiprocessing-usage-example参考:http://blog.youkuaiyun.com/qdx411324962/article/details/46810421参考:http://www.lxway.com/4488626156.htm廖雪峰官网 进程和线...转载 2018-04-11 11:07:15 · 1232 阅读 · 0 评论 -
Python 多线程 threading和multiprocessing模块
线程是一个进程的实体,是由表示程序运行状态的寄存器(如程序计数器、栈指针)以及堆栈组成,它是比进程更小的单位。 线程是程序中的一个执行流。一个执行流是由CPU运行程序代码并操作程序的数据所形成的。因此,线程被认为是以CPU为主体的行为。 线程不包含进程地址空间中的代码和数据,线程是计算过程在某一时刻的状态。所以,系统在产生一个线程或各个线程之间切换时,负担要比进程小得多。 线程是一个用户级的实体,...转载 2018-03-20 10:33:18 · 723 阅读 · 0 评论 -
Caffe-Python接口常用API参考
官网也有提供demohttp://nbviewer.jupyter.org/github/BVLC/caffe/blob/master/examples/net_surgery.ipynb本文整理了pycaffe中常用的APIPackages导入123import caffefrom caffe import layers as Lfrom caffe import params as ...转载 2018-03-16 09:44:55 · 320 阅读 · 0 评论 -
[AirFlow]AirFlow使用指南四 DAG Operator Task
1. DAG在Airflow中,DAG或有向无环图是你运行所有任务的集合,以某种组织方式来反映所有任务之间的关系和依赖。例如,一个简单的DAG可以包括三个任务:A,B和C.可以说A必须在B运行之前成功运行,但C可以随时运行。 可以说任务A在5分钟后超时,为防止失败,B可以最多重启5次。也可以说工作流从某个特定日期开始每晚10点运行。以这种方式,DAG描述了你如何执行工作流程转载 2018-01-29 10:04:00 · 1807 阅读 · 0 评论 -
[AirFlow]AirFlow使用指南三 第一个DAG示例
经过前两篇文章的简单介绍之后,我们安装了自己的AirFlow以及简单了解了DAG的定义文件.现在我们要实现自己的一个DAG.1. 启动Web服务器使用如下命令启用:airflow webserver现在可以通过将浏览器导航到启动Airflow的主机上的8080端口来访问Airflow UI,例如:http://localhost:8080/admin/转载 2018-01-29 10:03:19 · 1960 阅读 · 0 评论 -
[AirFlow]AirFlow使用指南二 DAG定义文件
1. Example"""Code that goes along with the Airflow tutorial located at:https://github.com/airbnb/airflow/blob/master/airflow/example_dags/tutorial.py"""from airflow import DAGfrom airflow.o转载 2018-01-29 10:02:24 · 1162 阅读 · 0 评论 -
[AirFlow]AirFlow使用指南一 安装与启动
1. 安装通过pip安装:xiaosi@yoona:~$ pip install airflow如果速度比较慢,可以使用下面提供的源进行安装:xiaosi@yoona:~$ pip install -i https://pypi.tuna.tsinghua.edu.cn/simple airflow如果出现下面提示,表示你的air转载 2018-01-29 09:57:12 · 4235 阅读 · 0 评论 -
python 等待时间后处理
import time使用time.sleep(10)暂停10s后继续原创 2018-01-25 11:22:17 · 3116 阅读 · 0 评论 -
python glob匹配文件模块
glob使用UNIX shell规则查找与一个模式匹配的文件名。只要程序需要查找文件系统中名字与某个模式匹配的一组文件,就可以使用这个模块。glob的模式规则与re模块使用的正则表达式不相同。glob模式遵循标准UNIX路径扩展规则。只是用几个特殊字符来实现两个不同的通配符和字符区间。模式规则要应用于文件名中的段。模式中的路径可以是相对路径或绝对路径。shell变量名和波浪线都不会扩展。转载 2018-01-25 11:20:16 · 596 阅读 · 0 评论 -
python中文路径问题
inpath = '中文路径' uipath = unicode(ipath , "utf8")然后用"uipath"经过编码后的路径去open()即可: fin = open(uipath)原创 2018-01-25 10:53:39 · 1406 阅读 · 2 评论