- 博客(18)
- 收藏
- 关注
RSS订阅原创 2.使用insightface读取视频进行人脸识别
1.人脸特征持久化 输入数据集的人脸并得到特征向量之后，首先要持久化下来。 import numpy as np ''' 前面的忽略，就是加载模型，获取数据集，跑模型得到向量f ''' '''关键代码''' f = model.get_feature(img) f.tofile('/myfeature/rep.bin') # 读取 f_ = np.fromfile('/myfeature/...
2019-04-12 08:51:19
8275
24
原创 1.使用insightface加载训练好的模型进行特征提取
首先，致敬作者，他的代码库在：https://github.com/deepinsight/insightface 1.安装项目运行环境。 python=2.7 由于我的服务器上已经安装了cuda8.0，所以环境配置起来很容易，输入如下代码: pip install -U six scipy scikit-learn opencv-python scikit-image easydict...
2019-04-11 09:30:33
10475
18
原创 爬取课件资源的爬虫
闲来无事，爬一爬现在学生的课件ppt资源，做一做数据分析，看看孩子们都在学一些什么。 一、开始分析下载的流程： 1、一级页面 网址为:www.1ppt.com/kejian 2、二级页面 http://www.1ppt.com/kejian/5769.html 根据标题来看，这个还是一个汇总，要下载详细的ppt内容还要往下看。 往下翻看到了正主，这个就是我们所需要的ppt...
2019-03-19 11:25:03
2127
原创 python使用python-pptx删除ppt某页
公司安排了个任务，爬取ppt资源，我爬取后打开ppt发现，最后一页是站点的宣传，需要删除。 仔细阅读了python-pptx的api和国内的教程，发现没有人写了关于删除ppt中某页的功能，所以科学上网去google上搜了一下，发现作者已经实现了，下来贴上如何删除 from pptx import Presentation # 读取ppt prs = Presentation('./temp...
2019-03-19 10:04:14
5395
3
原创 fastai开始更新中文笔记了，传上相关链接
1.fastai论坛，可以查找自己的报错或提问等等：https://forums.fast.ai/ 2.每节课的详细笔记：https://forums.fast.ai/t/faq-resources-and-official-course-updates/27934 点击resource and updates ->进入新页面点击 Detailed lesson note 3.中文笔记...
2019-03-01 08:43:32
1735
原创 FASTAI笔记-4-制作自己的数据集
在课程2中教了如何自己制作数据集开始分类任务。 任务为：图像分类任务 获得数据集的方式为下载对应url的图像，获取url的工具可以是js也可以是爬虫。 # 在这里使用课程中提供的例子 ''' 1.首先进入google image 查找图像 2.按F12,在console窗口中输入： urls = Array.from(document.querySelectorAll('....
2019-02-24 22:40:02
1491
原创 使用免费的gpu进行训练
进入https://course.fast.ai/然后点击左边的导航栏中的Server Setup，可以选择Kaggle.com和Colab，教了怎么使用gpu云平台，并且有写好的代码可以运行，运行前拷贝一份作为参照。 ...
2019-02-22 16:39:39
1184
原创 FASTAI笔记-3-学习率选取-随着课程深入会随时更新
学习率的选取对于训练过程中的loss减小和metrics提高有很重要的意义，如何选择学习率也很重要。 在fastai中，进行训练时通常有两个阶段，也就是代码中经常会见到的: ''' stage_1：为迁移学习后的模型参数。 stage_2：为微调后的模型参数 ''' learn.save('stage_1') learn.save('stage_2') 对于每个stage，...
2019-02-22 16:28:16
3018
原创 FASTAI笔记-2-对fit_one_cycle理解
学习fastai中一直对fit_one_cycle有一些不懂，今天在学习中明白了其中道理。 fit_one_cycle在训练中，先使用较大的学习率，在逐步减小学习率。 首先，在学习的过程中逐步增大学习率目的是为了不至于陷入局部最小值，边学习边计算loss。 其次，当loss曲线向上扬即变大的时候，开始减小学习率，慢慢的趋近梯度最小值，loss也会慢慢减小。就如下图： 注：图为课程中的图，我...
2019-02-22 15:35:51
6469
1
原创 FASTAI笔记-1-安装以及猫狗分类
fastai基于pytorch，如果新手入行可以看看该视频，不光是pytorch教学，也是深度学习教学。 https://morvanzhou.github.io/tutorials/machine-learning/torch/1-1-why/ fastai论坛，有问题可以上去问，上面也有课程详细笔记。 https://forums.fast.ai/ fastai官方文档如下。 htt...
2019-02-21 11:06:53
2401
原创 Python+CV2+dlib 图像旋转达到放平人脸作用
出发点：看了很多有关旋转人脸的，多为使用c语言实现的，结合前辈思想使用python实现了一版。 注意：本人使用的是jupyter notebook边写边检查， 所以使用IDE的童鞋记得将我函数定义代码和测试代码分开，测试代码放到 “if __name__=='__main__'”中，可以规范点。 流程为： 1.获得人脸特征点 2.获得左右眼角 3.计算左右眼角坐标差值dx,dy然后求a...
2019-01-28 11:59:22
2033
2
原创 python使用post请求发送图片并接受图片
图像读取编码与反编码： import requests import json import numpy as np import cv2 import base64 # 首先将图片读入 # 由于要发送json，所以需要对byte进行str解码 def getByte(path): with open(path, 'rb') as f: img_byte = base...
2019-01-24 10:47:52
15111
1
原创 使用pandas读取文件并加工成DataFrame
数据来源，搜狗实验室新闻数据http://www.sogou.com/labs/resource/ca.phpimport pandas as pd news = pd.read_csv('news.csv',header = None,encoding = 'GB18030') # 分别读取url,content,contenttitle内容 url = [] content = [] cont...
2018-05-04 22:25:55
2124
原创 pandas文件读取的问题
从搜狗实验室下载了新闻数据，发现read_csv报错'utf-8' codec can't decode byte 0xb9 in position 14: invalid start byte后来搜了很久，使用import pandas as pd pd.read_csv('./data/new.dat',encoding='GB18030')...
2018-05-04 21:21:25
1217
原创 KNN学习笔记
KNN算法有监督学习算法：现有一组数据源，含多个特征值，每个特征值的样本对应一个标签。现在输入一组特征值，需要得到预测值。在数据源中寻找k个距离最近的数据，进行分类。import pandas as pd import matplotlib.pyplot as plt from sklearn.neighbors import KNeighborsRegressor # 读取数据 data = n...
2018-04-27 16:19:16
323
原创 matplotlib学习笔记
import numpy as np import matplotlib.pyplot as plt # 在notebook中画图 %matplotlib inline # 画图 plt.plot([1,2,3,4,5],[1,4,9,16,25],'--',color = 'm') # 改x轴显示 plt.xticks(x,bar_label) plt.show() # 绘制多个线 n =...
2018-04-26 14:30:39
1294
原创 pandas学习
import pandas as pd # 读取数据,将第一列时间转化为date格式 df = pd.read_csv('a.csv',index_col = 0,parse_dates= True) df.head(5) # 读取前5条数据 data.tail(10) # 查看最后的数据 # 显示设置 pd.set_option() # 具体查网页 # 属性 df.info() # ...
2018-04-22 20:48:37
326
原创 Numpy的一些个人笔记
import numpy as np # 生成ndarray array = np.arange(1,10,5，dtype = np.int32) # 生成1-9间隔为5的ndarray random_array = np.random.rand(10) # 生成10个随机0-1的数ndarray array = np.random.randint(0,10,(2,3)) # 0-9生成2...
2018-04-21 14:03:18
374
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人