Python学习
关注
分享
扫一扫
记录学习过程，分享知识
码奋
这个时代不再需要柯达，再好的胶卷也是曾经
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Windows安装pycocotools
Windows安装pycocotools原创 2022-05-21 14:48:24 · 805 阅读 · 0 评论 -
CIFAR10-VGG16
Fitting a VGG-16 network on CIFAR-10 for image classification! We use gradient clipping for faster convergence.来源网络 import tensorflow as tf...原创 2021-10-24 19:11:41 · 334 阅读 · 1 评论 -
深度卷积生成对抗网络(DCGAN)来生成对抗图像
DCGAN实现深度卷积生成对抗网络(DCGAN)来生成对抗图像图来源网络main.pyimport osimport numpy as npimport tensorflow as tffrom tensorflow import kerasfrom scipy.misc import toimagefrom gen import Generator, Discriminatordef save_result(val_out, val_block_s原创 2020-07-19 08:56:43 · 805 阅读 · 0 评论 -
百度飞桨PaddlePaddle车牌识别
首先飞桨安装可以通过官网的提示安装通过对7大疫情AI实战案例学习其中包含-手势识别，车牌识别，口罩分类，PaddleSlim模型压缩的学习#导入需要的包import numpy as npimport paddle as paddleimport paddle.fluid as fluidfrom PIL import Imageimport cv2impo...原创 2020-04-08 16:16:55 · 2095 阅读 · 2 评论 -
cifar2数据集：训练一个模型来对飞机airplane和机动车automobile两种图片进行分类
1-2,图片数据建模流程范例一，准备数据训练集有airplane和automobile图片各5000张，测试集有airplane和automobile图片各1000张。import tensorflow as tf from tensorflow.keras import datasets,layers,modelsBATCH_SIZE = 100def load_image(im...原创 2020-04-06 11:45:22 · 2075 阅读 · 4 评论 -
tensorflow2.0 InternalError: 2 root error(s) found. Internal: Blas GEMM launch failed解决办法
在代码最前面加入代码注意 ，这里为tensorflow2.0版本，与第1.0有差距。import osos.environ["CUDA_VISIBLE_DEVICES"] = "0"#原版 config = tf.ConfigProto(allow_soft_placement=True)config = tf.compat.v1.ConfigProto(allow_sof...原创 2020-04-06 10:24:15 · 1811 阅读 · 0 评论 -
titanic数据集的目标是根据乘客信息预测他们在Titanic号撞击冰山沉没后能否生存
一，准备数据titanic数据集的目标是根据乘客信息预测他们在Titanic号撞击冰山沉没后能否生存。结构化数据一般会使用Pandas中的DataFrame进行预处理。字段说明：Survived:0代表死亡，1代表存活【y标签】Pclass:乘客所持票类，有三种值(1,2,3) 【转换成onehot编码】Name:乘客姓名 【舍去】Sex:乘客性别 【转换成bool特征】Age:...原创 2020-04-06 09:59:59 · 449 阅读 · 0 评论 -
python-pyecharts 数据可视化学习 (数据来源：丁香园)
目录一、数据准备二、疫情地图2.1全国疫情地图2.2湖北省疫情地图三、疫情增长趋势图效果图 一、数据准备爬取丁香园的数据保存import jsonimport reimport requestsimport datetimetoday = datetime.date.today().st...原创 2020-04-03 20:45:56 · 1222 阅读 · 0 评论 -
pandas把csv文件数据按列排序
原本的数据类型凌乱不按照日期排序，不利于数据分析 import pandas as pddf = pd.read_csv('clientinfo-截止2019-1...原创 2020-03-14 16:18:09 · 13687 阅读 · 1 评论 -
polyglot-pyicu 安装
当我们下载完polyglot模块导入模块时from polyglot.text import Text会出现错误如下ModuleNotFoundError: No module named 'icu'直接pip install pyicu -i https://pypi.douban.com/simple/我们可能会遇到这样的一个报错RuntimeError: Pleas...原创 2020-03-12 10:31:23 · 2579 阅读 · 0 评论 -
Tensorflow2.1-gpu安装后出现 ImportError: DLL load failed: 找不到指定的模块问题Could not find the DLL(s)'msvcp140_1
借鉴添加链接描述这篇博客（感谢），他安装的是cpu版本，而我安装的是gpu版发现通过pip install直接安装Tensorflow2.1后import tensorflow时会出现 ImportError: DLL load failed: 找不到指定的模块问题问题根据提示信息，去微软的官网下载Visual C++即可：微软的官网下载Visual C++根据自己的系统配置选择...原创 2020-03-02 16:33:17 · 1459 阅读 · 1 评论 -
机器学习、数据建模、数据挖掘分析 特征无量纲化的常见操作方法
在进行特征选择之前，一般会先进行数据无量纲化处理，这样，表征不同属性（单位不同）的各特征之间才有可比性，如2cm 与 0.2kg 你怎么比？无量纲处理方法很多，使用不同的方法，对最终的机器学习模型会产生不同的影响。通常采用的方法就是归一化，Normalization之类的方法。from sklearn.datasets import load_iris #导入IRIS数据集 iris =...原创 2020-02-24 08:56:21 · 1111 阅读 · 0 评论 -
python通过接口判断公共节假日
通过'http://timor.tech/api/holiday/info/$' + “2018-01-11”接口，来判断该日期是否是公共节假日，排除此类返回结果不把双休日计算在内（接口2020/1/1能用，会失效,请先看看能否使用）def main(): begin = datetime.date(2017,11,27) end = datetime.dat...原创 2020-01-01 09:40:19 · 1524 阅读 · 0 评论 -
使用requests 爬取唯美意境图片
import requestsimport reimport osurl = 'http://image.baidu.com/search/index'date = { 'cl': '2', 'ct': '201326592', 'fp': 'result', 'gsm': '1e', 'ie': 'utf-8...原创 2019-12-20 19:16:40 · 388 阅读 · 0 评论 -
深度学习，教你使用Tensorflow2.0识别手写数字（上）
课前知识 新版的Tensorflow2.0与原版的Tensorflow有着较大的更新和变动，Tensorflow2.0将Keras作为默认高级API，并舍弃掉其它的API。此外，另外较大的变动的是将用于机器学习的实验和研究平台 Eager execution 设置为默认优先模式, 这样设置的好处是我们不用再像以前一样预先定义静态图，任何的运算在调用之后都可以直接执行。与原版相比，Tenso...原创 2019-11-25 10:30:44 · 694 阅读 · 0 评论 -
python 'aiohttp' 明明安装成功，但是仍然不能import，运行测报错No module named 'aiohttp'
解决方法：安装aiohttp（1）用anaconda ，在‘enviroments’中查找aiohttp，勾选后安装，仍然失败（2）网站上直接下载库文件：https://repo.continuum.io/pkgs/main/win-64/(3) 下载aiohttp-3.5.4-py37he774522_0.tar.bz2文件（找到自己的对应版本）(4) 下载包放在an...原创 2019-08-25 19:59:18 · 5558 阅读 · 0 评论 -
lxml 4.4.1 没有etree的解决办法
腾讯微云资源：https://share.weiyun.com/5Zxr63y或者在博主的资源中可以下载，但是需要积分，我也不会设置为不需要积分报错 DLL load failed网上应该又很多解决办法，但是很少有用，我曾经找到一篇有用的，但是已经记不清方法，这里的办法是把我配置好的lxml文件直接复制到你们的环境·中，直接可以使用。1.找到自己安装python的文...原创 2019-11-21 19:54:32 · 1228 阅读 · 2 评论 -
Tensorflow 2.0 !!!! No module named ‘tensorflow.examples.tutorials‘解决办法，有用
Tensorflow 2.0 !!!!在tensorflow的学习中，MNIST 是一个入门级的计算机视觉数据集，当我们开始学习编程时，第一件事往往是学习打印Hello World 。在机器学习入门的领域里，我们会用MNIST 数据集来实验各种模型。MNIST 里包含各种手写数字图片它也包含每一张图片对应的标签， 告诉我们这个是数字几。例如，上面这4 张图片的标签分别是5 、0、4 、1...原创 2019-11-21 19:21:42 · 139665 阅读 · 148 评论 -
'utf-8' codec can't decode byte 0xb7 in position 2: invalid start byte
修改encoding='utf8'为encoding='gbk'原创 2019-11-18 18:29:55 · 2657 阅读 · 0 评论 -
python实现Dice系数
维基百科，自由的百科全书跳到导航跳到搜索Disambig gray.svg 关于与“Dice系数”名称相近或相同的条目，请见“Dice”。Dice系数, 根据 Lee Raymond Dice[1] 命名，是一种集合相似度度量函数，通常用于计算两个样本的相似度：{\displaystyle s={\frac {2|X\cap Y|}{|X|+|Y|}}} {\displayst...原创 2019-11-02 19:28:58 · 7335 阅读 · 1 评论 -
Pandas库DataFrame的排序 输出特定某列
# -*- coding:utf-8 -*-import tushare as tsimport pandas as pddf = pd.read_excel('test.xlsx')df1 = df.head(10)#dataframe按索引升序排列,默认即是升序print df1.sort_index()#dataframe按索引降序排列print df1.sort...原创 2019-08-10 09:28:31 · 12091 阅读 · 0 评论 -
Python BeautifulSoup
Beautiful Soup是一个用于从HTML和XML文件中提取数据的python库。它与您最喜欢的解析器一起工作，提供导航、搜索和修改解析树的惯用方法。它通常可以节省程序员数小时或数天的工作时间。这些说明用例子说明了 Beautiful Soup 4的所有主要特征。我向您展示了这个库的好处，它是如何工作的，如何使用它，如何让它做您想要做的事情，以及当它违反了您的期望时应该做什么。本文...翻译 2019-07-28 17:59:09 · 916 阅读 · 0 评论 -
动态爬取 Beautiful Soup爬取豆瓣电影TOP250详情介绍
案例分析首先我们可以看到豆瓣的top250电影排名如图，是把top250所有的分为十页，每页25部电影进行展示而我要获取的数据是每一部电影的详情介绍，包括演员，剧情，评价，演员的扮演角色等信息首先我们要获取top250的页面信息base_url='https://movie.douban.com/top250'headers = { 'U...原创 2019-07-30 10:18:34 · 1029 阅读 · 0 评论 -
python 学习爬取哔哩哔哩今日热门的前100个视频
代码实现我们通过上面的尝试写了段代码，发现B站在一定程度上做了反爬虫操作，所以我们需要先获取headers信息，否则下载下来的视频是空的，然后定义params参数存储JSON数据，然后通过requests.get去获取其参数值信息，用JSON的格式返回到目标网页即可，实现代码如下：def get_json(url): headers = { ...原创 2019-07-27 16:32:29 · 1766 阅读 · 2 评论 -
Python学习——三分钟分析目前最火的电视剧
首先，我们先要获取爱奇艺的电视剧排行，网址为http://v.iqiyi.com/index/dianshiju/index.html我们可以看到这些电视剧的排名我们要做的是首先获取网页源代码headers={'User-Agent':'Mozilla/5.0(Macintosh;intelMacOS10_11_4)Applewebkit/537.36(KHTML...原创 2019-07-25 18:43:21 · 1867 阅读 · 0 评论 -
爬取猫眼电影top100
先获取首页的源代码def get_one_page(url): try: headers={ 'User-Agent':'Mozilla/5.0(Macintosh;intel Mac OS 10_11_4)Applewebkit/537.36(KHTML,like Gecko)Chrome/52.0.2743.116 Safari/537.3...原创 2019-07-25 13:51:05 · 646 阅读 · 0 评论 -
python模拟登陆 requests.session会话劫持
python模拟登陆的几种方法客户端向服务器发送请求，cookie则是表明我们身份的标志。而“访问登录后才能看到的页面”这一行为，恰恰需要客户端向服务器证明：“我是刚才登录过的那个客户端”。于是就需要cookie来标识客户端的身份，以存储它的信息（如登录状态）import requestsrequests.get('http://httpbin.org/cookies/set/numb...原创 2019-07-25 09:20:15 · 598 阅读 · 0 评论 -
python requests cookie处理
import requestsr=requests.get('https://baidu.com')print(r.cookies)for key,value in r.cookies.items(): print(key+'='+value)运行结果<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/...原创 2019-07-24 19:22:07 · 1626 阅读 · 0 评论 -
python requests文件上传
我们知道requests可以模拟提交一些数据，假如有的网站需要上传文件，可以用它来实现，例如这里上传的·文件是favicon.ico，自己实现的时候根据自己的实际情况修改files={'file':open('favicon.ico','rb')}r=requests.post('http://httpbin.org/post',files=files)print(r.text)...原创 2019-07-24 18:39:35 · 1511 阅读 · 2 评论 -
python requests的学习
与urllib中的urlopen（）方法实际上就是GET方式请求网页，而requests中相应的方法就是get（）方法如例子import requestsre=requests.get('http://www.baidu.com')print(type(re))print(re.status_code)print(type(re.text))print(re.text)pr...原创 2019-07-24 10:14:35 · 309 阅读 · 0 评论 -
python robotparser，爬取知乎的robots.txt
利用 urllib.robotparser 模块可以对网站的 Robots 协议进行分析 Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。robots.txt文件是一个文本文件，放在站点的根目录下。 当一个搜索蜘蛛访问一个站点时，它会首先检...原创 2019-07-24 09:07:53 · 2562 阅读 · 0 评论 -
分析robots协议
维基百科是这样介绍的robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录...翻译 2019-07-24 08:50:56 · 703 阅读 · 0 评论 -
python 如何判断一个对象为空
判断对象是否为空：代码如下:>>> th = {"eth0″:"192.168.2.2″}>>> any(th)True>>> th = {}>>> any(th)False判断list是否为空传统的判断方式：代码如下:if len(my_list): # Do somet...原创 2019-07-23 17:13:10 · 4803 阅读 · 0 评论 -
python Requests+正则表达式爬取猫眼电影top100
我们可以看到此页面显示十部电影，一共有十页提供100部电影，我们可以观察到在点击下一页的时候该网站通过改变offset的值来改变显示的内容。https://maoyan.com/board/4?https://maoyan.com/board/4?offset=10https://maoyan.com/board/4?offset=20https://maoyan.com/board/4?o...原创 2019-07-23 16:47:06 · 848 阅读 · 0 评论 -
python urlencode()方法
它在构造get请求参数时候非常有用，如from urllib.parse import urlencodeparmas={ 'name':'germey', 'age':'22'}base_url='http://baidu.com'url=base_url+urlencode(parmas)print(url)运行结果如下http://baidu...原创 2019-07-23 16:42:53 · 1817 阅读 · 0 评论 -
python urljoin（）方法
除了urlunplist（）方法和urlunparse（）方法还有就是生成链接的urljoin方法，我们可以提供一个base_url(基础链接)作为第一个参数，将新的链接作为第二参数，该方法会分析base_url的scheme，netloc，path这三个内容并对新链接缺失的部分进行补充，最后返回结果from urllib.parse import urljoinprint(url...原创 2019-07-23 16:33:28 · 4504 阅读 · 0 评论 -
python urlunplist（）方法
它是将链接各部分组合成完整链接的方法，传入参数也算是一个可以迭代对象，例如列表，元组，长度必须是5from urllib.parse import urlunsplitdata=['http','www.baidu.com','index.html','a=6','comment']print(urlunsplit(data))运行结果http://www.baidu.com...原创 2019-07-23 16:13:38 · 214 阅读 · 0 评论 -
python urlsplist()方法
这个方法和urlparse（）方法非常相似，只不过它不会单独解析params这一部分，只会返回5个结果，上面的例子中的params的会合并到path中from urllib.parse import urlsplitresult=urlsplit('http://www.baidu.com/index.html;user?id=5#comment')print(result)...原创 2019-07-22 17:04:45 · 214 阅读 · 0 评论 -
python urlunparse（）方法
有了urlparse，就有它的对立方法urlunparse()方法，它接受的参数是一个不可迭代的对象但是它的长度必须是6，否则就会抛出参数不够或者参数过多的问题，先用一个实例说明from urllib.parse import urlparse,urlunparsedata=['http','baidu.com','index.html','user','a=6','commen...原创 2019-07-22 16:51:18 · 2428 阅读 · 0 评论 -
python urlparse()方法
该方法实现url的识别和分段，这里先用一个实例来看一下from urllib.parse import urlparseresult=urlparse('http://www.baidu.com/index.html;user?id=5#comment')print(type(result),result)这里我们用urlparse()方法进行了URL的解析，首先，输出解析结果类型...原创 2019-07-22 16:25:44 · 8002 阅读 · 1 评论