python
关注
分享
扫一扫
onemorepoint
mysql、python、JavaScript、vue 学习中
展开
-
动手学深度学习14- pytorch Dropout 实现与原理
方法 从零开始实现 定义模型参数 网络 评估函数 优化方法 定义损失函数 数据提取与训练评估 pytorch简洁实现 小结 针对深度学习中的过拟合问题，通常使用丢弃法(dropout),丢弃法有很多的变体，本文提高的丢弃法特指倒置丢弃法(inverted dorpout)。方法在会议多层感知机的图3.3描述了一个单隐藏层的多层感知机。其中输入个数为4，...原创 2019-11-15 17:00:00 · 1834 阅读 · 0 评论 -
python进程池：multiprocessing.pool
python进程池：multiprocessing.pool 阅读目录例1：使用进程池例2：使用进程池（阻塞）例3：使用进程池，并关注结果例4：使用多个进程池在利用Python进行系统管理的时候，特别是同时操作多个文件目录，或者远程控制多台主机，并行操作可以节约大量的时间。当被操作对象数目不大时，可以直接利用multiprocessin...原创 2017-07-21 11:15:00 · 291 阅读 · 0 评论 -
python os.path模块用法详解
python os.path模块用法详解 abspath返回一个目录的绝对路径Return an absolute path.>>> os.path.abspath("/etc/sysconfig/selinux")'/etc/sysconfig/selinux'>>> os.getcwd()'/root'...原创 2018-06-04 13:49:00 · 252 阅读 · 0 评论 -
使用Python进行描述性统计
使用Python进行描述性统计 目录1 描述性统计是什么？2 使用NumPy和SciPy进行数值分析 2.1 基本概念 2.2 中心位置（均值、中位数、众数） 2.3 发散程度（极差，方差、标准差、变异系数） 2.4 偏差程度（z-分数） 2.5 相关程度（协方差，相关系数） 2.6 回顾3 使用Matplotlib进行图分析 3.1 基本...原创 2017-09-11 17:39:00 · 231 阅读 · 0 评论 -
python使用matplotlib绘制折线图教程
python使用matplotlib绘制折线图教程 Matplotlib是一个Python工具箱，用于科学计算的数据可视化。借助它，Python可以绘制如Matlab和Octave多种多样的数据图形。下面这篇文章主要介绍了python使用matplotlib如何绘制折线图的方法教程，需要的朋友可以参考借鉴。 matplotlib简介matplo...原创 2017-09-06 00:11:00 · 7825 阅读 · 0 评论 -
python增量爬虫pyspider
python增量爬虫pyspider 1.为了能够将爬取到的数据存入本地数据库，现在本地创建一个MySQL数据库example，然后 在数据库中建立一张表格test，示例如下：DROP TABLE IF EXISTS `test`;CREATE TABLE `douban_db` ( `id` int(11) NOT NULL AUTO_INCREM...原创 2017-07-21 13:31:00 · 331 阅读 · 0 评论 -
python 10分钟入门pandas
python 10分钟入门pandas 本文是对pandas官方网站上《10 Minutes to pandas》的一个简单的翻译，原文在这里。这篇文章是对pandas的一个简单的介绍，详细的介绍请参考：Cookbook 。习惯上，我们会按下面格式引入所需要的包：一、 创建对象可以通过 Data Structure Intro S...原创 2017-09-23 20:59:00 · 289 阅读 · 0 评论 -
Python变量访问权限控制
Python变量访问权限控制 oop1.py文件代码# user/bin/pythonclass Foo: def bar(self): print('ok') def hello(self, name): print("i am %s" % name)foo = Foo()foo.bar()...原创 2018-09-11 18:01:00 · 386 阅读 · 0 评论 -
python转化字符串形式的json
python转化字符串形式的json 在使用python对字符串形式的json进行 json.loads() 的操作时，遇到了:JSONDecodeError: Invalid \escape，提示\无法excape，可以通过以下方式将字符串中的"\" 替换成"\\",然后在字典中对键或者值再替换回来configfile 如下{ "user_d...原创 2018-07-19 10:00:00 · 192 阅读 · 0 评论 -
在Python应用中使用MongoDB
在Python应用中使用MongoDB 在这篇文章中，将向您展示如何使用Python链接目前主流的MongoDB(V3.4.0)数据库，主要使用PyMongo(v3.4.0)和MongoEngine(V0.10.7)。同时比较SQL和NoSQL。1、SQL vs NoSQL如果你不是很熟悉NoSQL这个概念，MongoDB就是一个NoSQL数据库。...原创 2018-01-22 22:51:00 · 148 阅读 · 0 评论 -
Python数据可视化-seaborn
Python数据可视化-seaborn Seaborn其实是在matplotlib的基础上进行了更高级的API封装，从而使得作图更加容易，在大多数情况下使用seaborn就能做出很具有吸引力的图。这里实例采用的数据集都是seaborn提供的几个经典数据集，dataset文件可见于Github。本博客只总结了一些，方便博主自己查询，详细介绍可以看seaborn...原创 2018-01-17 23:56:00 · 188 阅读 · 0 评论 -
转利用python实现电影推荐
转利用python实现电影推荐 “协同过滤”是推荐系统中的常用技术，按照分析维度的不同可实现“基于用户”和“基于产品”的推荐。以下是利用python实现电影推荐的具体方法，其中数据集源于《集体编程智慧》一书，后续的编程实现则完全是自己实现的（原书中的实现比较支离、难懂）。这里我采用的是“基于产品”的推荐方法，因为一般情况下，产品的种类往往较少，而用户的数...原创 2018-01-01 16:51:00 · 1160 阅读 · 0 评论 -
使用python语言操作MongoDB
使用python语言操作MongoDB MongoDB是一个跨平台的NoSQL，基于Key-Value形式保存数据。其储存格式非常类似于Python的字典，因此用Python操作MongoDB会非常的容易。pymongo的两种安装命令pip install pymongoeasy_install pymongoPython操作MongoDB...原创 2018-01-22 22:28:00 · 107 阅读 · 0 评论 -
Python正则表达式指南
Python正则表达式指南 本文介绍了Python对于正则表达式的支持，包括正则表达式基础以及Python正则表达式标准库的完整介绍及使用示例。本文的内容不包括如何编写高效的正则表达式、如何优化正则表达式，这些主题请查看其他教程。注意：本文基于Python2.4完成；如果看到不明白的词汇请记得百度谷歌或维基，whatever。尊重作者的劳动，转...原创 2017-10-31 09:09:00 · 91 阅读 · 0 评论 -
pickle模块的使用python3
pickle模块的使用python3 Python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象。python2使用的是cPickle模块，而在python3中cPickle已经被取消，...原创 2017-06-29 17:04:00 · 309 阅读 · 0 评论 -
Python 装饰器
Python 装饰器 装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象. 经常用于有切面需求的场景，比如：插入日志、性能测试、事务处理、缓存、权限校验等场景。装饰器是解决这类问题的绝佳设计，有了装饰器，我们就可以抽离出大量与函数功能本身无关的雷同代码并继续重用。 先...原创 2017-07-29 11:28:00 · 78 阅读 · 0 评论 -
python异步爬虫
python异步爬虫 本文主要包括以下内容 线程池实现并发爬虫回调方法实现异步爬虫协程技术的介绍一个基于协程的异步编程模型协程实现异步爬虫线程池、回调、协程我们希望通过并发执行来加快爬虫抓取页面的速度。一般的实现方式有三种：线程池方式：开一个线程池，每当爬虫发现一个新链接，就将链接放入任务队列中，线程池中的线程从任务...原创 2017-07-26 13:09:00 · 127 阅读 · 0 评论 -
Python调用（运行）外部程序
Python调用（运行）外部程序 在Python中可以方便地使用os模块运行其他的脚本或者程序，这样就可以在脚本中直接使用其他脚本，或者程序提供的功能，而不必再次编写实现该功能的代码。为了更好地控制运行的进程，可以使用win32process模块中的函数。如果想进一步控制进程，则可以使用ctype模块，直接调用kernel32.dll中的函数。1...原创 2017-06-30 11:44:00 · 614 阅读 · 0 评论 -
Python数据分析之pandas学习
Python数据分析之pandas学习 Python中的pandas模块进行数据分析接下来pandas介绍中将学习到如下8块内容：1、数据结构简介：DataFrame和Series2、数据索引index3、利用pandas查询数据4、利用pandas的DataFrames进行统计分析5、利用pandas实现SQL操作6、利用pandas进行缺失值的处理...原创 2017-04-21 16:44:00 · 354 阅读 · 0 评论 -
kaggle house price top 10%
kaggle 竞赛入门对于刚刚入门机器学习的的同学来说，kaggle竞赛通常是他们学习和跟其他的全世界范围内的参赛选手切磋的一个大的平台，这个平台上提供了一些入门的竞赛，可以供刚入门的同学一展拳脚本文针对房价预测的这个竞赛展开，从EDA，特征工程，到模型调参开始讲述一些竞赛中的小的trick，希望对大家有些帮助,本人基础一般，如果有贻笑大方的地方，可以随意拍砖from IPyth...翻译 2019-07-24 10:21:59 · 1210 阅读 · 0 评论 -
pandas 基础操作 更新
pandas 基础操作 更新创建一个Series,同时让pandas自动生成索引列 创建一个DataFrame数据框 查看数据 数据的简单统计 数据的排序 选择数据（类似于数据库中sql语句） 另外可以使用标签来选择 通过位置获取数据 布尔值索引 设定数值（类似于sql update 或者add） 缺失值处理 数据操作 统计个数与离散化 pandas 处...原创 2018-12-09 20:42:00 · 4839 阅读 · 1 评论 -
pandas数据预处理
pandas 数据预处理缺失数据处理csv_data='''A,B,C,D1.0,2.0,3.0,4.05.6,6.0,,8.00.0,11.0,12.0,,'''import pandas as pdfrom io import StringIOdf = pd.read_csv(StringIO(csv_data))print(df) A B C...原创 2018-06-25 15:02:11 · 245 阅读 · 0 评论