python
关注
分享
扫一扫
Lin_junhan
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Python学习（一） 变量、条件、基本数据结构和循环
Python开发是开发基于操作系统上的应用软件。低级语言和高级语言的对比 ： 低级语言 ： C语言 、汇编语言 比较接近计算机底层，执行效率高但开发效率比较低 高级语言 ： Python 、 Java 、C++ 、Go 、ruby、C# 等等 是通过不断封装，由C语言作为底层开发的语言，开发的效率较高，但是执行效率不如C语言 机器语言 ： 机器语言是机器计...原创 2018-07-29 15:58:35 · 293 阅读 · 0 评论 -
爬虫（四） 正则表达式及其应用（用于数据解析）
正则表达式是用来匹配一类具有相同规则的字符串。规则：单字符：. ：除换行以外的所有字符。[]：[aoe] [a-w] 匹配集合中的任意一个字符\d：数字 [0-9]\D：非数字\w：数字、字母、下划线、中文\W：非\w\s：所有的空白字符\S：非空白 数量修饰：* ：任意多次。>=0+：至少一次。>=1?：可有可无 ...原创 2019-02-25 20:39:43 · 456 阅读 · 0 评论 -
requests出现的问题
import requestsheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) ' 'AppleWebKit/537.36 (KHTML, like Gecko)' ' Chrome/63.0.3239.132 Safari/537.36...原创 2019-04-05 22:22:53 · 3432 阅读 · 0 评论 -
神经网络：线性回归和softmax函数回归（结合mxnet框架）
线性回归输出的是一个连续值，因此适用于回归问题；而softmax回归则适用于分类问题。线性回归的基本要素：模型：, 其中x1, x2是影响输出结果的各个样本的特征值， w1, w2是对应特征的权重，b是偏差值。模型训练：训练的过程，通过训练样本的数据寻找接近正确的各参数，使模型在测试数据集上的误差尽可能小。训练数据：在机器属于中，用来训练模型的数据集称为训练数据集或训练集，数...原创 2019-08-17 23:26:56 · 1213 阅读 · 0 评论 -
爬虫关于xpath在代码中返回为空的问题
在爬取的过程中可能会遇到在浏览器中的xpath插件中输入抽取规则后能相应的提取想要的内容，但是将这个xpath提取规则放入代码中却无法提取到内容的情况，这是可以留意下以下是否在xpath的提取规则中包含tbody标签。要注意一下，这里的主要问题是tbody标签的问题，网页返回本身是没有这个标签（还是得仔细看），是浏览器规范html元素中加上的，所以xpath路径中使用tbody标签就返...原创 2019-08-27 23:16:54 · 4013 阅读 · 4 评论 -
Python 函数参数
位置参数：函数根据参数的位置注意放入函数中使用。默认参数：在参数前面中已经被赋值的变量，下面这个函数的参数n就是默认参数。def power(x, n=2): s = 1 while n > 0: n = n - 1 s = s * x return s注意：定义默认参数要牢记一点：默认参数必须指向不变对象（比如...原创 2019-09-19 20:54:19 · 298 阅读 · 0 评论 -
Python 高级辟用法
切片：取前10个数，每俩个取一个。>>> L[:10:2][0, 2, 4, 6, 8]所有数每五个取一个。>>> L[::5][0, 5, 10, 15, 20, 25, 30, 35, 40, 45, 50, 55, 60, 65, 70, 75, 80, 85, 90, 95]甚至什么都不写，只写[:]就可以原样复制一个list...原创 2019-09-21 00:39:06 · 319 阅读 · 0 评论 -
Python 函数式编程（一）
函数式编程的一个特点就是，允许把函数本身作为参数传入另一个函数，还允许返回一个函数！Python对函数式编程提供部分支持。由于Python允许使用变量，因此，Python不是纯函数式编程语言。map/reduce:我们先看map。map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。def...原创 2019-09-21 16:38:02 · 372 阅读 · 0 评论 -
Python 访问限制和访问对象信息
在Class内部，可以有属性和方法，而外部代码可以通过直接调用实例变量的方法来操作数据，这样，就隐藏了内部的复杂逻辑。但是，从前面Student类的定义来看，外部代码还是可以自由地修改一个实例的name、score属性：>>> bart = Student('Bart Simpson', 59)>>> bart.score59>>&g...原创 2019-09-21 20:19:00 · 238 阅读 · 0 评论 -
django 1 （django的安装，创建django项目，创建App）
安装dijango这里使用pip安装： pip install django安装成功后：进入python控制台：查看django版本：>>> import django>>> django.__version__'2.2.5'创建django项目：(venv) C:\Users\86155\Desktop\code>djan...原创 2019-09-27 21:28:12 · 457 阅读 · 0 评论 -
Django 的配置信息
配置信息：项目配置是根据实际开发需求从而对整个 Web 框架编写相关配置信息。配置信 息主要由项目的 settings.py 实现，主要配置有项目路径、密钥配置、域名访问权限、 App 列表、配置静态资源、配置模板文件、数据库配置、中间件和缓存配置。基本配置信息：一个简单的项目必须具备的基本配置信息有: 项目路径、密钥配置、域名访问权 限、 App 列表和中间件。项目路径 BAS...原创 2019-09-28 15:09:56 · 256 阅读 · 0 评论 -
Django 3 URL编写
URL (Uniform Resource Locator，统一资源定位符）是对可以从互联网上得到的 资源位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的 URL， 用于指出文件的路径位置。简单地说，URL 就是常说的网址，每个地址代表不同的网页， 在 Django 中， URL 也称为 URLconfo。URL 编写规则在每个 App 中设置独立...原创 2019-09-29 00:40:38 · 1875 阅读 · 0 评论 -
Django 4 视图
视图 (View) 是 Django 的 MTV 架构模式的 V 部分， 主要负责 处理用户请求和生成相应的响应内容， 然后在页面或其他类型文档中显示。 也可以理解为视图是 MVC 架构里面的 C 部分 〈控制器) ， 主要处理功能和业务上的逻辑。使用模板实现下载功能：在 index 的 urls.py 和 views-py 中分别添加以下代码:# 在urls.py中path(...原创 2019-10-04 17:50:46 · 370 阅读 · 0 评论 -
Django 6 模型与数据库 (1)
Django 对各种数据库提供了很好的支持， 包括: PostgreSQL、 MySQL、 SQLite 和 Oracle， 而且为这些数据库提供了统一的调用 API，这些 API 统称为 ORM 框架。 通过使用 Django 内置的 ORM 框架可以实现数据库连接和读写操作。构建模型：ORM 框架是一种程序技术，用于实现面向对象编程语言中不同类型系统的数据之间的转换。从效果上说，其...原创 2019-10-09 22:02:54 · 280 阅读 · 0 评论 -
爬虫（三） 复杂get请求，Handel处理器的使用
1.较为复杂的get请求：有时候当我们需要爬取不止一页网页的数据时，可能需要在每一页请求数据时在终端输入需要的信息，以此来实现爬虫过程中不同url的需求。下面是一个爬取贴吧的代码示例，能够爬取用户指定吧名和指定页数范围的内容。import urllib.requestimport urllib.parseimport os# 全部url共同的部分url = 'http://...原创 2019-02-25 19:12:07 · 422 阅读 · 0 评论 -
爬虫（一） 爬虫概念、urllib库和各项准备
什么是爬虫？通俗都说就是在互联网上把数据爬取下来，再通过解析提取想要的内容 有哪些语言可以做爬虫？（1）php，可以做，但是多进程，多线程支持的不好（2）java，也可以做爬虫，但是代码冗余量大，重构成本大（3）c、c++ 需要高能力，并非是好的选择（4）python 语法简单，代码优美，学习成本低，支持的模块多，非常强大的框架scrapy。通用爬虫：百度、360、搜狐、谷歌、必应...原创 2019-02-24 22:26:46 · 230 阅读 · 0 评论 -
爬虫（二） parse、各类请求和伪装UA
前提：url的组成：url只能由特定的字符组成，字母，数字和下划线，如果出现其他的，比如 $ 空格 中文则要对其进行编码。代码示例如下：import urllib.parseimport urllib.requesturl = 'https://i.meizitu.net/2013/06/2013061932375wdkimqcyej.jpg'# ret_url = u...原创 2019-02-24 23:25:16 · 572 阅读 · 0 评论 -
Python学习（二） 运算符、整形和字符串类的常用方法（包含Python编码问题）
编码问题 ： 编码 ： 将人类能识别的字符转化为计算机能识别的字符就是编码，编码的方式很多 ASCII ： ASCII编码是最早的编码表，采用一个字节进行存取，只能包含127个字符 Unicode ： 由于ASCII的编码远远不能满足人们对于编码的需求，所以创造了Unicode（万国码），Unicode采用至少2个字节进行存取。 ...原创 2018-07-29 23:00:56 · 377 阅读 · 0 评论 -
Python学习（三） 列表和元组
序列是Python中最基本的一种数据结构，序列上的每一个元素都会指定一个数字（或称之为索引），以0开头类推。 在Python的6个序列中，列表和元祖是最常见的。 序列都可以进行的操作包括 ： 索引，切片 ， 加 ， 乘 ， 检查成员。 除此之外，序列都可以进行确定序列长度，确定最大元素和最小元素的方法。 Python中的元素都是任意的（数字，字符串，子列表，子元祖，字典, 布尔值 等）都可...原创 2018-08-08 22:26:33 · 306 阅读 · 0 评论 -
Python学习（四） 字典和集合
首先对变量的类型来进行分类 ：变量可不可变 ：判断标准 ：修改变量的内容后，如果变量的ID号发生变化，那么变量为不可变类型，否则的变量为可变类型 可变 ： 列表 ， 字典 不可变 ： 字符串 ，数字 ， 元组变量的访问顺序 ：顺序访问 ：字符串 列表 元组 映射 : 字典特别注意 :字典的查找速度比列表，元组快，但是占用内存高 容器 ： 列表，元组 ，字典 原子 ： ...原创 2018-08-08 23:46:33 · 256 阅读 · 0 评论 -
Python学习（五）时间日历的处理
时间日历的常用操作：time模块（提供时间处理和各种时间格式之间的转换）获取当前的时间戳。 获取时间元组 获取格式化时间（可通过时间戳或者时间元组来进行转化） 格式化日期字符串 获取当前的CPU时间 休眠操作calendar模块datetime模块 Python处理时间和时间的标准库具体操作实例（time模块）： 获取时间戳（获取的时间戳数据是从1970后开始...原创 2018-08-27 01:42:38 · 545 阅读 · 0 评论 -
Python（七） 文件流
什么是文件：文件本质上是一个数据存放的容器，能够持久性的存储数据内容，文件一般由文件名，扩展名，文件内容组成。文件名在同级目录下不允许相同。文件的分类：文本文件: txt doc xls ........二进制文件：图片 视频 音乐文件的使用流程：1. 读2. 写3. 关闭模式 “r” ：以只读的方式打开，这是默认模式。文件的指针将会在文件的开头。注...原创 2018-08-31 14:50:40 · 562 阅读 · 0 评论 -
Python （六） 函数
什么时函数？通俗的讲，函数就是写一段代码实现了某个小功能，然后把这些代码集中到一块，起一个名字，下次可以根据这个名字再次使用。函数有什么作用？方便代码的重用。 分解任务，简化程序逻辑。 是代码更加模块化。函数有哪几类？内建函数（Python自带函数） 第三方函数（第三方公司或者第三方个人开发出来的函数） 自定义函数参数传输的方式：多个参数使用位置实参：直接用形参...原创 2018-08-28 23:58:31 · 335 阅读 · 0 评论 -
如何在sublime text3 中运行Python文件
sublime text 是一款轻量级的编辑器，非常适合搭载在配置性能较低的电脑上运行。如何在sublime text3中运行python，网上有大量的教程，这里主要要强调一下一个编码问题。下面是转自网上的在sublime中运行python的方法：首先你需要安装一个Sublime Text和一个Python，接下来打开Sublime Text:1、如下图所示，点击菜单栏中的Tools...原创 2019-01-28 22:42:20 · 8209 阅读 · 0 评论 -
爬虫（五） bs4解析及其应用
bs4使用前提：bs4指的是BeautifulSoup，我们将使用pip来下载bs4相关的第三方库，由于默认的pip源是国外源，这会导致下载出现诸多不稳定现象，因此在使用pip进行下载时，我们要先把pip源设置为国内源，例如阿里源，豆瓣源，网易源等等下面是在windows和linux下更改pip源的方法：windows: （1）打开文件资源管理器（2）在地址栏上面输入 %app...原创 2019-02-27 20:12:03 · 775 阅读 · 0 评论 -
爬虫（六）xpath解析及其应用
什么是xpath：在了解xpath前我要先了解xmlXML 被设计用来传输和存储数据。区别于html。xml是用来存储和传输数据的 和html的不同点：（1） html用来显示数据，xml是用来传输数据的（2） html标签是固定的，xml标签是自定义的而XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。常用的...原创 2019-02-27 20:58:21 · 422 阅读 · 0 评论 -
爬虫（七） jsonpath解析
jsonpath: 用来解析json数据使用的Python处理json格式用到的函数：import jsonjson.dumps()：将字典列表转化为json格式的字符串json.loads()：将json格式字符串转化为python对象json.dump()：将字典或者列表转化为json格式字符串并且写入文件中。json.load()：从文件中读取json格式字符串，转...原创 2019-02-27 21:07:49 · 430 阅读 · 0 评论 -
爬虫（八）Chinaz的图片爬取
在引入这个爬取代码之前先说明俩个新的知识点：1.懒加载：用户在前端浏览网页图片的时候很多时候不是一打开网站就全部显示的，而是当图片进入用户的可视范围时才会显示出来，这是因为在前端网页中采用了懒加载技术，通俗的讲就是img标签的src属性被修改成了src2属性，当JS触发时才将src2改成src，图片显示出来。2.提取基址：可以利用os库中的os.path.basename("地址"...原创 2019-02-27 21:25:05 · 678 阅读 · 0 评论 -
爬虫（九）selenium自动化应用、selenium+phantomjs的使用和headlesschrome
selenium：selenium是python的一个第三方库，对外提供的接口可以操作用户的浏览器。selenium的使用：安装selenium库：pip install selenium安装驱动：操作谷歌浏览器，首先必须有一个谷歌浏览器的驱动。驱动安装网址：http://chromedriver.storage.googleapis.com/index.html驱动与...原创 2019-02-27 21:47:40 · 372 阅读 · 0 评论 -
爬虫（十） requests库
requests库和urllib库一样可以用来获取网页内容，但requests使用起来比起urllib库要方便许多，requests不需要想urllib那样先获取请求，再通过请求获取响应，只需要直接通过requests使用get/post等直接获取响应，并且requests库可以通过创建会话轻松实现cookie、代理等高级功能。安装requestspip install requests...原创 2019-02-27 22:11:29 · 444 阅读 · 0 评论 -
Django 6 模型与数据库 (2) 各种查询操作以及多表查询
Django通过模型迁移除数据库的数据表，又提供了操作数据模型的API来实现对目标数据库的读写操作。数据库的读写操作主要对数据进行增、删、 改、查。Django带有shell模式（启动命令行和执行脚本），该模式主要为方便开发人员开发和调试程序。在manage.py所在目录下执行以下命令即可进入shell模式： python manage.py shell 导入相应的应用模型文件，...原创 2019-10-10 01:29:24 · 363 阅读 · 0 评论