木易小猿q_3456069079-优快云博客

原创 python爬虫下载网抑云歌单音乐

最近开车总感觉车里的车载音乐非常的老土，现在都玩网抑云了，抽空看了一下它的页面，发现音乐好听，还可以下载，闲来无趣，写了个爬虫将榜单上所有的歌曲信息提取并分类下载了一下，效果还不错，比原来的车载音乐丰富多了！

2020-12-03 19:48:53 446

原创 Python面试题，python知识点汇总

Python面试题，python知识点汇总填空题1. Python中的编码格式你用过哪些？utf-8, gbk, gb2312, ascii, gb180302. 列举使用过的装饰器@classmethod、@staticmethod、@property3. 参数*args和**kwargs的区别 *args不定长参数，传入函数中是一个元组, **kwargs 不定长关键字参数，...

2018-10-26 20:43:42 2002 1

原创 Django 字段类型汇总

Django 字段类型字段类型含义数据库表示 AutoField int 自增列，必须填入参数 integer AUTO_INCREMENT BigAutoField bigint 自增列，必须填入参数 bigi...

2018-10-13 15:51:47 671

原创虚拟环境下Django创建、运行项目、在网页中显示简单的hello world！

Django创建项目及虚拟环境搭建1. 使用workon 搭建基于python3.6的django开发环境2. 进入虚拟环境，使用豆瓣源下载django框架，等待下载完成即可推荐下载1.11版本 pip install django==1.113. 进入desktop桌面，使用django-admin startproject 项目名构建django项目4. ...

2018-10-13 15:06:09 819

原创 mysql安装过程详述及在cmd命令行中的mysql命令

mysql安装1. 安装mysql遇到这个问题，按照提示去下载.NET Framework4.0并安装，然后重启地址：https://www.microsoft.com/zh-cn/download/details.aspx?id=177182. 选择开发默认版本，直接下一步3. 下一步，点是4. 点击execute，会进行下载，等待下载完成5....

2018-10-13 11:39:27 757

原创 Redis简介及其安装方法

Redis简介REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。通常被称为数据结构服务器，因为值（value）可以是字符串(String), 哈希(Map), 列表(list), 集合(sets) 和有序集合(sorted sets)等类型。Redis 与其他 key - value 缓存产品...

2018-10-13 11:16:18 259

原创 Python虚拟环境的安装和配置(windows)

1~9步仅供参考，快捷方法可见第9步之后操作，若是首次配置环境，一定要把第二步的配置环境变量完成1. 先在电脑上将python2.7和python3.6版本安装完成，并记清楚安装路径,统一安装在D盘2. 配置系统环境变量中的path路径，添加路径的版本即为默认使用版本3. 在命令行工具中输入pip install virtualenv 下载python虚拟环境 4....

2018-10-13 10:35:38 296

原创在Scrapy框架中创建爬虫项目运行爬虫和配置下载图片

本文讲解在 Scrapy下创建爬虫项目，以下是创建步骤，创建实例见底部附录创建项目步骤 1. 打开cmd命令行工具，输入scrapy startproject 项目名称(有虚拟环境先进入虚拟环境) 2. 使用pycharm打开项目，查看项目目录3. 创建爬虫，打开CMD，cd命令进入到爬虫项目文件夹，输入scrapy genspider 爬虫文件名爬虫基础域名4....

2018-10-12 22:40:45 318

原创详述Scrapyd部署爬虫项目

Scrapyd部署爬虫项目博客目的：本博客介绍了如何安装和配置Scrapyd，以部署和运行Scrapy spider。Scrapyd简介 : Scrapyd是一个部署和运行Scrapy spider的应用程序。它使您能够使用JSON API部署（上载）项目并控制其spider。部署步骤：1. 新建虚拟环境(方便管理...

2018-09-29 22:37:00 397 1

原创基于Scrapy_redis部署scrapy分布式爬虫

基于Scrapy_redis部署scrapy分布式爬虫1.使用命令行工具下载工具包 scrapy_redis（若是虚拟环境可下载在虚拟环境中）2.准备一个写好的没有错误的爬虫项目（这里以51job为例）3.使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器4.修改spider爬虫文件 5.如果连接的有远程服务,例如...

2018-09-26 22:00:47 289

原创深度理解HTTP请求报文和HTTP响应报文

HTTP请求报文和HTTP响应报文 HTTP协议简介超文本传输协议（英文：Hyper Text Transfer Protocol，缩写：HTTP）是互联网上应用最为广泛的一种网络协议。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。通过HTTP协议请求的资源由统一资源标识符（Uniform Resource Identifiers，URI）来标识。HTTP报文是面向...

2018-08-16 20:54:56 12499

原创创建python工具存储类文件(处理解析数据时出现的特殊字符,创建动态存储功能函数,方便引用)----实例: bs4爬取伯乐在线

创建工具存储类tools文件: 内含处理解析数据时出现的特殊字符的方法, sql储存数据的动态方法, excel表格存储数据的动态方法功能文件创建好之后, 可以在不同的爬虫项目中进行引用,可以在以后码爬虫项目时省去大量的时间精力# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/8/16 9:40'import re...

2018-08-16 20:39:22 323

原创 bs4主要知识点介绍及实例解析---利用bs4爬取伯乐在线(分别存储在数据库和xls表中)

bs4主要知识点介绍及实例讲解bs4 是第三方解析html数据的包from bs4 import BeautifulSouplxml 解析读取html的第三方解释器,解析速度快,底层通过c实现# 1.网页源代码 2.解析器名称bs = BeautifulSoup(html, 'lxm...

2018-08-15 20:46:45 890

原创爬取奇书网书籍信息并存入自动生成的xls表中(完善版)

# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/8/10 9:08'import refrom random import choicefrom urllib import requestimport xlwt"""爬取奇书网书籍信息终极版"""class NovelSpider(object): ...

2018-08-10 21:25:13 540

原创爬取奇书网书籍信息并存储在自动生成的slsx表中(正则初级)

# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/8/9 9:34'import refrom urllib import requestimport xlwt"""爬取奇书网书籍信息初极版"""class QishuSpider(object): def __init__(self, t_id):...

2018-08-10 21:19:41 611

原创关键词一键查询51job工作岗位招聘详情(python正则表达式)

# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/8/9 10:17'import refrom urllib import request, parseclass JobSpider(object): def __init__(self): self.url = '' s...

2018-08-10 20:50:14 935

原创正则爬取天堂图片网并存储在自动生成文件夹中

# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/8/7 20:17'import osimport refrom urllib import requestclass WeddingImageSpider(object): def __init__(self, t_id): #...

2018-08-10 20:43:27 729

原创用python正则表达式爬取糗事百科并储存在sql中

程序主代码(详情标注)# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/8/7 11:20'from urllib import requestimport reimport sqlite3from tools import StrTools"""QsbkSpiderurl 地址html 网页源代码...

2018-08-10 20:31:11 409

原创 HTTP请求GET和POST的区别

HTTP请求GET和POST的区别1.请求参数位置：GET提交，请求的数据会附在URL之后（就是把数据放置在HTTP协议头＜request-line＞中），以?分割URL和传输数据，多个参数用&连接;例如：login.action?name=hyddd&password=idontknow&ver...

2018-08-10 19:51:30 337

网络通信：通过网络将各个孤立的设备进行连接，通过信息交换实现人与人，人与计算机，计算机与计算机之间的通信。 (网络是用物理链路将各个孤立的工作站或主机相连在一起，组成数据链路，从而达到资源共享和通信的目的。通信是人与人之间通过某种媒体进行的信息交流与传递。网络通信是通过网络将各个孤立的设备进行连接，通过信息交换实现人与人，人与计算机，计算机与计算机之间的通信。)https://www.char...

2018-08-10 19:40:27 593

原创 python正则表达式知识汇总

正则表达式常用的一些字符串匹配规则1. \d:用于匹配一个数字2. \w:用于匹配一个数字或者字母3. .:用于匹配前面字符后面跟着任意一个字符。如：a.:ab,ac,al,af,ag4. *:用于匹配前面一个字符0个或者多个 a*:匹配0次，或者aa,aaa,aaaa,aaaa...

2018-08-07 11:16:04 334

原创用HTML制作简单的个人介绍主页

详情请看代码及其注释,下有效果图!<!DOCTYPE html><html lang="en"><head>  <meta charset="UTF-8">  &l

2018-08-06 18:10:23 49587 22

原创用html编写简单的天气预报界面

css3层叠样式表在此不再详述, 请看代码备注及运行效果图!<!DOCTYPE html><html lang="en"><head>  <meta charset="UTF-8"> <!--viewport 视口--&amp

2018-08-06 18:00:24 12075

原创 html常用标签,HTML入门

HTML : Hyper Text Markup Language 超文本标记语言超级文本标记语言文档制作不是很复杂，但功能强大，支持不同数据格式的文件镶入其主要特点如下：简易性：超级文本标记语言版本升级采用超集方式，从而更加灵活方便。可扩展性：超级文本标记语言的广泛应用带来了加强功能，增加标识符等要求，超级文本标记语言采取子类元素的方式，为系统扩展带来保证。平...

2018-08-04 15:47:17 548

原创利用sql语句实现学员管理系统的增删改查(面向对象方法)

# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/7/26 9:12'import sqlite3class Student(object): """学员信息数据模型类""" def __init__(self, s_id, name, phone): self.s_id = s_id...

2018-07-26 19:48:33 453

原创 sql 基础

1. 建立数据库连接#cunnect() 若数据库文件存在则打开,若不存在则创建import aqlite3connect = sqlite3.connect('database.db)####### 创建表的sql语句 ######### CREATE TABLE 表名(字段1 字段类型约束条件, 字段2 ......) # INTEGER 无符号整型 # CHAR ...

2018-07-26 19:22:09 228

原创 python文件的读取写入

# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/7/23 20:12'# 1.打开文件# 参数1.要打开的文件参数2.打开文件的方式# 打开文件方式： 1.w(write) 只写入 2.r(read) 只读 3.w+和r+ 可读可写 4.a(append) 追加 5.wb+(write bytes) 读写...

2018-07-24 21:32:14 277

原创 python中字符串的基础知识

# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/7/23 20:10'string = ' 今天是2018年7月12号，星期四，'# strip() 默认去除两端空格，可以指定要去除的字符string = string.strip('，')print(string)# replace() 替换字符串函数...

2018-07-24 21:31:25 242

原创 python中元组,集合的基础知识

# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/7/23 20:10'# -------------------元组 tuple# 元组是一个不可变列表# 1.声明元组tuple1 = (1, 2, 3, 4)# 根据索引取数据s = tuple1[0]print(s)# 元组中的数据不可以进行修改、删除、...

2018-07-24 21:28:37 242

原创 python中字典的基础知识

# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/7/23 20:10'# 字典容器类，可以用来存放数据，是以key：value的形式进行存储的，并且key在字典中具有唯一性，字典中存储的数据是无序的，字典中的增删改查操作都可以通过key完成# key必须是不可变类型的，字符串、数字、元组都是不可变的，推荐使用字符串...

2018-07-24 21:26:40 292

原创 Python中列表的基础知识

# -*- coding: utf-8 -*-__author__ = '木之易'__date__ = '2018/7/23 20:09'## 列表## 一. list 列表，容器类，可以用来存储数据元素# 二. 列表中存储的数据都是有顺序的，第一个元素的索引(下标)为0，第二个元素为1，依此类推# 1.---添加数据---1.1 追加数据 appen...

2018-07-24 21:15:15 265

A_fool_Program_ape的博客