huwei_1993的博客

原创 安装python3.8

0、sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev1、wgethttps://www.python.org/ftp/python/3.8.0/2、cd Python-3.8.0b4/....

原创 python安装mysqlclient包报错

解决方案apt-get install libmysqlclient-dev （ubuntu）yuminstall mysql-devel (centos)

转载 ubuntu在虚拟机找不到网卡无法上网

今天在vmware上安装ubuntu看看，早上可以下午就发现ubuntu上不了网，沿着eth0的思路去寻找解决，最后发现新版的系统已经没有eth0了，取而代之的是ens33。可是依旧无法启动和找到网卡，无意间发现右上角显示网络已禁用，靠原来是有选项的，经过查找也可以通过命令来恢复的，如下执行即可：1、sudo service network-manager stop2、sudo rm /var...

翻译 kali安装docker

apt-key adv --keyserver hkp://p80.pool.sks-keyservers.net:80 --recv-keys 58118E89F3A912897C070ADBF76221572C52609Decho 'deb https://apt.dockerproject.org/repo debian-stretch main' > /etc/apt/sourc...

转载 jmeter设置字体大小

jmeter5.0原配置字体很小，需要更改其配置在apache-jmeter-5.0/bin/下的jmeter.properties文件中添加jmeter.hidpi.mode=truejmeter.hidpi.scale.factor=2.0jmeter.toolbar.icons.size=32x32jmeter.tree.icons.size=24x24...

原创 docker简单操作

-docker简单命令：1.docker ps 显示当前正在运行的容器2.docker ps -a 显示所有状态的容器3.docker ps -n 3 显示最后被创建的n个容器（注意：不限状态）4.docker ps -q 只显示容器ID5.docker ps -s 显示容器文件大小 6.docker –version 查看当前docker版本7.docker ru...

原创 python之虚拟环境

原创 Python 中操作 MySQL 之 pymysql

  引入模块在py文件中引入pymysql模块from pymysql import *Connection 对象 用于建立与数据库的连接 创建对象：调用connect()方法 conn=connect(参数列表)参数host：连接的mysql主机，如果本机是'localhost' 参数port：连接的mysql主机的端口，默认是3306 ...

原创 mysql数据库的设计,索引的创建

数据库设计关系型数据库建议在E-R模型的基础上，我们需要根据产品经理的设计策划，抽取出来模型与关系，制定出表结构，这是项目开始的第一步 在开发中有很多设计数据库的软件，常用的如power designer，db desinger等，这些软件可以直观的看到实体及实体间的关系 设计数据库，可能是由专门的数据库设计人员完成，也可能是由开发组成员完成，一般是项目经理带领组员来完成 现阶段不需要...

原创 mysql命令行高级指令

       分组                   分页     连接查询     自关联     子查询          SQL演练     创建数据表-- 创建 "京东" 数据库create database jing_dong charset=utf8;...

原创 mysql命令行基本指令

                                              数据表       

原创 MYSQL安装及数据类型，约束；创建账户及授权

mysql安装服务器端    服务器用于接收客户端的请求、执行sql语句、管理数据库    在终端中输入如下命令，回车后，然后按照提示输入      sudo apt-get install mysql-server启动服务        sudo service mysql start查看进程中是否存在mysql服务      ps ajx|grep mysql停止服务 ...

原创 django mysql操作--增、删、改、 查

1 增加增加数据有两种方法。1）save通过创建模型类对象，执行对象的save()方法保存到数据库中。2）create通过模型类.objects.create()保存。2 删除删除有两种方法1）模型类对象delete2）模型类.objects.filter().delete()3 修改修改更新有两种方法1）save修改模型类对象的属性，然后执行s...

原创 django 模板使用

1.配置在工程中创建模板目录templates。在settings.py配置文件中修改TEMPLATES配置项的DIRS值：TEMPLATES = [ { 'BACKEND': 'django.template.backends.django.DjangoTemplates', 'DIRS': [os.path.join(BASE_DIR, '...

原创 REST API 接口，视图需要做的核心

将数据库数据序列化为前端所需要的格式，并返回； 将前端发送的数据反序列化为模型类对象，并保存到数据库中。

原创 django mysql 查询集

当调用如下过滤器方法时，Django会返回查询集（而不是简单的列表）：all()：返回所有数据。 filter()：返回满足条件的数据。 exclude()：返回满足条件之外的数据。 order_by()：对结果进行排序。判断某一个查询集中是否有数据：exists()：判断查询集中是否有数据，如果有则返回True，没有则返回False。两大特性1）惰性执行创建查询集不会访...

原创 django 管理器Manager

管理器是Django的模型进行数据库操作的接口，Django应用的每个模型类都拥有至少一个管理器。我们在通过模型类的objects属性提供的方法操作数据库时，即是在使用一个管理器对象objects。当没有为模型类定义管理器时，Django会为每一个模型类生成一个名为objects的管理器，它是models.Manager类的对象。自定义管理器我们可以自定义管理器，并应用到我们的模型类上...

原创 DRF Serializer对象

定义好Serializer 类后，就可以创建Serializer对象了Serializer的构造方法为：Serializer(instance=None, data=empty, **kwarg) 说明：1）用于序列化时，将模型类对象传入instance参数2）用于反序列时，将要被反序列的数据传入data参数3）除了instance和data参数外，在构造Serializ...

原创 数据提取之json

类文件对象的理解：具有read()或者write()方法的对象就是类文件对象，比如f = open(“a.txt”,”r”) f就是类文件对象#json.dumps 实现python类型转化为json字符串#indent实现换行和空格#ensure_ascii=False实现让中文写入的时候保持为中文json_str = json.dumps(mydict,indent=2,e...

原创 requests模块获取cookie

requests.utils.dict_from_cookiejar:把cookiejar对象转化为字典import requestsurl = "http://www.baidu.com"response = requests.get(url)print(type(response.cookies))cookies = requests.utils.dict_from_cook...

原创 requests模块处理cookie相关的请求

requests处理cookie的三种方式requests处理cookie相关的请求之session requests 提供了一个叫做session类，来实现客户端和服务端的会话保持 使用方法 session = requests.session() response = session.get(url,headers)requests处理cookie相关的请求之co...

原创 rest_framework 应用

创建应用工程，在settings.py的INSTALLED_APPS中添加'rest_framework'。INSTALLED_APPS = [ ... 'rest_framework',] 新建serializers.py用于保存该应用的序列化器。例：class BookInfoSerializer(serializers.ModelSerializer):...

原创 django 类视图使用装饰器

为类视图添加装饰器,可以使用两种方法1.在URL配置中装饰(my_decoratte是自定义的装饰器)urlpatterns = [ url(r'^demo/$', my_decorate(DemoView.as_view()))] 2.在类视图中装饰在类视图中使用装饰器时,不能直接添加装饰器,需要使用method_decorator将其转换为适用于类视图方法的装饰器...

原创 django 中间件

def simple_middleware(get_response): # 此处编写的代码仅在Django第一次配置和初始化的时候执行一次。 def middleware(request): # 此处编写的代码会在每个请求处理视图前被调用。 response = get_response(request) # 此处编写的代码...

原创 django序列化使用

1 基本使用1） 先查询出一个图书对象from booktest.models import BookInfobook = BookInfo.objects.get(id=2) 2） 构造序列化器对象from booktest.serializers import BookInfoSerializerserializer = BookInfoSerializer(boo...

原创 django反序列化使用

1.验证使用序列化器进行反序列化时，需要对数据进行验证后，才能获取验证成功的数据或保存成模型类对象。在获取反序列化的数据前，必须调用is_valid()方法进行验证，验证成功返回True，否则返回False。验证失败，可以通过序列化器对象的errors属性获取错误信息，返回字典，包含了字段和字段的错误。验证成功，可以通过序列化器对象的validated_data属性获取数据。i...

原创 django模型类序列化器 ModelSerializer

1. 定义比如我们创建一个BookInfoSerializerclass BookInfoSerializer(serializers.ModelSerializer): """图书数据序列化器""" class Meta: model = BookInfo fields = '__all__' model 指明参照哪个模型类 f...

原创 requests模块的入门使用

response = requests.get(url) response的常用属性：response.text respones.content response.status_code response.request.headers response.headers response.text 和response.content的区别response.text： ...

原创 代理

为什么要使用代理 让服务器以为不是同一个客户端在请求 防止我们的真实地址被泄露，防止被追究 理解正向代理和反向代理的区别 正向代理：对于浏览器知道服务器的真实地址，例如VPN反向代理：浏览器不知道服务器的真实地址，例如nginx用法： requests.get("http://www.baidu.com", proxies = proxies)proxies的形...

原创 requests处理证书错误

为了在代码中能够正常的请求，我们修改添加一个参数import requestsurl = "https://www.12306.cn/mormhweb/"response = requests.get(url,verify=False)

原创 python 虚拟环境命令和 pip的命令

# 虚拟环境 mkvirtualenv  环境名   -p  python3   # 创建Python3的虚拟环境rmvirtualenv   # 删除虚拟环境workon  # 进入虚拟环境,查看所有虚拟环境deactivate  # 退出虚拟环境# pippip install  # 安装依赖包pip  uninstall  # 卸载依赖包pip  list  ...

原创 新建隐身窗口的作用

在打开隐身窗口的时候，第一次请求某个网站是没有携带cookie的，和代码请求一个网站一样，不携带cookie。这样就能够尽可能的理解代码请求某个网站的结果；除非数据是通过js加载出来的，不然爬虫请求到的数据和浏览器请求的数据大部分时候都是相同的...

原创 requests超时参数的使用与retrying模块的使用

1、在平时网上冲浪的过程中，我们经常会遇到网络波动，这个时候，一个请求等了很久可能任然没有结果对应的，在爬虫中，一个请求很久没有结果，就会让整个项目的效率变得非常低，这个时候我们就需要对请求进行强制要求，让他必须在特定的时间内返回结果，否则就报错使用方法如下：response = requests.get(url,timeout=3)通过添加timeout参数，能够保证在3秒钟内返...

原创 lxml模块的使用

安装：pip install lxml 导入lxml 的 etree 库 (导入没有提示不代表不能用) `from lxml import etree` 利用etree.HTML，将字符串转化为Element对象,Element对象具有xpath的方法,返回结果的列表，能够接受bytes类型的数据和str类型的数据 html = etree.HTML(text) ...

原创 常见的反爬手段和解决思路

1.通过headers中的User-Agent字段来反爬随机生成User-Agent：import randomdef get_ua(): first_num = random.randint(55, 62) third_num = random.randint(0, 3200) fourth_num = random.randint(0, 140) ...

原创 Django框架session存储的设置

如果存储在数据库中,需要在INSTALLED_APPS中安装Session应用:django.contrib.sessions在redis中保存session,需要引入第三方扩展,使用django-redis在settings中做如下设置CACHES = { "default": { "BACKEND": "django_redis.cache.Redis...

原创 selenium的使用

加载网页： selenium通过控制浏览器，所以对应的获取的数据都是elements中的内容 from selenium import webdriver driver = webdriver.PhantomJS(“c:…/pantomjs.exe”) driver.get("http://www.baidu.com/") driver.save_screenshot("长城...

原创 Django 使用mysql数据库

1.使用mysql数据库首先需要安装驱动程序pip  install  PyMySQL2.django 不能直接操控pymysql,只能操控mysqldb,因此需要做一定的转换在Django的工程同名子目录的__init__.py文件中添加如下语句from pymysql import install_as_MySQLdbinstall_as_MySQLdb()3.修改D...