骑龙钓鸭子QAQ-优快云博客

docker简介目的:可以简单理解为开发人员干了运维的活，开发人员在自己的机器上可以跑，发给运维后，运维却跑不起来。原因:运维在自己的机器上没有相应的环境和配置。解决:开发人员将项目的源码以及相对应的环境和配置一起打包给运维。以上这个流程大概就是docker所做的事情。在简单一点理解，比如，去鱼店买了一条金鱼，带回家后自己养就死了。那直接把鱼店的水，水草，装饰等一起带回家，就可以养活。docker简单理解为：一个微量的Linux系统。大概170M左右把，VM虚拟机都4G差不多。dock

2020-06-03 13:05:50 475 1

原创 centos + uwsgi+nginx部署django项目

一：购买云服务器并连接1.购买阿里云服务器（centos）后，给的一个公共IP2.XShell连接此IP—>用户名root—>public key此时不使用public key，而使用密码的方式，应该做如下操作:1. 回到阿里云界面，点击更多，找到密码/密钥，点击修改远程连接密码2. 点击重置密码，重置后，重启阿里云服务，强制重启 3.回到XShell，输入密码，连接阿里云服务Welcome to Alibaba Cloud Elastic Compute Service！显示

2020-06-03 01:06:40 315

原创 pycharm html快捷键

**pycharm html快捷键**ctrl+f 查找ctrl+r 查找替换ctrl+shift+f 全局查找

2020-06-02 09:52:37 1091 3

原创 python基础实现图书馆管理系统

图书馆管理系统python-列表-元组-字符串等基础语法实现功能：图书管理系统 LIBRARY_SYSTEM1.登陆 —>1.登陆方式(1.账号(三次错误冻结) 2.ID(三次错误(1.使用身份证号找回账号ID 2.系统收回账号ID)))3.注销账号2.注册 —>验证码(2次) 密码安全性检查 (身份证随机账号ID)1.添加书籍 2.删除(1.书名 2.作者 3.价格) 3.修改 4.查找(1.书名 2.作者 3.价格)5.查看 6.借阅 7.归还 8.主界面 0.退出

2020-05-25 12:34:51 4545

原创 FileZilla连接centos7流程

**FileZilla连接centos7流程**检查SSH是否安装[root@docker-django ~]# rpm -qa | grep ssh上图显示则已安装配置SSH服务[root@docker-django~]# vim /etc/ssh/sshd_config保存退出 :wq3. 使配置生效[root@docker-django~]# service sshd restart重新使用FZ连接成功...

2020-05-23 18:56:25 4612

转载 Django报错SystemCheckError: System check identified

Django报错SystemCheckError: System check identified错误：运行 python manage.py makemigrations时报错原因:是因为你使用了自定义模型，而django中若不配置，就会自动用他自己内置的model方法：在settings中配置自定义的model：AUTH_USER_MODEL = 'user.Ouser’含义:app XXX的model中哪个Class配置自定义的modelPS: 'user.Ouser’中的内容为：.

2020-05-18 11:50:32 4278

转载 TCP的三次握手与四次挥手（详解+动图）

2019-11-12 09:29:04 187

转载 sql优化

现在面试过程中，除了开发的基础，面试官通常还会问SQL优化的方面，SQL优化也能体现出来平时对数据库的理解和技术的高低。现在就总结了几个，希望对大家有帮助。1.在表中建立索引，优先考虑where.group by使用到的字段。2.查询条件中，一定不要使用select *，因为会返回过多无用的字段会降低查询效率。应该使用具体的字段代替*，只返回使用到的字段。3.不要在where条件中使用左右两边都是...

2019-11-06 18:56:25 187

原创 selenium爬取网易云音乐评论并存入mongodb或excel文档，并将评论制作为词云图

难点：网易云音乐评论是JS加载的，并且下一页是通过加密实现的。普通的requests请求接收不到评论。selenium原理及具体操作并不是很了解，各位可自行百度。相关库也可自行安装百度。1.抓取评论from selenium import webdriverimport pymongoconn = pymongo.MongoClient(host='localhost',port=2...

2019-11-06 10:15:37 594

原创 python 深度优先与广度优先

深度优先搜索算法（英语：Depth-First-Search，简称DFS）是一种用于遍历或搜索树或图的算法。沿着树的深度遍历树的节点，尽可能深的搜索树的分支。当节点v的所在边都己被探寻过或者在搜寻时结点不满足条件，搜索将回溯到发现节点v的那条边的起始节点。整个进程反复进行直到所有节点都被访问为止。import requestsfrom lxml import etreeheaders = ...

2019-11-05 21:06:52 450

原创 scrapy-redis 让别人连接自己的redis的操作步骤

1.修改两处redis配置文件第一处：第二处:保存！2.重启redis服务打开任务管理器3.cmd输入redis-cli -h 别人的IP此图表示连接成功我的是配置了redis服务的环境变量，如果没有配置，请在redis文件夹中打开cmd进行连接。...

2019-11-05 20:30:26 831

转载基于scrapy_redis部署的scrapy分布式爬虫

2019-11-05 19:48:07 201

转载 Scrapy基于scrapy_redis实现分布式爬虫部署

2019-11-05 19:24:37 159

转载 cookies session模拟登陆爬虫

2019-11-05 00:03:54 248

原创 requests 爬取人人网信息，难点：验证码

目标:爬取人人网信息，此处只爬一个name思路：1.登陆2.访问大鹏首页，获得到右侧推荐好友的所有url,并保存到数据库，设置状态码为 0，同时获取到大鹏的信息，并保存数据库。3.从数据库中取出一个url(未当问的)，同时将该url的状态码设为14.向其他页面发送请求，并获取个人信息和其他推荐好友1.比如访问大鹏的首页，获取其信息（首先要注册登陆进首页）i...

2019-11-04 21:19:36 965

转载 pyspider爬取豆瓣电影

2019-11-03 15:59:48 732

转载爬虫爬取百度图片

在这篇文章中：什么是爬虫爬虫协议爬虫百度图片什么是爬虫网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。（来源：百度百科）爬虫协议Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Pr...

2019-11-03 15:05:11 1144

转载 scrapy | scrapy-redis实现分布式爬取：原理，实战案例（虚拟机）

2019-11-01 21:22:44 559

原创 scrapy 利用urljoin实现自动翻页蛋壳租房房源信息

一。项目结构二。模块划分1.dankespiderimport scrapyfrom ..items import ZufangItemheaders = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3...

2019-11-01 20:43:09 449

转载使用scrapy-redis搭建分布式爬虫环境

使用scrapy-redis搭建分布式爬虫环境 </h1> <div class="clear"></div> <div class="postBody"> scrapy-redis简介scrapy-redis是scrapy框架基于redis数据库的组件，用于scrapy项目的分布式开发和部署。有如下特征： ...

2019-11-01 16:07:42 311

原创 Windows 64位下安装Redis 以及可视化工具Redis Desktop Manager的安装和使用

2019-11-01 09:15:19 386

原创启动redis出现Creating Server TCP listening socket *:6379: bind: No such file or directory

Redis报错：[6644] 02 Apr 23:11:58.976 # Creating Server TCP listening socket *:6379: bind: No such file or directory的解决方案如下按顺序输入如下命令就可以连接成功redis-cli.exeshutdownexitredis-server.exe redis.windows.c...

2019-10-31 22:50:35 122

原创 scrapy爬取智联招聘，MongoDB存储数据

一.项目目录结构二.模块划分1.settings# -*- coding: utf-8 -*-# Scrapy settings for zhilian project## For simplicity, this file contains only settings considered important or# commonly used. You can find mo...

2019-10-31 19:22:18 389 1

原创 mongoDB的安装

1.下载解压mongodb-win32-x86_64-2012plus-latest.zip2.进入安装目录我的安装路径：C:\MongoDB，在bin目录下新建同级目录data进入data文件夹，新建子文件夹db用来存储数据目录3.配置环境变量系统设置-环境变量-bin目录路径4.之后在bin目录位置打开cmd,允许MongoDB服务mongod --dbpath “C:\M...

2019-10-31 11:52:55 172

原创 scrapy爬取珍爱网数据

main.pyfrom scrapy import cmdlinecmdline.execute(['scrapy','crawl','zhenai'])settings.py# -*- coding: utf-8 -*-# Scrapy settings for zhenaiwang project## For simplicity, this file contains on...

2019-10-31 11:04:24 1474 3

Redis、MySQL面试题.docx

空空如也