LH_python的博客

原创 安装scrapy的时候会出现twisted安装失败的时候

首先从http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件（如我的Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl），cp后面是Python版本，amd64代表64位，运行命令：pip install D:\TDownloads\Twisted-17.5.0-cp36-cp3...

原创 Git中容易出错的地方

git Please tell me who you are解决方法：git commit -m "some init msg"*** Please tell me who you are.Run  git config --global user.email "you@example.com"  git config --global user.name "Your Name"to set yo...

原创 selenium简单应用

我们在安装chromedriver的时候回去下载对应版本的chrome,并且把chromedriver添加到环境变量中,但是重启后依然会报错这样我们在访问的时候直接把chromedriver的路径直接加载进去from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsimport os...

原创 chrome中各个版本

网站无病毒分享 赞https://www.chromedownloads.net

原创 怎么定时启动爬虫

window中启动爬虫的话,就会用到一个任务计划程序linux下怎么启用任务计划程序

原创 关于git服务器的一些东西

github,国内用户访问的时候经常会遇到问题比如说访问速度太慢,有的时候还会出现无法连接的状况..所以我们也可以用国内版的github 就是码云,在功能上和国外版的一样,操作使用的流程一样....

原创 git的简单介绍以及使用

在 linux 上安装gitsudo apt-get install git在windows上安装git,直接去官网上去下载   (下载完成后安装) 安装过程中加上以下选择,其他都选默认- -!(反正看不懂)安装成功之后,就会在桌面出现一个图标打开然后我们需要在本地创建一个版本库,任意选一个盘符 cd 进去 然后mkdir 创建一个文件夹cd 进入其中 输入git init然后 git就会把仓库创...

原创 ubuntu下配置vsftpd

vsftpd 是一个完全免费的、开发源代码的ftp服务器软件，支持很多其他的 FTP 服务器所不支持的特征。比如：非常高的安全性需求、带宽限制、良好的可伸缩性、可创建虚拟用户、支持IPv6、速率高等。一般操作系统默认的ftp软件就是vsftpd，今天会谈一下笔者的使用 vsftpd 是以一般身份启动服务，所以对于 Linux 系统的使用权限较低，对于Linux 系统的危害就相对的减低了。此外， v...

原创 服务器上django项目配置负载均衡

服务器正常需要的nginx和uwsgi的配置就不多说了,前面讲过了,直接开始主题.负载均衡,说白了,所有请求发给A服务器,然后它转发到其它服务器中实现负载均衡Nginx的反向代理反向代理指以代理服务器来接受Internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给Internet上请求连接到客户端，此时代理服务器对外就表现为一个服务器，而此种工作模式类似于LV...

原创 微信公众号二次开发配置问题

由于我们在 服务器上已经配置过jango项目了,并且用nginx运行了...而且nginx默认运行的端口号是 80, 但是微信二次开发默认运行在80 端口上,,这个端口并不好修改,所以我们修改 nginx的配置文件让其运行在其他端口上.....首先我们找到 nginx的配置文件,配置它的配置文件..然后,我们重启nginx服务然后 在本地上创建一个简单的django框架,把它基本框架搭起来,上传到...

原创 富文本编辑器

1.https://github.com/twz915/DjangoUeditor3下载包,进入包文件夹,找到DjangoUeditor包拷贝到项目下,和xadmin同级目录2.找到项目的settings文件,注册app3.找到项目urls文件,配置DjangoUeditor路由4.找到app下的models,在需要使用富文本框的字段使用UEditorField,相关参数含义可参考文档:https...

原创 mysql的基本用法(2)

2018.4.11    绝对值函数 ABS(x) 和 返回圆周率的函数PI() 和平方根函数SQRT() 和 求余函数 MOD(x,y)    绝对值函数: select abs(2),abs(-3,3),abs(-33);    圆周率的函数: selcect pi();    平方根函数: select sqrt(9),sqrt(40)    求余函数:  select mod(31,8) ...

原创 在ubuntu上部署django项目

首先购买阿里云或者腾讯云的服务器参考链接,cnblogs.com/fnng/p/5268633.html一般 服务器会自带python2.7 和3.5的环境,这里就不需要再安装系统了..相关环境的搭载,如果只是自己的个人服务器,不建议使用虚拟环境,直接安装就可以了 具体安装虚拟环境这里不多讲>命令 sudo passwd  这个可以重新设定你的密码>命令 sudo passwd 密码 ...

原创 用虚拟机配置ubuntup下搭载python开发环境

首先安装虚拟机然后找到一个ubuntuo开发环境纯净版 下载下来以此解压等到上面的文件,然后进入linux开发环境进入最后一个文件夹然后解压这个得到文件然后,打开虚拟机,找到上面的文件打开 就进入ubuntu系统中....

原创 django中怎么使用自定义管理后台xadmin

首先创建基本的django项目,配置好基本的model ,url,views文件xadmin是基于Django的admin开发的更完善的后台管理系统，页面基于Bootstrap3开发的xadmin的安装,下载地址   https://github.com/sshwsfc/xadmin下载后解压,进入文件夹内部,按shift+右键,选择在此处打开命令行窗口 命令行窗口输入python setup.p...

原创 Bootstrap3的简单用法

首先我们找到 bootstrap的中文官网，下载我们所需要的基础文件。然后下载 bootstrap的开发环境的包然后解压到桌面，里边包含了3个文件夹 css,js,fonts然而，bootstrap依赖于jquery.min.js这个文件把下载好的jquery.min.js放在js文件下，这样我们就可以来写一些html的文件了。在bootstrap官网为我们提供了许多样式的模板，我们只需要修改之中...

原创 在Django中怎样避免反复书写代码

在常见的简单的html中，我们经常见到这一个分类和下一个的分类网页结构大体相同，这就和python中类的继承的性质，子类可以继承父类的功能和函数，并可以实现重写的功能，这样就大大减少了我们的代码的负担量。首先，如果继承与某一个基础html 在开头加载 {% extends 'base.html' %}  来继承同一文件夹下的一个基础html而把经常变的html模块 放在{% block （名字） ...

原创 在django中怎么单发和群发邮件以及单发和群发不同内容的邮件

正常启动django项目，通过manage.py来创建一个一个项目app，setting中启用这个app来创建一个自己的项目，然后在项目中创建单个的路由地址urls然后在 template中写一个简单的html文件来实现我们发送邮件的功能其中，在form表单标签中，action之后是对应的路由地址，直接对应到urls，经过urls对应到views中的函数完成处理method可以在views中的函数...

原创 mysql的简单用法(1)

2018.4.10数据库的三大类: 层次式数据库,网络式数据库和关系式数据库数据库是一个长期存储在计算机内的,有组织,有共享的,统一管理的数据集合.数据类型决定了数据在计算机中的存储格式,代表不同的信息类型,常用的数据类型有:整数类型,浮点数数据类型,精确小说类型,日期/时间数据类型,字符串类型,二进制数据类型sql: 对数据库进行查询和修改操作的语言叫做sql.sql的含义是结构化查询语句(Qu...

原创 Mongodb的简单运用

2018.3.30MongoDB是非关系型，非关系型数据库遵循acid规则1.A 原子性 2.C 一致性 3.I 独立性 4.D 持久性这些可以在菜鸟教程中找到。去官网下载完适合自己电脑版本程序。然后打开第一个是自定义扮装目录，第二个是选择目录。    MongoDB将数据目录存在db目录下，但是这个数据目录不会主动创建，我们在安装完成之后需要去创建它。注意这个目录必须安装在基础盘下（(如： C:...

原创 pyspdier 的简单使用

1. 下载pyspider pip install pyspider2. 打开命令行工具   输入pyspider启动1. 打开浏览器输入地址,默认端口5000(Flask默认端口),访问1. 点击create创建项目

原创 gerapy的运用

这个链接scrapyd的网页展示界面，让其更易于管理运行，所以是基于scrapyd的基础上让我们减少十分多的操作，方便管理使用，当我们使用scrapyd的时候需要修改较多配置，但是gerapy直接为我们完成这些操作，直接就可以运行进入存放scrapyd的目录下，打开cmd命令，进入虚拟环境，开启scrapyd服务器。然后在集成环境中中安装一下 gerapy，然后在非c盘 下传建一个文件夹，进入文件...

原创 布隆去重

去重策略1）使用scrapy自带的set集合去重，当程序结束的时候会被清空，缺点：再次运行会导致数据重复。2）使用mysql做去重，对url地址进行md5，base64加密，加密之后会得到一串字符，判断字符串是否在mysql表中，如果在表示已经爬取过了，如果不在，表示没有爬取，执行请求，将加密后的url地址存入表中。缺点： 但是这个方法对mysql压力过大，导致崩溃，不推荐3）使用scrapy_r...

原创 Mysql安装

mysql 安装问题首先安装软件 mysql，一路回车直到账户密码，继续到结束。再把mysql添加到系统的环境变量中去，文件路径是c盘下 programfiles下MYSQL下MYSQL Server下bin的这一串路径添加到环境变量中去。然后在cmd中验证，是否成功。root是管理员账户python3代码中引入mysql 需要安装 pip install pymysqlpython2代码中 安装...

原创 基于scrapy_redis部署scrapy分布式爬虫

1使用命令行下载包 scrapy_redis使用pycharm打开项目,找到settings文件,配置scrapy项目使用的调度器及过滤器这个让scrapy不使用自己的调度器，使用scrapy_redis重写的调度器SCHEDULER = "scrapy_redis.scheduler.Scheduler"这个是让scrapy使用scrapy_redis重写的去重方法，运用redis的去重方法保证...

原创 redis 部署主从关系

Redis属于非关系型数据库修改配置文件(找到redis下的redis.windows.conf)   　　1. 修改主的配置文件  搜索bind，将后面的ip改成当前服务器ip        2. 修改从的配置文件  搜索slaveof，将该代码解注释，然后添加ip和端口号。注意：端口号必须写（=====只运行redis的情况下   主服务器只修改bind，从服务器只修改slaveif）（===...

原创 redis简单的用法

REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。通常被称为数据结构服务器，因为值（value）可以是 字符串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等类型。Redis 与其他 key - value 缓存产品有以下三个特点：· R...

原创 scrapyd 部署爬虫项目

scrapyd部署爬虫的优势：1、方便监控爬虫的实时运行状态，也可以通过接口调用开发自己的监控爬虫的页面2、方便统一管理，可以同时启动或关闭多个爬虫3、拥有版本控制，如果爬虫出现了不可逆的错误，可以通过接口恢复到之前的任意版本实现功能，爬虫项目在服务器端运行，实现爬虫远程管理，不占用本机的运行空间。==================================================...

原创 虚拟环境的配置（常用的方法）

前面的方法较为麻烦，不适合平常项目使用。下面有两种的方法可以搭建虚拟环境。安装虚拟环境的目的是为了有一个纯净的底层环境Anaconda也可以创建虚拟环境，这不多讲。第一种：    在D盘中建一个vens的环境统一地址，这样平常哪个项目用到哪个环境就可以在pycharm中settings中配置调用这个虚拟环境    缺点：这个环境是在本地之中，一旦项目发走，另一个使用这个项目的人需要重新去下载搭建环...

原创 python虚拟环境的搭建，切换(这是最基础最原始的方法)

为什么要使用虚拟环境，各个项目需要的python环境不同，有的用python2.7，有的用3.6等等。而各个版本的各种个第三方包都不同，如果都放在一个环境下容易出现错误，所以使用虚拟环境。首次我们在 一个盘中 把各个使用的python版本下载下来，命名为python2.7，python3.6等等。例如：然后我们想用哪一个环境的话就在计算机的环境变量中，修改所需要的环境变量。这时候搭建的虚拟环境就是...

原创 scrapy中怎么进行异步插入数据库mysql

import pymysqlfrom twisted.enterprise import adbapifrom pymysql import cursorsclass MSQLPipeline(object): @classmethod def from_setting(cls,settings): db_params = dict( ...

原创 正则表达式函数

#coding:utf-8# re模块是python中内置的用来支持正则表达式的模块import restring = 'hello world'# 1.准备正则pattern = re.compile('world')# 2.使用正则表达式,从大字符串中搜索符合正则的字符串# match() 1.正则表达式 2.要进行查找的大字符串# match() 如果找到结果,返回结果...

原创 访问请求之间的关系cookie和session之间的关系

原创 关于爬虫和反爬虫的一些东西

2018.3.5爬虫和反爬虫的斗争==================================================爬虫程序1）编写爬虫代码，发起请求，接收响应，获得数据2）在发起请求时，添加User-agent字段，设置请求间隔。3）发送请求的时候，使用代理ip，设置请求间隔4）注册网站账户，模拟cookie/token登录，发起请求5）使用云代码平台进行验证6）1.抓取js请...

原创 简单的基于resquests查询手机号的归属地址

2018.2.27pthon = "手机号码"url= “”https://www.baifubao.com/callback?cmd=1059&callback=phone&phone=“”+phoneresponse = requests.get(url)把请求成功后的response.text字符串经过切割形成一个json字符串，再把字符串转换为字典拿到json字符串中想要的...

原创 简单的爬虫每日笔记

2018.3.2怎么提升爬虫的效率1）换个性能更好的电脑2）网络使用光纤3）使用多线程爬虫4）使用多进程爬虫5）分布式爬虫6）提升数据的写入速度反反爬虫的应用措施1）随机修改User-Agent2)禁用cookie追踪3）放慢爬虫速度4）使用代理动态更换ip（本机电脑的ip地址不变，动态ip是代理ip）5）分布式（一般用不同区域的电脑，不适用一个局域网下，应为ip地址相同）本地下载数据的一种方法1...

原创 scrapy的基本构架以及简单的用法

2018.3.1爬虫的框架总共有3中常用的分别是: Scrapy,PySpider,Selenium而Selenium 是一款自动测试的框架。常用的是scrapy，scrapy 是python一种爬虫框架，采用的是多线程爬虫的方式，是普通爬虫的方法的5到6倍的速度安装 scrapy 例如：首先第一步：先想好吧爬虫程序放在那里，我们放在桌面以方便管理第二步：通过cmd命令来创建一个爬虫程序这样 通过...