- 博客(57)
- 收藏
- 关注
RSS订阅转载 torndb操作mysql
torndb 是一个基于 MySQLdb 封装的轻量级模块。进一步了解请阅读源码：GitHub 源码地址使用安装$ pip install torndb连接torndb.Connection(host, database, user=None, password=None, max_idle_t...
2018-08-27 15:02:00
333
转载 Ubuntu下安装mysql后的数据密码设置
当在ubuntu中执行命令sudo apt-get install mysql-server5.1安装的时候居然没有提示我输入mysql的密码之类的信息，但是当安装好之后再终端中直接输入mysql的时候又能直接进入mysql中，虽然可以进入mysql中但是我对mysql的密码一点都不知道，所以这个时候安装的mysql就相当于没有安装，因为不能用程序进行操作mysql数据库（因为操作数据库...
2018-07-06 21:43:00
213
转载 django迁移数据库是遇到的问题
如果已经存在数据库中的表，后面进行迁移就会报错，需要执行如下命令：由于您已经在数据库中创建了表，因此您只需将初始迁移运行为假python manage.py migrate app名字--fake转载于:https://www.cnblogs.com/Huangsh2017Come-on/p/9130393.html...
2018-06-03 20:32:00
323
转载 window下搭建celery+rabbitmq 分布式任务调度
环境搭建：1. 安装celery4.0版本以上2.安装erlang的运行环境，因为rabbitmq是基于erlang环境的; 下载链接:http://www.erlang.org/download.html3. 安装rabbitmq ，下载链接：http://www.rabbitmq.com/download.htmdemo测试： 创建tasks.py...
2018-05-17 18:44:00
243
转载 使用Linux命令将程序设置成后台守护进程
看传送https://ehlxr.me/2017/01/18/Linux-%E7%9A%84-nohup-%E5%91%BD%E4%BB%A4%E7%9A%84%E7%94%A8%E6%B3%95/转载于:https://www.cnblogs.com/Huangsh2017Come-on/p/8854933.html
2018-04-16 11:16:00
405
转载 javascript 闭包、this
闭包其实很好理解，但是由于经常把this和闭包绑在一起，从而加大了理解的难度，如果将他们分开考虑，那就清晰多了。闭包闭包并不是js首创，在许多语言中都支持闭包，如schemer、ruby等。如果没有闭包，像js这样的支持高阶函数特性的语言将是一个噩梦。静态作用域动态作用域var name = "xiaofu";var pe...
2018-04-12 15:40:00
110
转载 Python远程部署利器Fabric详解
传送：https://www.urlteam.org/2017/01/python%E8%BF%9C%E7%A8%8B%E9%83%A8%E7%BD%B2%E5%88%A9%E5%99%A8fabric%E8%AF%A6%E8%A7%A3-%E8%BD%AC%E8%BD%BD/转载于:https://www.cnblogs.com/Huangsh2017Come-on/p/87599...
2018-04-09 15:04:00
129
转载 Linux下修改环境变量
1.修改/etc/profile文件，通过vi或vim增加变量添加可执行文件的所在安装目录2.修改变量之后，需要马上生效变量设置。可执行[root@mail ~]source /etc/profile转载于:https://www.cnblogs.com/Huangsh2017Come-on/p/8649657.html...
2018-03-26 11:12:00
120
转载 Redis 配置为 Service 系统服务
请移步传送https://itbilu.com/linux/management/NkbXG9kol.html转载于:https://www.cnblogs.com/Huangsh2017Come-on/p/8630294.html
2018-03-23 14:50:00
190
转载 centos下升级python版本带来的pip无法使用问题
最近需要把python代码部署到Linux下来跑，于是将本来的2.7版本升级到3.5版本，接着就出现pip无法使用的情况，这是由于pip这个文件里面的的版本号是2.7的，所以用不了，因此要修改里面的pip版本号。1.vim /usr/bin/pip把这两个版本号，修改成python3的自带的那个pip版本号就可以了转载于:https://www.cnblo...
2018-03-19 10:07:00
244
转载 centos6.5下安装docker
最近笔者要把写好的爬取天眼查数据的代码放到服务器去运行，但是环境高的让人头痛，于是就学习一下docker部署，下面是安装部署步骤1.首先安装docker直接使用命令:yum install docker-io 是会报错的!!! 提示:No package docker-io available.需要先安装yum 源.yum -y install http:...
2018-02-24 11:07:00
116
转载 centos下安装运行phantomjs
centos安装phantomjs一、下载地址http://phantomjs.org/download.html找到linux版本下载地址，下载或者运行下面命令下载，本教程默认下载到/usr/local/路径下[root@localhost local]# wget https://bitbucket.org/ariya/phantomjs/downloads/ph...
2018-02-09 16:39:00
146
转载 centos6.6下更新python2.6.6版本至python3.5.1
系统环境：Linux发行版：CentOS 6.6使用命令查看系统自带的pythonpython-V结果可以看到CentOS6.6自带的python版本是2.6.6，现在想升级成最新版的3.5.1，下面记录一下升级过程：1.切换到下载文件的目录中（个人习惯放在这个目录而已，这地方可随意更改）cd/usr/local/src/2.下载最新版的Pythonwge...
2018-02-05 16:11:00
136
转载 高企云爬虫
下面是小編工作中爬取高企云數據的源代碼，增加验证码识别代码： 1 # -*- coding:utf-8 -*- 2 import requests 3 import time,re 4 import pytesseract 5 import urllib 6 import json 7 from PIL import Image 8 f...
2018-01-29 16:58:00
135
转载 python反射机制实现
笔者之前看到很多撸java的同事。老是说着反射机制什么的，然后就想想我大Python肯定也有反射机制的实现方法，于是就写了下面的一段python实现的反射机制代码：comm模块代码1 def jk():2 name = 'huangsonghui'3 print(name)4 return {1,2,3}main模块代码：i...
2018-01-05 18:17:00
169
转载 今天写测试代码时遇到的小坑
#!/usr/bin/env pythonclass Animal(object): nane = 'rrrr' def __init__(self): self.name = 66666 print(self.name) def greet(self): print ('Hello, I...
2018-01-01 19:59:00
136
转载 supervisor将django服务作为守护进程运行后台。。。。
转载https://www.cnblogs.com/huanglin101/p/6722114.html转载于:https://www.cnblogs.com/Huangsh2017Come-on/p/8149714.html
2017-12-30 13:39:00
300
转载 pycharm远程更新代码到远端服务器
因为工作中经常会用到远程运行和更新服务器里的代码，所以pycharm提供了一个非常实用的远程调试代码的功能1.连接远程服务器2.把远程项目的目录地址和本地项目的目录进行映射，保持一致将配置项Upload changed files automatically to the default server选择为On explicit save ...
2017-12-18 17:28:00
633
转载 python3.4的asyncio用法和python类的组合使用，上下文管理
1关于异步IO，在Python3.4中可以使用asyncio标准库。该标准库支持一个时间循环模型（EventLoop），我们声明协程，然后将其加入到EventLoop中，即可实现异步IO。Python中也有一个关于异步IO的很经典的HelloWorld程序（同样参考于廖雪峰教程）： 1 # 异步IO例子：适配Python3.4，使用asyncio库 2 @asy...
2017-12-04 22:03:00
349
转载 pycharm下配置pyqt桌面应用开发环境
配置步骤：环境准备：Python3.4 pyqt4 window71.使用pip命令安装pyqt4，pip install pyqt42.在pycharm上面配置环境：第2步是在pycharm的setting里面配置你的assistant.exe所在路径，点击第3步的按钮就会自动显示出路径接着配置把生成的UI文件转换成py文...
2017-11-30 13:14:00
187
转载 闲谈2016年一路走来
似乎很快可以总结2017年了。。。。。从去年开始一直在技术的道路上坚持着，真的挺累的，技术的道路并不好走，前期的自学过程真的很痛苦，各种问题出来了，有时都想放弃了，但是最后还是各种找资料找谷歌来学，克服很多了困难，我庆幸自己能够迈出这一步。。。自学的路并不那么好走，但是我终于走明白了，真的很幸运想起有一次我教公司里的一个同事其中一个技术点，他说这么快就弄好了，我记得曾经坑在这个技...
2017-11-29 20:39:00
134
转载 爬取易车网所有车系车型数据
下面就是是源代码，我是直接把数据保存在字典并且打印到控制台的 1 # -*- coding: utf-8 -*- 2 from lxml import etree 3 import requests,re,random 4 import time,redis 5 from myweb.yichewang import user_agent...
2017-11-27 16:02:00
1657
转载 Python 装饰器装饰类中的方法
目前在中文网上能搜索到的绝大部分关于装饰器的教程，都在讲如何装饰一个普通的函数。本文介绍如何使用Python的装饰器装饰一个类的方法，同时在装饰器函数中调用类里面的其他方法。本文以捕获一个方法的异常为例来进行说明。有一个类Test, 它的结构如下：在类中有一个方法read_value()，这个方法在多个地方被调用。由于某些原因，方法read_value有可能...
2017-11-25 21:49:00
110
转载 python实现生产者和消费者模式
利用python的线程实现简单生产者和消费者模式，这种模式在多线程编程时还是用的比较多吧，下面是源代码： 1 #!/usr/bin/python 2 # -*- coding: utf-8 -*- 3 import requests,time 4 import threading,queue 5 6 7 class mythread_1(thre...
2017-11-18 22:04:00
163
转载 redis下往列表插入数据报错解决方法
(error) MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk.今天运行Redis时发生错误，错误信息如下：(error) MISCONF Redis is configured to save RDB snapshots, but ...
2017-11-07 21:04:00
288
转载 爬取房天下整个网站房产数据。。。
以前爬的数据量都有点少了，所以现在写个爬房天下全站数据爬虫来，用redis进行URL的去重处理，采用mysql储存清洗过后房产数据，采用线程池来进行调度，进行多线程爬取后面会用scrapy框架做分布式集群来爬取数据，做完分布式爬虫就差不多了，后面就是scrapy深入研究和数据系统开发的学习下面是房天下所有地区二手房和新房的URL，为后续爬取提供起始URL，后续会继续优化代码，感觉...
2017-10-29 16:54:00
1201
转载 今天对python记录日志和发邮件两个常用功能做了封装
因为这两个是开发中经常会用到的功能，所以今天就做了简单的封装，下面是封装的代码。。。 1 import logging 2 3 class log(object): 4 5 def __init__(self): 6 # 定义handler的输出格式 7 self.formatter = logging.Form...
2017-10-27 17:46:00
161
转载 Python爬虫之设置代理IP
# IP地址取自国内髙匿代理IP网站：http://www.xicidaili.com/nn/# 仅仅爬取首页IP地址就足够一般使用from bs4 import BeautifulSoupimport requestsimport randomdef get_ip_list(url, headers): web_data = requests...
2017-10-15 15:38:00
293
转载 pycharm下虚拟环境执行并调试scrapy爬虫程序（一）
配置scrapy环境分别pip install Zope.Interface、Twisted、w3lib、lxml、pyOpenSSL、Scrapy新建爬虫项目，pycharm运行我的项目名称为RadioCrawl文件夹为Paste_Image.png新建main.pyfrom scrapy import cmdlinecmdli...
2017-10-14 13:42:00
181
转载 python的py文件打包成exe
一、首先需要安装Pyinstaller--使用pip来安装模块(我电脑上装的是python的一个编译环境Anaconda，如果电脑上装的是python自带的IDE的话，就直接进入python的安装路径，比如是：“D:\python27\Scripts\pip.exe”)我的Anaconda2安装在G盘所以用如下路径--执行语句：pip.exe install PyIns...
2017-10-11 10:51:00
115
转载 爬取淘女郎模特个人信息数据和写真
趁着国庆节有时间，帮人写了个爬取淘女郎模特动态加载的图片的爬虫，还有爬取模特们的个人信息数据，这个爬虫花了3天时间，因为图片是异步加载的所以爬取的复杂度有点大，最终我通过研究URL的变化，构造新的URL来进行持续性爬取，不过爬取速度真心慢（查看了cpu的利用率还有很多没有利用到），我准备把多线程加进去说实话不太好加，有点头大， 1 # -*- coding: utf-8 -*-...
2017-10-03 17:52:00
909
转载 再探-python高级用法装饰器
五、装饰器装饰器是程序开发中经常会用到的一个功能，用好了装饰器，开发效率如虎添翼，所以这也是Python面试中必问的问题，但对于好多初次接触这个知识的人来讲，这个功能有点绕，自学时直接绕过去了，然后面试问到了就挂了，因为装饰器是程序开发的基础知识，这个都不会，别跟人家说你会Python, 看了下面的文章，保证你学会装饰器。1、先明白这段代码#### 第一波 ####def...
2017-10-01 21:07:00
110
转载 转载（GUI工具pyqt）
具体教程看传送http://www.cnblogs.com/tkinter/p/5632188.html转载于:https://www.cnblogs.com/Huangsh2017Come-on/p/7611358.html
2017-09-29 15:44:00
117
转载 解决Ubuntu下重启ftp服务器报错问题
系统出错。每次执行sudo 就出现这个警告讯息:sudo: unable to resolve host dev。解决办法：/etc/hosts 原始内容 127.0.0.1 localhost# The following lines are desirable for IPv6 capable hosts ::1 localhost ip6-lo...
2017-09-16 19:25:00
684
转载 python format（格式化操作）
阅读目录语法通过位置通过关键字通过对象属性通过下标填充和对齐精度和类型f进制转化千位分隔符python自2.6后，新增了一种格式化字符串函数str.format()，威力十足，可以替换掉原来的%注：以下操作版本是python2.7映射示例回到顶部语法通过{} 和 : 替换 %回到顶部...
2017-09-09 19:28:00
196
转载 Python基础- 类和对象（使用、继承、派生、组合、接口、多态、封装、property、staticmethod、classmethod、反射、slots、上下文管理协议、元类）...
一、初识类和对象在python3中类型就是类先定义类在产生相对应的对象，也就是现有了概念再有了实体class Garen:camp = ‘Demacia’def attack(self):print(‘attack’)1、如何使用类在python3:1、所有的类都是新式类,即默认都是继承object类在python2中:1、新式类...
2017-09-09 18:43:00
170
转载 初探python的gevent协程
geventPython通过yield提供了对协程的基本支持，但是不完全。而第三方的gevent为Python提供了比较完善的协程支持gevent是第三方库，通过greenlet实现协程，其基本思想是：当一个greenlet遇到IO操作时（比如访问网络），就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。由于IO操作非常耗时，经常使程序处于...
2017-09-09 16:23:00
127
转载 转载（浏览器，服务器，APP三者之间数据传输通信）
这个python妹子总结的很好，就借来用用了。。。。http://www.cnblogs.com/Eva-J/p/6656954.html转载于:https://www.cnblogs.com/Huangsh2017Come-on/p/7493202.html
2017-09-08 10:07:00
325
转载 Django-web项目搭建
本教程只适合Django1.8以上版本1. 创建web工程 ：django-admin startproject mysite然后在工程里面的models.py文件中创建相关的模型数据创建好了之后，初始化数据库：python manage.py makemigrations（等于sql中的创建数据表结构）python manage.py migrat...
2017-09-07 10:05:00
92
转载 基于python接口测试
下面是源代码; 1 #!/usr/bin/python 2 # -*- coding: utf-8 -*- 3 4 import requests,sys,time 5 import json 6 import xlrd,xlwt 7 import unittest, re 8 import HTMLTestRunner 9 10 1...
2017-09-03 10:53:00
94
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人