fengbansha的博客

原创 Windows和Ubuntu系统之间文件相互复制粘贴

在安装Ubuntu系统后发现与Windows系统的文件不能相互复制，网上查了很多教程，发现都是不能用的，能实现的方法如下所示：第一步： sudo apt-get autoremove open-vm-tools第二步：sudo apt-get install open-vm-tools-desktop然后重启搞定...

原创 Python运行scrapy报错:ImportError: No module named win32api

运行scrapy项目就报错:ImportError: No module named win32api 找不到win32api模块。。。解决方法运行命令安装模块: pip install pypiwin32

原创 Python:安装whl文件

whl格式本质上是一个压缩包，里面包含了py文件，以及经过编译的pyd文件。使得可以在不具备编译环境的情况下，选择合适自己的python环境进行安装。安装方法很简单，进入命令行输入pip install xxxx.whl或者如果是升级pip install -U xxxx.whl如何安装whl文件步骤：1.用管理员方式打开cmd2.首先通过pip命令安装wheel如果提示’pip...

原创 Windows下安装Scrapy

安装Twisted模块在这里告诉大家一个方法安装Twisted模块的方法啊，首先需要先安装wheel模块，这回使用pip install wheel不会报错的，直接安装成功啦。之后打开命令行工具输入Python进入Python环境(也就是输入Python命令)，看到我的Python版本是3.6.1的，去https://www.lfd.uci.edu/~gohlke/pythonlibs/#tw...

原创 python 字典操作提取key,value

字典操作提取key,value1.为字典增加一项2.访问字典中的值3、删除字典中的一项4、遍历字典5、字典遍历的key\value6、字典的标准操作符7、判断一个键是否在字典中8、python中其他的一些字典方法**9、将两个字典合并 **a={'a':1,'b':2,'c':3}b= {'aa':11,'bb':22,'cc':33}#方法一print...

原创 python获取文件所在目录和文件名,以及检索当前文件名的方法

python获取文件所在目录和文件名,以及检索当前文件名的方法print(__file__)print(sys.argv[0])print(os.path.dirname(__file__))print(os.path.split(__file__)[-1])print(os.path.split(__file__)[-1].split('.')[0])对应的返回结果：D:/off...

原创 一张图学会Vim编辑器快捷键

图片来源于网络，这里做收藏整理使用！ 由于图片被缩放，所以可以下载下来看！Vim使用快捷键组合Vim键盘图

转载 带你发现新大陆！什么是图数据库以及简单入门！

一、关系型数据库的不适性在众多不同的数据模型里，关系数据模型自20世纪80年代就处于统治地位，而且出现了不少巨头，如Oracle、MySQL，它们也被称为：关系数据库管理系统（RDBMS）。然而，随着关系数据库使用范围的不断扩大，也暴露出一些它始终无法解决问题，其中最主要的是数据建模中的一些缺陷和问题，以及在大数据量和多服务器之上进行水平伸缩的限制。同时，互联网发展也产生了一些新的趋势变化： ...

转载 为什么说Redis是单线程的以及Redis为什么这么快！

一、前言近乎所有与Java相关的面试都会问到缓存的问题，基础一点的会问到什么是“二八定律”、什么是“热数据和冷数据”，复杂一点的会问到缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题，这些看似不常见的概念，都与我们的缓存服务器相关，一般常用的缓存服务器有Redis、Memcached等，而笔者目前最常用的也只有Redis这一种。如果你在以前面试的时候还没有遇到过面试官问你《为什么说Red...

原创 python 爬取简单的双色球走势图数据

import lxml.htmlimport requestsresponse = requests.get('http://trend.caipiao.163.com/ssq/').textresult = lxml.html.fromstring(response)result_str = result.xpath('//tbody[@id="cpdata"]/tr')for i i...

原创 爬虫进阶（2）

网页解析test_data = """ <div> <ul> <li class="item-0"><a href="link1.html" id="places_neighbours__row">9,596,960first ite

原创 装饰器的使用

def debug(func): def wrapper(*args, **kwargs): # 指定参数 print("[DEBUG]: enter {}()".format(func.__name__)) print('Prepare and say...') return func(*args, **kwargs) retur...

转载 Elasticsearch入门教程

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。下载并运行ElasticSearchElasticSearch可以从ela...

原创 爬虫进阶（1）

import randomimport requestsfrom fake_useragent import UserAgentfrom retrying import retry # 装饰器 下载错误重复下载import hashlib # 信息摘要 md5import queue # 队列import re # 正则表达式from urllib import robotpa...

原创 基于python+whoosh的全文检索实现

Whoosh很快，但只使用纯Python，因此它可以在Python运行的任何地方运行，而无需编译器。默认情况下，Whoosh使用Okapi BM25F排名功能，但与大多数事情一样，排名功能可以轻松定制。与许多其他搜索库相比，Whoosh创建了相当小的索引。Whoosh中的所有索引文本都必须是unicode。Whoosh允许您使用索引文档存储任意Python对象。示例：from whoo...

原创 Queue模块中的常用方法

Queue模块中的常用方法：Queue.qsize() 返回队列的大小Queue.empty() 如果队列为空，返回True,反之FalseQueue.full() 如果队列满了，返回True,反之FalseQueue.full 与 maxsize 大小对应Queue.get([block[, timeout]])获取队列，timeout等待时间Queue.get_nowait() 相...

原创 Python中的面向对象编程详解

本文讲解了创建类、实例化类、类属性、特殊方法内建属性、静态变量属性、实例变量属性、方法属性、静态方法、类方法等内容。创建类：Python中，使用 class 关键字来创建一个类。简单的类的声明可以是关键字后紧跟类名。实例化：类名后跟一对圆括号实例化一个类。类属性python的属性与Java和C++等面向对象语言不同,python的属性既包括了数据成员还包括函数元素,通过句点符号来访问。特...

转载 python3 多线程编程

python3对多线程支持的是 threading 模块，应用这个模块可以创建多线程程序，并且在多线程间进行同步和通信。在python3 中，可以通过两种方法来创建线程：创建线程的方法1.用 thread.Thread 直接在线程中运行函数import threading def threadfun(x,y): #线程任务函数 threadfun() for i...

转载 Python __setitem __（），__ getitem __（），__ delitem __（）

版权声明： https://blog.youkuaiyun.com/xhw88398569/article/details/48690163 __xxxitem__:使用 [''] 的方式操作属性时被调用__setitem__:每当属性被赋值的时候都会调用该方法，因此不能再该方法内赋值 self.name = value 会死循环__getitem__:当访问不存在...

原创 python __init__.py文件

python init.py文件Python模块的每一个包中，都有一个__init__.py文件（这个文件定义了包的属性和方法）然后是一些模块文件和子目录，假如子目录中也有 init.py 那么它就是这个包的子包了。当你将一个包作为模块导入（比如从 xml 导入 dom ）的时候，实际上导入了它的 init.py 文件。一个包是一个带有特殊文件 init.py 的目录。init.py 文件...

原创 正则表达式

原创 mongodb常用命令

启动连接启动服务：mongod --dbpath c:\data\db客户端连接：mongo，默认127.0.0.1:27017将MongoDB添加到windows系统服务（需要以管理员身份运行终端）添加服务：mongod --dbpath “c:\data\db” --logpath “c:\data\log\MongoDB.log” --install --serviceN...

转载 mysql数据库备份和还原常用的命令

备份MySQL数据库的命令mysqldump -hhostname -uusername -ppassword databasename > backupfile.sql备份MySQL数据库为带删除表的格式备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。mysqldump -–add-drop-table -uusername -ppass...

原创 解决 ImportError: No module named _internal

解决 ImportError: No module named _internal在运行 pip 时遇到如下错误：Traceback (most recent call last): File "/usr/local/bin/pip", line7, in <module> from pip._internal import mainImportError: No...

转载 Django搭建博客网站（2）

10、页面侧边栏：使用自定义模板标签我们的博客侧边栏有四项内容：最新文章、归档、分类和标签云。这些内容相对比较固定，且在各个页面都会显示，如果像文章列表或者文章详情一样，从视图函数中获取然后传递给模板，则每个页面对应的视图函数里都要写一段获取这些内容的代码，这会导致很多重复代码。更好的解决方案是直接在模板中获取，为此，我们使用 Django 的一个新技术：自定义模板标签来完成任务。使用模板标签的思...

转载 Django搭建博客网站（1）

一、前言1.1.环境python版本：3.6Django版本：1.11.61.2.预览效果最终搭建的blog的样子，基本上满足需求了。框架搭好了，至于CSS，可以根据自己喜好随意搭配。二、建立博客应用2.1.建立项目和应用创建工程blogprojectdjango-admin startproject blogproject创建blog应用python manage.py startpapp bl...

原创 认识爬虫（2）

用爬虫下载简单的页面，可以拿来练手import requestsclass TiebaSpider: def __init__(self,tieba_name_crawl): """ 初始化必要参数，完成基础设置 :param tieba_name_crawl: """ self.tieba_name =...

原创 认识爬虫（1）

可以直接拿来运行# 防止中文中文出现ｈｔｔｐ协议定义ＵＲＬ中的保留字符，编码成１６进制的字符串形式response = requests.get('https://tieba.baidu.com/f?kw=%E6%B5%81%E6%B5%AA%E6%B1%89')with open('tieba.html','w+',encoding='utf-8') as f: f.write(r...