Jimy_Fengqi

功能网站地图是根据网站的结构、框架、内容，生成的导航网页，是一个网站所有链接的容器。很多网站的连接层次比较深，蜘蛛很难抓取到，网站地图可以方便搜索引擎或者网络蜘蛛抓取网站页面，了解网站的架构，为网络蜘蛛指路，增加网站内容页面的收录概率。网站地图一般存放在域名根目录下并命名为sitemap一个典型的sitemap，其内容片段如下：该 XML 文件并未包含任何关联的样式信息。文档树显示如下。 <urlset> <url> <loc>http://example.

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

环境配置系统：Ubuntu系统编辑器：PycharmPython版本：python3.6（自带celery4.3.0）第三方包依赖： django3.0.8本文简介这篇文章主要介绍了celery4+django3定时任务的实现, 用于定时获取热门网站的榜单，组成一个新闻聚合网站网上有很多celery + django实现定时任务的教程，不过它们大多数是基于djcelery + celery3的； 或者是使用django_celery_beat配置较为繁琐的。显然简洁而高效才是我们最终的追求，

前言django是python语言的一个web框架，功能强大。配合一些插件可为web网站很方便地添加搜索功能。搜索引擎使用whoosh，是一个纯python实现的全文搜索引擎，小巧简单。中文搜索需要进行中文分词，使用jieba。直接在django项目中使用whoosh需要关注一些基础细节问题，而通过haystack这一搜索框架，可以方便地在django中直接添加搜索功能，无需关注索引建立、搜索解析等细节问题。haystack支持多种搜索引擎，不仅仅是whoosh，使用solr、elastic se

django核心配置项 Django的默认配置文件中，包含上百条配置项目，其中很多是我们‘一辈子’都不碰到或者不需要单独配置的，这些项目在需要的时候再去查手册。强调：配置的默认值不是在settings.py文件中！不要以为settings.py中的配置值就是默认值，参考前文。settings.py是使用django-admin startproject xxx命令时，额外给我们创建的。下面介绍的是61个相对比较常用和重要的配置项，按字母顺序排序，但是最后部分是cache、auth、message

Python 自动斗图小老弟，听说你喜欢斗图，来来来，我们来PK一下，谁的图少算谁输！我一句话来几十张图，就问你怕不怕！这个怎么实现呢，我们要分三步：下载表情包到本地 设计查询表情包 自动根据表情包发送表情下载表情包有个网站叫斗图啦：http://www.doutula.com里面的表情挺多的2000多页、一万多个表情图片，足够你使用了简单的看了一下这个网页...

1. 背景    在使用selenium浏览器渲染技术，爬取网站信息时，默认情况下就是一个普通的纯净的chrome浏览器，而我们平时在使用浏览器时，经常就添加一些插件，扩展，代理之类的应用。相对应的，当我们用chrome浏览器爬取网站时，可能需要对这个chrome做一些特殊的配置，以满足爬虫的行为。    常用的行为有：        禁止图片和视频的加载：提升网页加载速度。     ...

 APScheduler简介在平常的工作中几乎有一半的功能模块都需要定时任务来推动，例如项目中有一个定时统计程序，定时爬出网站的URL程序，定时检测钓鱼网站的程序等等，都涉及到了关于定时任务的问题，第一时间想到的是利用time模块的time.sleep()方法使程序休眠来达到定时任务的目的，虽然这样也可以，但是总觉得不是那么的专业，^_^所以就找到了python的定时任务模块APSched...

一、环境准备1、官方网站地址2、Windows 103、Sublime Text 3 + 官网购买license（Just a suggestion，$80）　　购买链接，Sublime Text may be downloaded and evaluated for free, however a license must be purchased for continued u...

python 的日志logging模块学习  1.简单的将日志打印到屏幕  import logging logging.debug('This is debug message') logging.info('This is info message') logging.warning('This is warning message')   ...

part 1:经常用到ffmpeg 做一些视频数据的处理转换等，用来做测试，今天总结了一下，参考了网上部分朋友的经验，一起在这里汇总了一下，有需要的朋友可以收藏测试一下，有问题欢迎在下面回帖交流，谢谢;by ternence.hsu)1、ffmpeg使用语法命令格式：     ffmpeg -i [输入文件名] [参数选项] -f [格式] [输出文件]     ffmpeg...

先说一下，time.sleep()来让程序休眠叉叉秒，即运行到这个地方，程序将释放CPU，过了预设的叉叉秒后，程序继续运行。看一个简单的例子，我最喜欢以最原始简单的例子来阐述一个东西。   import time   for i in range(5): print i time.sleep(10) 这个程序的结果就是，每隔10s钟输出一...

转自 https://www.cnblogs.com/kex1n/p/6002158.html os.path.abspath(path) #返回绝对路径os.path.basename(path) #返回文件名os.path.commonprefix(list) #返回list(多个路径)中，所有path共有的最长的路径。os.path.dirname(path) #返回文件...

获取文件大小关键函数是os.path.getsize(file)获取文件夹大小没有直接的函数，但是可以通过遍历文件夹，将每个文件的大小叠加关键函数for root, dirs, files in os.walk(filePath): for f in files: fsize += os.path.getsize(os.path.join(roo...

一个密码生成器，可以生成规定位数的密码，也可以全部列举出来 import randomimport stringimport itertools#随机生成num位数的密码，密码里面包含a-z,A-Z,0-9def getRandomNumKey(num): a=string.ascii_letters+string.digits#数据源是a-z,A-Z，0-9 key=r...

这里讨论使用Python解压例如以下五种压缩文件：.gz .tar  .tgz .zip .rar简单介绍gz： 即gzip。通常仅仅能压缩一个文件。与tar结合起来就能够实现先打包，再压缩。 tar： linux系统下的打包工具。仅仅打包。不压缩tgz：即tar.gz。先用tar打包，然后再用gz压缩得到的文件zip： 不同于gzip。尽管使用相似的算法，能够打包压缩...

概述Python 实现的、带GUI界面的词云生成器。 选择文档（中文、英文均可)即可生成词云，支持自定义 停用词词典，支持自定义遮罩形状。详细详细说明：“词云”就是数据可视化的一种形式,给出一段文本，根据文本中词语的出现频率而生成的一幅图像，从而过滤掉大量的文本信息，人们只要扫一眼就能够明白文章主旨,使得数据分析的结果更加直观。准备工作：1.安装必要的第三方库：pip...

转载地址：https://zhuanlan.zhihu.com/p/27350980本文是一个精心设计的Python框架、库、软件和资源列表，是一个Awesome XXX系列的资源整理，由BigQuant整理加工而成，欢迎扩散、欢迎补充！对机器学习、深度学习在量化投资中应用感兴趣的朋友可以直接在BigQuant人工智能量化投资平台上开发策略~~~Python实现算法...

Xpath (XML Path Language)，是W3C定义的用来在XML文档中选择节点的语言一：从根目录/开始有点像Linux的文件查看，/代表根目录，一级一级的查找，直接子节点，相当于css_selector中的>号/html/body/div/p二. 根据元素属性选择：查找具体的元素，必须在前面输入标准开头//，表示从当前节点寻找所有的后代元素//di...

Python让你的终端输出变得五彩斑斓前言Linux下终端变换颜色window下终端颜色显示平台通用的方法最后的最后前言也许你希望在终端上输出一些带有颜色或者粗体、下划线等样式的信息，就像man中的那样；又或者海量的信息堆砌在控制台导致各种信息都显示在一起，让人抓不住重点，或者使用python处理文档文件的时候，希望能看到一些中重点语句。这时候，如果能给重要的信息加上差异的字体颜色，那么就...

今天给大家分享一个使用Python破解WiFi密码的代码，这个代码也是非常简单，这里需要用Python中的pywifi这个库，所以需要在DOS命令下安装这个库，同样使用pip install pywifi，很简单就安装成功了，我用的是Python3，所以各位看的时候需要注意这一点。接下来我们一步一步分析主要代码，后面同样附上完整的代码。对了，需要注意一点，就是电脑必须是要用无线网卡的。密码本...

抖音上比较有趣的罗盘时钟，今天用turtle来画一下，基本功能实现了，拿来练习一下turtle,感觉还可以吧turtle的安装sudo apt-get install python3-tk罗盘时钟思路就是，绘制三个圆，在圆周填充字符，充当仪表，以当前时间为起点，然后定时重新绘制图形所以本例实现看着有点卡顿的感觉。代码实现：import turtlefrom ...

前言在之前的《中国诗词大会》上面，曾经出现过诗词接龙的规则，当然诗词接龙肯定不是现在才有的内容，它应该是来源于飞花令飞花令飞花令是古人行酒令时的一个文字游戏，得名于唐代诗人韩翃（hóng）《寒食》中的春城无处不飞花”。行飞花令时可选用诗词曲中的句子，但选择的句子一般不超过7个字。一般而言，对于成语接龙大家或多或少都还能接上一些，但是对于诗词接龙，如果不是特别研究诗词的人，那么一般...

压缩文件密码忘了，可以通过撞库的方式来做尝试解压密码,算是暴力破解吧。推荐自娱自乐import rarfile# 定义通用解压函数def tryZipPwd(zFile,savePath,pw =None): try: if pw == None: zFile.extractall(path=savePath) els...

转自：https://www.cnblogs.com/claireyuancy/p/6702340.html这里讨论使用Python解压例如以下五种压缩文件：.gz .tar  .tgz .zip .rar简单介绍gz： 即gzip。通常仅仅能压缩一个文件。与tar结合起来就能够实现先打包，再压缩。 tar： linux系统下的打包工具。仅仅打包。不压缩tgz：即tar...

使用python解压zip文件，带密码或者不带密码都可行，适合批量解压时使用# @Date : 2018-08-31 14:45:58# @Author : Jimy_Fengqi (jmps515@163.com)# @Link : https://blog.youkuaiyun.com/qiqiyingse# @Version : V1.0import zipfilefi...

装饰器在python里面有很重要的作用， 如果能够熟练使用，将会大大的提高工作效率今天就来见识一下 python 装饰器，到底是怎么工作的。本文主要是利用python装饰器计算函数运行时间一些需要精确的计算函数运行了多久的程序，都可以采用这种方法#coding:utf-8 import urllib2,re,time,random,os,datetimeimp

1.使用系统自带库  os这种方法的优点是，任何浏览器都能够使用， 缺点不能自如的打开一个又一个的网页import osos.system('"C:/Program Files/Internet Explorer/iexplore.exe" http://www.baidu.com')2.使用python 集成的库  webbroswerpython的webbrowser模块

python的注释方式和C语言、C++、java有所不同python语言中，使用‘#’ 来进行注释，其次还有使用 三个引号来进行注释本文的程序将把 python 中 使用‘#’ 号 好 三个引号的注释分离出来， 当然也能再次合并回去有需求的小伙伴可以来围观了#!/usr/bin/python#coding=utf-8import osimport sysreload

去空格及特殊符号s.strip().lstrip().rstrip(',')复制字符串#strcpy(sStr1,sStr2)sStr1 = 'strcpy'sStr2 = sStr1sStr1 = 'strcpy2'print sStr2连接字符串#strcat(sStr1,sStr2)sStr1 = 'strcat'sStr2 = '

有时候难免需要直接调用Shell命令来完成一些比较简单的操作，比如mount一个文件系统之类的。那么我们使用Python如何调用Linux的Shell命令？下面来介绍几种常用的方法：1. os 模块1.1. os模块的exec方法族Python的exec系统方法同Unix的exec系统调用是一致的。这些方法适用于在子进程中调用外部程序的情况，因为外部程序会替换当前进程的

在用到大型代码库， 而且它是用repo  git 等工具来维护的代码库的时候， 我们下载同步代码，一般使用repo sync -c .  这种方式来同步整个代码， 但当我们下载或者同步某个单独的分支的时候，往往不是这样的我们需要单独的找到这个库的分支名称，找分支这个工作往往需要多走几部，当然也可以使用 cat  .repo/manifest.xlm | grep '关键词'

获取不同的IP使用不同的user-agent#!/usr/bin/python# coding:utf-8import reimport randomimport sysimport timeimport datetimeimport threadingfrom random import choiceimport requestsimport bs4#从

转载地址  http://blog.youkuaiyun.com/MrLevo520/article/details/52397305前言在爬取的过程中难免发生ip被封和403错误等等，这都是网站检测出你是爬虫而进行反爬措施，这里自己总结下如何避免方法1：设置等待时间有一些网站的防范措施可能会因为你快速提交表单而把你当做机器人爬虫，比如说以非常人的速度下载图片，登录网站，爬取

json.dumps : dict转成strjson.loads:str转成dict也就是说，一个是将字典转换为字符串    一个是将字符串转换为字典看下面的例子import json TestTarget = {1:'A', 2:2, "jimy":"666",'tom':888} # test js

pyquery库是jQuery的Python实现，可以用于解析HTML网页内容，我个人写过的一些抓取网页数据的脚本就是用它来解析html获取数据的。他的官方文档地址是：http://packages.python.org/pyquery/。今天重新看了一遍整个文档，把它的一些使用方法整理了一下，做个记录。使用方法from pyquery import PyQuery as pq

quote函数  属于urllib库里面的一个函数屏蔽特殊的字符、比如如果url里面的空格！url里面是不允许出现空格的。按照标准， URL 只允许一部分 ASCII 字符（数字字母和部分符号），其他的字符（如汉字）是不符合 URL 标准的。所以 URL 中使用其他字符就需要进行 URL 编码。URL 中传参数的部分（query String），格式是：name1=va

前两天总结了一下使用python 调用真正的浏览器打开网页的方法但那仅仅是总结一下而已，今天本文来实战演练一下 依然使用的是 webbrowser 这个模块 来调用浏览器关于的三种打开方式在上一篇文章中已经说过了，这里不再赘述如果没有特意注册，那么将会是使用默认的浏览器来打开网页，如下： #默认浏览器#coding：utf-8import webbrowser a...

在写程序的时候 ， 没次总会写一些重复的函数， 因此有必要把他们收集一下再之后的使用中，可以直接使用。1.自定义log打印函数：#自定义log 打印函数， 以数字定义log 级别 def my_log(log_leavel,msg): #import time #0：不打印 1：main 2：error 3：warning log= { 0:lamb

 #!/usr/bin/env python#-*- coding:utf-8 -*- import platformos = platform.system()print osprint platform.platform()print platform.version()print platform.architecture()'''    python中，plat...