
python
唐僧不爱八戒
这个作者很懒,什么都没留下…
展开
-
Python基于windows操作RocketMQ
在 Python 中调用 Java 代码,从而实现 Python 端的消息生产与消费。RocketMQ 的 Java SDK 依赖多个 JAR 包,我们需要下载并引入它们。请注意,RocketMQ 的客户端库可能需要其他依赖库才能正常运行。现在,你已经可以在 Python 中使用 RocketMQ 进行消息队列处理了!三个方面,详细讲解如何在 Python 中使用 RocketMQ。RocketMQ 依赖 Java 运行环境,因此你需要安装。:在解压后的目录中,您可以找到。:下载完成后,解压缩该文件。原创 2025-03-11 16:15:52 · 1171 阅读 · 0 评论 -
机器学习_第一天(特征工程:特征抽取+特征预处理+特征降维)
机器学习算法是核心,数据和计算是基础清楚算法原理与适用场景即可,不用深究数学问题。大部分复杂模型的算法设计都是算法工程师在做,机器学习重点是:分析大量的数据 分析具体的业务 应用常见的算法 特征工程、调参数、优化机器学习的数据多为文件形式(csv),不使用mysql(mysql读取速度慢;格式不符合机器学习要求)1、可用数据集Kaggle 特点: 大数据竞赛平台 80万科学家 真实数据 数据量巨大 UCI数据集 特点: 覆盖科学、生活、经济等领域 收录了.原创 2022-03-04 11:34:23 · 785 阅读 · 0 评论 -
Supervisor在python3的使用
supervisor介绍首先,介绍一下supervisor。Supervisor(http://supervisord.org)是用Python开发的一个client/server服务,是Linux/Unix系统下的一个进程管理工具,不支持Windows系统。它可以很方便的监听、启动、停止、重启一个或多个进程。用Supervisor管理的进程,当一个进程意外被杀死,supervisort监听到进程死后,会自动将它重新拉起,很方便的做到进程自动恢复的功能,不再需要自己写shell脚本来控制环境:cento原创 2022-01-19 11:10:51 · 2785 阅读 · 0 评论 -
selenium登陆无头模式验证码验证不通过,普通模式正常
# 绕过滑块验证 driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => undefined }) """ })...原创 2021-10-15 14:01:24 · 1049 阅读 · 0 评论 -
成功解决:Jupyter command `jupyter-contrib` not found.
问题复现今天在配置notebook代码补全插件时,遇到了一个奇怪的问题(Exception: Jupyter command `jupyter-contrib` not found.)下面是网上的某个配置教程1.安装nbextensionspip install jupyter_contrib_nbextensions -i https://pypi.mirrors.ustc.edu.cn/simplejupyter contrib nbextension install --.原创 2021-09-10 10:32:58 · 14569 阅读 · 8 评论 -
python 生成word目录
import win32com.clientimport osimport timeimport loggingfrom logging import handlersdef update_doc(file): word = win32com.client.DispatchEx("Word.Application") # 模拟打开 office try:.原创 2021-07-14 15:30:47 · 2454 阅读 · 0 评论 -
Python 小写数字转为大写
def lowertoupper(number, recursive_depth=0): str_number = str(number) if len(str_number) > 4: str_number = str_number[-4:] bits = "零 一 二 三 四 五 六 七 八 九".split(" ") units = " 十 百 千".split(" ") large_unit = ' 万 亿 万'.split(" ").原创 2021-06-23 15:33:19 · 2103 阅读 · 3 评论 -
Python3 读取pdf到txt
from pdfminer.converter import PDFPageAggregatorfrom pdfminer.layout import LTTextBoxHorizontal, LAParamsfrom pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreterfrom pdfminer.pdfparser import PDFParserfrom pdfminer.pdfdocument import..原创 2021-06-09 17:56:21 · 171 阅读 · 0 评论 -
python生成树结构
# 生成树结构def get_trees(data, key_column='elementId', parent_column='parentId', child_column='children'): """ :param data: 数据列表 :param key_column: 主键字段,默认id :param parent_column: 父ID字段名,父ID默认从0开始 .原创 2021-05-25 16:38:10 · 2088 阅读 · 0 评论 -
flask 国际化
Flask-Babel简介它同Jinja2的i18n扩展一样,可以翻译Jinja2模板中的内容,以及Flask代码中的文字内容。同时它还可以翻译日期格式等等。它也是基于Babel和gettext等组件实现,有着非常简单友好的API接口,便于我们使用。安装和启用建议通过pip安装,简单方便:pip install Flask-Babel我们可以采用下面的方法初始化一个Flask...原创 2020-04-21 18:00:03 · 1079 阅读 · 0 评论 -
Python3 对接微信
# -*- coding: utf-8 -*-from wechatpy import WeChatClientimport timeimport requestsimport hashlibimport randomimport stringclass wxJdkParmasView(object): ''' 1, 此处官方文档明确提到用户需要缓存jsapi_tick...原创 2020-04-18 14:43:46 · 1058 阅读 · 0 评论 -
Python3 对接微信
import timeimport requestsimport hashlibimport randomimport stringclass wxJdkParmasView(object): ''' 1, 此处官方文档明确提到用户需要缓存jsapi_ticket 因为其api调用次数非常有限,根据文档说明我把获取基础支持的acess_token和ti...原创 2021-06-23 15:30:59 · 930 阅读 · 0 评论 -
100行python代码,轻松完成贪吃蛇小游戏
import pygame, sys, time, randomfrom pygame.locals import *# 定义颜色变量redColour = pygame.Color(255, 0, 0)blackColour = pygame.Color(0, 0, 0)whiteColour = pygame.Color(255, 255, 255)greyColour = p...原创 2020-04-15 09:48:28 · 396 阅读 · 0 评论 -
Scrapy settings.py配置文件详解
# -*- coding: utf-8 -*-# Scrapy settings for demo1 project # # For simplicity, this file contains only settings considered important or # commonly used. You can find more settings consulting the d...原创 2018-09-28 10:07:54 · 846 阅读 · 0 评论 -
Python3转换scel文件为txt文件
# -*- coding: utf-8 -*-import structimport os# 主要两部分# 1.全局拼音表,貌似是所有的拼音组合,字典序# 格式为(index,len,pinyin)的列表# index: 两个字节的整数 代表这个拼音的索引# len: 两个字节的整数 拼音的字节长度# pinyin: 当前的拼音,每...原创 2018-10-12 16:51:59 · 4665 阅读 · 23 评论 -
Python统计文件夹下数量
import osfrom os import pathimport datetimedef getAllFile(rootPath): fileList = [] files=os.listdir(rootPath) #获取文件列表 for fileName in files: fullpath=path.join(rootPath,fileNam...原创 2018-10-18 15:29:18 · 1791 阅读 · 0 评论 -
Python执行js代码
# -*- coding: utf-8 -*-import execjsctx = execjs.compile(''' function test () { var s = []; var hexDigits = "0123456789abcdef"; for (var i = 0; i < 36; i++) { ...原创 2018-10-11 19:59:58 · 672 阅读 · 0 评论 -
Python Django框架通过ajax传递数据到前端并显示
ajax代码如下:$(document).ready(function() { $.ajax({ url : "/stu/register_sql", dataType : "json", type : "get", async : tru...原创 2019-05-13 15:29:10 · 2475 阅读 · 0 评论 -
python获取时间
# coding=utf-8import datetimeimport timeprint ("格式参数:")print (" %a 星期几的简写")print (" %A 星期几的全称")print (" %b 月分的简写")print (" %B 月份的全称")print (" %c 标准的日期的时间串")print (" %C 年份的后两位原创 2018-10-11 10:23:15 · 2930 阅读 · 0 评论 -
scrapy 定时关闭
Scrapy的CloseSpider扩展会在满足条件时自动终止爬虫程序。可以设置CLOSESPIDER_TIMEOUT(秒)、CLOSESPIDER_ITEMCOUNT、CLOSESPIDER_PAGECOUNT、CLOSESPIDER_ERRORCOUNT分别代表在指定时间过后、在抓取了指定数目的Item之后、在收到了指定数目的响应之后、在发生了指定数目的错误之后就终止爬虫程序...原创 2018-10-17 14:34:22 · 762 阅读 · 0 评论 -
Python3操作ppt
import win32comfrom win32com.client import Dispatch, constantsimport ospath=r'C:\Users\mzj\Desktop\ppt'def ppt_text(p): ppt = win32com.client.Dispatch('PowerPoint.Application') ppt.Visibl...原创 2018-10-24 12:39:55 · 3772 阅读 · 1 评论 -
Chrome+selenium+Python 无头获取cookie
# -*- coding:utf-8 -*-#@Author:mzj #@Time:2018/11/15 11:24 #@File:qcc.py#@Software:PyCharmfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsdef get_qcc_cook...原创 2018-11-15 15:55:37 · 2852 阅读 · 0 评论 -
ElasticSearch启动报错,bootstrap checks failed
修改elasticsearch.yml配置文件,允许外网访问。vim config/elasticsearch.yml# 增加network.host: 0.0.0.0启动失败,检查没有通过,报错[2018-05-18T17:44:59,658][INFO ][o.e.b.BootstrapChecks ] [gFOuNlS] bound or publishing to ...转载 2018-11-19 17:56:40 · 13546 阅读 · 2 评论 -
python3的urllib3和requests
urllibPy2.x:Urllib库Urllin2库Py3.x:Urllib库变化:在Pytho2.x中使用import urllib2——-对应的,在Python3.x中会使用import urllib.request,urllib.error。在Pytho2.x中使用import urllib——-对应的,在Python3.x中会使用import urllib....原创 2018-11-27 18:02:07 · 21456 阅读 · 0 评论 -
python3发邮件
# -*- coding: utf-8 -*-from email import encodersimport osimport tracebackfrom email.header import Headerfrom email.mime.text import MIMETextfrom email.utils import parseaddr, formataddrimport...转载 2018-12-11 09:44:50 · 688 阅读 · 0 评论 -
常见爬虫反扒措施
header 浏览器的请求头 (全国动产抵押监督管理平台) User-Agent 用户代理,表明访问源身份的一种方式 (全国动产抵押监督管理平台) Referer 访问的目标链接是从哪个链接跳转过来的(做防盗链的话,就可以从它入手)HTTP来源地址(referer,或 HTTP referer)是HTTP表头的一个字段,用来表示从哪儿链接到目前的网页,采用的格式是URL。换句话说,借着...原创 2019-05-13 15:34:43 · 3994 阅读 · 0 评论 -
centos7安装Python3.6
centos7.2默认已经安装了python2.7.5,因此要安装python3.6的话,得从python官网上下载相应版本的安装包查看python2.7 1、下载:wget https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tar.xz2、解压:tar -xvJf Python-3.6.2.tar.xz 或者 xz -d Pyth...原创 2018-04-20 11:09:32 · 2067 阅读 · 0 评论 -
python 的break、continue、pass、exit()、return的用法
pass:为了保持程序结构的完整性,不做什么事,一般做占位语句for i in range(5): print(i) pass print(i*2)#下边是输出结果0012243648 return:结束函数,返回参数(需要注意的是,当执行return之后,函数return之后的语句将不会再继续执行下去,而是返回第一个循环的值)...原创 2018-09-20 11:20:57 · 11259 阅读 · 0 评论 -
python 制作下雪的情景
# -*- coding: utf-8 -*-import pygameimport random # 初始化pygamepygame.init() # 根据背景图片的大小,设置屏幕长宽SIZE = (1364, 569) screen = pygame.display.set_mode(SIZE)pygame.display.set_caption("Snow Anim...原创 2018-09-25 14:28:38 · 7467 阅读 · 5 评论 -
python 获取天气情况
city.py# -*- coding: utf-8 -*-city = { '北京': '101010100', '海淀': '101010200', '朝阳': '101010300', '顺义': '101010400', '怀柔': '101010500', '通州': '101010600', '昌平': '101010...原创 2018-09-25 14:26:57 · 995 阅读 · 0 评论 -
scrapy 解决ip问题
1、首先写一个脚本proxies.py 自动获取代理ip# *-* coding:utf-8 *-*import requestsfrom bs4 import BeautifulSoupimport lxmlfrom multiprocessing import Process, Queueimport randomimport jsonimport timeimport req...转载 2018-05-28 19:56:44 · 1395 阅读 · 0 评论 -
scrapy配置
scrapy配置增加并发并发是指同时处理的request的数量。其有全局限制和局部(每个网站)的限制。Scrapy默认的全局并发限制对同时爬取大量网站的情况并不适用,因此您需要增加这个值。 增加多少取决于您的爬虫能占用多少CPU。 一般开始可以设置为 100 。不过最好的方式是做一些测试,获得Scrapy进程占取CPU与并发数的关系。 为了优化性能,您应该选择一个能使CPU占用率在80%-90%的...转载 2018-05-18 11:48:37 · 1118 阅读 · 0 评论 -
scrapy settings设置详解
# -*- coding: utf-8 -*-# Scrapy settings for demo1 project## For simplicity, this file contains only settings considered important or# commonly used. You can find more settings consulting the document...转载 2018-05-18 10:09:32 · 2575 阅读 · 0 评论 -
python 离线安装包
1.建立放置python包的目录mkdir down2.使用下面命令在有网络的环境下下载相关python包pip install --download ./down -r requirements.txt (pip download -d ./down -r requirements.txt )pip 10以上3.把包拷贝到离线环境下执行下面命令: pip insta...原创 2018-04-19 16:42:00 · 2469 阅读 · 0 评论 -
python 读取文件夹下的所有文件并处理重新分类写入
import osimport sysimport ioimport time# sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') #改变标准输出的默认编码def read(): path = r"C:\Users\mzj\Desktop\高精准"# 文件夹目录 for i ...原创 2018-04-12 14:26:04 · 3528 阅读 · 0 评论 -
python时间与时间戳的转换
# import time## timestamp = 1523350976## #转换成localtime# time_local = time.localtime(timestamp)# #转换成新的时间格式# dt = time.strftime("%Y-%m-%d %H:%M:%S",time_local)# print (dt)#coding:UTF-8import ...原创 2018-04-10 17:05:37 · 2118 阅读 · 0 评论 -
centos中安装python3和scrapy爬虫
虚拟机环境是centos6.5,系统自带python2.6。我先要安装个python3.5,然后再安装scrapy。先更新下系统yum update -y安装依赖包yum groupinstall 'Development Tools'yum install gcc gcc-devel -yyum install libxml2 libxml2-devel -yyum install li...原创 2018-03-27 16:04:47 · 2336 阅读 · 0 评论 -
使用python来访问Hadoop HDFS存储实现文件的操作
1.安装pyhdfspip install pyhdfs2.这个是pyhdfs的库1234567import pyhdfsfs = pyhdfs.connect("192.168.1.1", 9000)pyhdfs.get(fs, "/rui/111", "/var/111")f = pyhdfs.open(fs, "/test/xxx", "w")pyhdfs.write(fs, f, "fuc.转载 2018-04-09 17:34:31 · 8487 阅读 · 0 评论 -
scrapy学习笔记
scrapy是python最有名的爬虫框架之一,可以很方便的进行web抓取,并且提供了很强的定制型,这里记录简单学习的过程和在实际应用中会遇到的一些常见问题Scrapy运行流程大概如下:引擎从调度器中取出一个链接(URL)用于接下来的抓取 引擎把URL封装成一个请求(Request)传给下载器 下载器把资源下载下来,并封装成应答包(Response) 爬虫解析Response 解析...原创 2018-03-31 16:59:34 · 2343 阅读 · 0 评论 -
python 八大排序的优缺点
排序算法 直接插入排序时间复杂度:O(n²)空间复杂度:O(1)稳定性:稳定def insert_sort(array): for i in range(len(array)): for j in range(i): if array[i] < array[j]: array.insert(j, array.po...转载 2018-06-12 11:11:40 · 1413 阅读 · 0 评论