
python学习笔记
文章平均质量分 61
爱python的王三金
所有的努力都值得期许,每一份梦想都应该灌溉!
展开
-
【数据分析】用Python做事件抽取任务-快速上手方案
OmniEvent库和大模型各有优缺点,适用于不同的应用场景。如果您需要快速实现事件抽取并且对特定领域有较高的定制化需求,OmniEvent是一个不错的选择。如果您追求高精度和强泛化能力,并且预算充足,可以考虑使用大模型。无论选择哪种方法,都需要根据具体需求和资源情况进行权衡。希望本文能为您的事件抽取任务提供一些有价值的参考。大数据分析为运营和各行业带来了前所未有的机会,使企业能够更敏锐地洞察市场、优化运营,并更有效地应对竞争和变革。原创 2024-06-17 09:15:00 · 1478 阅读 · 0 评论 -
全量数据采集:不同网站的方法与挑战
在当今数字化时代中,有数据就能方便我们做出很多决策。数据的获取与分析已经成为学术研究、商业分析、战略决策以及个人好奇心的关键驱动力。本文将分享不同网站的全量数据采集方法,以及在这一过程中可能会遇到的挑战。数据采集是探索数字世界的关键一步。通过了解不同网站的全量数据采集方法,我们能够更深入地了解特定领域、市场和用户行为。然而,我们要谨慎行事,遵守法律和伦理规定,以确保数据采集的合法性和合规性。爬虫工具是有用的,但思路更加重要,它们可以帮助我们解决数据获取和分析中的各种问题。原创 2023-09-15 14:41:13 · 1659 阅读 · 0 评论 -
【问大家】电商问答数据的采集与深度分析
本篇介绍了评价、问答相关的实际案例,展示了数据分析如何在实际场景中产生积极影响。这些案例说明数据分析在产品决策、市场营销等方面的重要性。无论是产品还是运营,数据分析都是其日常工作中不可忽略的一个板块。期待着能够与您共同探索更多有意义的数据洞见,为您的项目和业务提供数据分析方面的帮助。数据分析领域的从业者,拥有专业背景和能力,可以为您的数据挖掘和分析需求提供支持.原创 2023-09-02 16:54:24 · 1708 阅读 · 1 评论 -
ptyhon获取修改当前工作路径
import osos.chdir("目标目录") #修改当前工作目录os.getcwd() #获取当前工作目录原创 2021-12-31 16:44:10 · 354 阅读 · 0 评论 -
python 获取内存和cpu的使用率
获取远端设备的内存使用率和CPU使用率Python前辈封装了一个Paramiko模块,允许我们通过SSH对远程系统进行操作,上传和下载文件非常方便。他的使用很直观,下面是使用Paramiko封装的一个获取cpu、内存使用率的一个例子;import paramikoimport timelinux = ['192.168.11.111']def connectHost(ip, uname='root', passwd='bjzh@2020#7120'): ssh = paramiko..原创 2021-07-29 14:41:21 · 15395 阅读 · 6 评论 -
Python定时任务框架apscheduler入门学习记录
####原创 2020-10-14 17:58:32 · 34702 阅读 · 0 评论 -
python requests 库 跳过ssl 验证
# -*- coding: utf-8 -*-import requestsimport sysreload(sys)sys.setdefaultencoding('utf-8')#import ssl#ssl._create_default_https_context = ssl._create_unverified_contextproxy_handler = {'http': ...原创 2020-03-06 12:05:04 · 38937 阅读 · 1 评论 -
对公司的建议_工作总结
1、一些实验操作方法能够制作成视频或者把操作规程做成牌子挂在相应的仪器或设备旁边。有利新员工的培训及老员工养成规范性操作的习惯。2、体检:公司能够每年为员工组织一次健康体检,在公司指定的医院进行。3、有的制度无法有效的推行。培养员工的认识水平和自觉意识,然后相关部门应当加强监管,持之以恒。4、关爱员工让员工感觉到家的温暖,提高工作热情。5、公司应当认真的对待每一个员工提出的推荐,组织相关人...原创 2019-12-17 17:54:13 · 43557 阅读 · 0 评论 -
Python 技巧十则
根据Stack Overflow的介绍,Python是增长最快的编程语言。福布斯》的最新 报告 指出,Python去年增长了456%。Netflix使用Python,IBM使用Python,其他数百家公司都使用Python。让我们不要忘记Dropbox。Dropbox也是用Python创建的。根据 Dice的研究, Python也是拥有的最热门的技能之一,并且根据“编程语言索引的流行度”,...原创 2019-12-04 09:40:46 · 32471 阅读 · 2 评论 -
Python 海象运算符 (:=) 的三种用法
随着Python 3.8的发布,赋值表达式运算符(也称为海象运算符)也发布了。运算符使值的赋值可以传递到表达式中。 这通常会使语句数减少一个。 例如:my_list = [1,2,3]count = len(my_list)if count > 3: print(f"Error, {count} is too many items")# 当转换为海象运算符时...if ...原创 2019-11-30 21:42:23 · 19471 阅读 · 6 评论 -
Python效率之王之多进程和多线程详解
本指南的目的是解释为什么在Python中需要多线程和多处理,何时使用多线程和多处理,以及如何在程序中使用它们。文章太长不想看?这里是内容摘要啦~对于IO-bound任务,使用多线程可以提高性能对于IO-bound任务,使用多进程也可以提高性能,但是开销往往比使用多线程要高Python GIL意味着在Python程序的任意给定时间内只能执行线程对于CPU bound任务,使用多线程实际会...原创 2019-11-30 20:46:19 · 1677 阅读 · 1 评论 -
用python玩转视频帧率
需求背景在很多时候我们需要抽取视频的某一帧做一些分析或修改等;比如笔者需求就是判断一个人在该视频中出现的频率,以判断他是否是这段视频的主角;关于opencvOpenCV 是 Intel 开源计算机视觉库 (Computer Version) 。它由一系列 C 函数和少量 C++ 类构成,实现了图像处理和计算机视觉方面的很多通用算法。OpenCV 拥有包括 300 多个 C 函数的跨平台的...原创 2019-11-23 23:18:36 · 5848 阅读 · 0 评论 -
python词云 wordcloud 简单实例 入门
构建词云的方法很多, 但是个人觉得python的wordcloud包功能最为强大,不仅可以去停用词还可以自定义图片.官网: https://amueller.github.io/word_cloud/github:https://github.com/amueller/word_cloud安装pip install wordcloud分词首先需要进行分词,也就是将一个句子分割成一个个...原创 2019-11-06 16:56:58 · 1390 阅读 · 0 评论 -
Python日期时间datetime加减时间日期
当前日期时间import datetimeprint(datetime.datetime.now())2019-10-23 16:31:51.379862格式化时间import datetimeprint(datetime.datetime.now().strftime("%Y-%m-%d %H:%M"))# 2019-10-23 16:32当前时间多加一天import d...原创 2019-10-23 16:41:06 · 1746 阅读 · 0 评论 -
从Python字符串中删除表情符号
???? ???? ???? ???? ???? ???? ???? ???? ???? ???? ???? ???? ???? ???? ???? ???? ???? ???? ???? ???? ???? ???? ???? ???????? ???? ???? ???? ???? ???? ???? ???????? ???? ???? ???? ???? ???? ???? ???????? ???? ???? ???? ???? ???? ???? ✊✊ ✊ ✊ ✊ ✊ ✊ ✊原创 2019-09-04 16:50:00 · 8677 阅读 · 5 评论 -
Portia---一款开源可视化爬虫工具
文介绍Portia的学习使用背景由于最近在写一个可供配置的爬虫模板,方便快速扩展新的抓取业务,并且最后目标是将其做成一个可视化的配置服务。还正在进行中,并且有点没有头绪,所以想参考网上现有的轮子,看看能不能找到点新的思路。安装Docker安装完成后拉去portia服务项目# < ..FOLDER> 路径自定义即可 , 可在后面加上portia的版本docker run -i...原创 2019-07-01 15:37:53 · 23622 阅读 · 1 评论 -
Session与Cookie
COOKIE是什么?当你在浏览网站的时候,WEB 服务器会先送一小小资料放在你的计算机上,Cookie 会帮你在网站上所打的文字或是一些选择,都纪录下来。当下次你再光临同一个网站,WEB 服务器会先看看有没有它上次留下的 Cookie 资料,有的话,就会依据 Cookie里的内容来判断使用者,送出特定的网页内容给你。Cookie 的使用很普遍,许多有提供个人化服务的网站,都是利...原创 2018-07-08 20:23:00 · 197 阅读 · 0 评论 -
GIt基本使用
GIT下载安装下载地址:https://git-scm.com/downloads 找到相对应的版本下载安装后进入想要被git管理的文件夹空白处右击找到Git Bath Here点击 如下图: 点击后出现git的终端 Linux系统的命令在此终端都可以使用 如下图: 能打开git终端后就可以初始化git仓库了 如下图: 初始化后查看当前被git管理的文件 如下图: ...原创 2018-07-09 13:34:47 · 315 阅读 · 0 评论 -
生成器与迭代器
什么是生成器通过列表推导式,可以直接创建一个列表,但是收到内存限制,列表容量肯定是有限的而且,创建一个包含100万个元素的列表,占用很大的存储空间。如果我们仅仅需要访问前面几个元素,后面 后面元素的占用存储空间就被浪费所以,如果列表元素可以按照某种算法算出来,那我们就可以再循环当中不断地推导它,生成元素,这样就不必创建完整的list,从而大大节省了存储空间。在Python中,这种一边循...原创 2018-07-09 17:11:23 · 6856 阅读 · 2 评论 -
python常见的内置函数
内置函数Python内置函数就是python标准库里(语言自身携带的)函数(公共函数)。那么,接下来就来谈一谈python里的内置函数id() 函数用于获取对象的内存地址。In [2]: a= 123In [3]: id(a)Out[3]: 1627225376isinstance() 函数来判断一个对象是否是一个已知的类型,类似 type()。In [4]: a= 123I...原创 2018-07-06 23:12:38 · 1339 阅读 · 0 评论 -
常见网页状态码
2开头 (请求成功)表示成功处理了请求的状态代码。200 (成功) 服务器已成功处理了请求。 通常,这表示服务器提供了请求的网页。 201 (已创建) 请求成功并且服务器创建了新的资源。 202 (已接受) 服务器已接受请求,但尚未处理。 203 (非授权信息) 服务器已成功处理了请求,但返回的信息可能来自另一来源。 204 (无内容) 服务器成功处理了请求,但没有返...原创 2018-07-07 11:37:28 · 224 阅读 · 0 评论 -
Http和Https的区别
小编今天去面试,面试官问到了HTTP和HTTPS有什么区别这个问题,觉得回答的不是很好今天我们来总结下。HTTP是什么?http是超文本传输协议用来在web浏览器和网站服务器之间传递数据信息,http以明文的方式发送内容,不提供任何方式的数据加密,如果攻击者截获了Web浏览器和网站服务器之间的传输报文,就可以直接读懂其中的信息,因此,HTTP协议不适合传输一些敏感信息,比如:信用卡号、密码...原创 2018-07-20 21:09:13 · 408 阅读 · 1 评论 -
python 3 实现定义跨模块的全局变量和使用
python3 定义全局变量的方法有哪些?使用global关键字可以定义一个变量为全局变量定义一个“全局变量管理模块”global与全局变量管理模块的使用环境global的作用就是把局部变量提升为全局变量仅限于当前文件 当有另一个py文件再次需要使用这个全局变量时global关键字就无法满足了,所以就需要自定义一个全局变量管理模块借鉴global 关键字的思路,既然在一个文件...原创 2018-07-20 22:23:24 · 9055 阅读 · 2 评论 -
python制作图片缩略图
缩略图在很多时候我们都需要将图片按照同比例缩小有利于存储 但是一张张手动去改的话太麻烦了 今天我们就用python实现一个简单的将一个文件夹中的所有图片进行指定大小的调整 缩略前: 代码:import osimport globfrom PIL import Imagedef thumbnail_pic(path): #glob.glob(pathname),返...原创 2018-07-20 23:02:56 · 6808 阅读 · 0 评论 -
ubantu安装pymysql报错
ubantu 14.04.5安装pymysql时报错:Cleaning up...r'Command python setup.pyegg_info failed with error code 1 in /tmp/pip_build_root/cryptographyStoring debug log for failure in /root/.pip/pip.log个人解决方案...原创 2018-08-07 10:52:38 · 778 阅读 · 0 评论 -
使用Python读取mongoDB写入csv文件
方法一: 使用pandas 写入csv文件import pandas as pd#任意的多组列表a = ["a", "b", "c"]b = ["d", "e", "f"]#字典中的key值即为csv中列名dataframe = pd.DataFrame({'one_name': a原创 2018-10-30 10:22:50 · 4595 阅读 · 1 评论 -
使用Python 发送qq邮件
人生苦短 我用Python本人从事Python爬虫行业,最近一个头疼的事情就是有的网站时间不规整(新闻时间大于当前时间,时间处理不当),为了避免这类事情再次发生,我想使用Python每个一个小时去数据库里查一次如有大于当前时间的数据网站则邮件通知我,我采取改代码和删数据操作。具体代码如下:# coding=utf-8import smtplibfrom email.mime.text i...原创 2018-11-02 10:17:22 · 468 阅读 · 0 评论 -
使用python查询mongodb指定一段时间数据
mongodb中保存的数据是使用ISODate类型"lastAccessTime" : ISODate("2015-02-13T11:57:27.003Z")在mongodb中,如果想获取11月14号之后的数据,可以直接这样来写查询条件{'crawler.date':{'$gte':ISODate("2018-11-14T00:00:00Z")} }但是python中没有ISODate类型...原创 2018-11-14 09:40:37 · 44592 阅读 · 2 评论 -
Python datatime模块(学习笔记)
获取当前时间 datatimeimport datetimetime = datetime.datetime.now()print(time)执行结果为2018-07-01 15:22:30.411582获取当天日期 dataimport datetimetimes = datetime.date.today()print(times)执行结果为2018-07-01获取前n天/后n天(明天...原创 2018-07-01 16:00:06 · 352 阅读 · 0 评论