- 博客(34)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 基于C语言 高速缓冲区 RingBuffer ,讲在前头 your_save_data_struct 是自己定义的数据结构的类型
基于C语言实现的，可进行高速缓冲数据的Ring buffer结构
2023-04-21 14:33:14
255
原创 python logging模块使用 【代码可直接复制使用】【按照日期存储自动生成文件】【同时输出到控制台和文件中】
【代码】python logging模块使用。- 利用logging模块做了一个类和一个装饰器，可以将代码直接拷贝到自己的工程中使用，测试代码和说明下面也都有。- 日志会自动生成文件并且按照日期存储- 日志会同时输出到控制台和文件中- 使用时可以看使用示例
2022-10-11 15:33:24
1624
1
原创 python字符串操作增、删、改、查、截取
python常用的字符串操作记录python中字符串的操作，以后有了其他的操作会在这个文件中追加目录主函数字符串相加N个字符串相加字符串替换循环读取字符串字符串截取字符串查找以下所以函数调用的main函数，结果都是基于主函数中的字符串得出的 if __name__ == "__main__": str1 = "Yuang" str2 = "PangZi" str3 = "YuangPangZi" str_list = [..
2022-04-28 15:57:29
1168
原创 中国天气的各个城市的id，整理成json文件记录
{ "ids": [{"北京":"101010100", "海淀":"101010200", "朝阳":"101010300", "顺义":"101010400", "怀柔":"101010500", "通州":"101010600", "昌平":"101010700", "延庆":"101010800", "丰台":"101010900", "石景山":"101011000", "大兴":"101011
2020-12-27 22:30:52
1480
1
原创 python爬虫爬取B站【马保国】诶..朋友们好啊，我是混元形意太极门掌门人——马保国，独自一人撑起了B站2020年的年尾。
诶…朋友们好啊，最近逛B站，在首推页总能见到马老师的视频，每次总能被那些神仙UP主的脑洞惊呆，于是我就很好奇一个事情，马老师到底在B站有多火，只要带 马老师的视频总能上首推，我就搞了个爬虫，把视频标题带【马保国】的数据抓了一下，简单的做完数据之后，我渐渐的发现了，是我大意了，马老师真就独自一人撑起了B站的大量访问量。文章最后有彩蛋！，首先我在B站一共获取了1000条包含关键字【马保国】的数据我获取的数据中包含： 视频的链接，视频名称，UP主名称，播放量，弹幕量，上传日期、代码的话是很简单的虫子，我.
2020-11-27 21:18:11
3797
原创 爬虫学习笔记，从基础到部署。
爬虫基础知识：笔记中出现的代码已经全部放到了github上https://github.com/liangxs0/python_spider_save.git1.http基本原理http:协议。在HTTP之上添加了安全协议的叫https ssl域名：URL–>URI包含URL的。2.web页面的构成：html(骨架),CSS（皮肤）,js（肌肉）name、status、type、size、time3.请求方法get和post区别：get有一个http的限制，url的长度不能超过1
2020-10-27 16:00:57
2078
3
原创 numpy.float32()和numpy.float64()的数据存入数据库报错的处理方法
numpy.float32()和numpy.float64()的数据存入数据库报错的处理方法网上看了网友用flaot()方法强装，我试了一下，没有用方法就是利用nunpy.float()进行数据的转换，这样就会以浮点型的数据存储。要是要存整型的话可以进行进一步的转换。...
2020-06-18 20:41:03
3205
原创 云办公近一个月了，你的感受如何？
愿早日春暖花开，阳光明媚，相爱的人能尽情相拥。2020 ~ 愿生活依旧安好，世界和平因为疫情全国的很多程序员开启了云办公模式，2020年开启了云办公的元年。如今云办公如果从2月3日算起的话到目前已有28天了，这28天里大家感受如何？
2020-03-01 10:56:36
3118
原创 爬取钉钉在B站卑微道歉视频弹幕，做成词云
爬取钉钉在B站卑微道歉视频弹幕，做成词云先看用户老爷门给出得评价然后是爬取代码：很简单import requestsimport jiebaimport numpy as npfrom lxml import etreefrom wordcloud import WordCloud as wcfrom PIL import Imageurl = 'https://api.bil...
2020-02-17 20:58:44
4514
2
原创 python3打包程序为exe
说在前头，能用pyinstaller不用cxfreeeze,cxfreeeze打包出来的东西太大pyinstaller下载 pip install pyinstaller pip install pywin32 依赖打包方法pyinstaller a.py坐等。。。如果发生****deepth的错误删除dist 和 build 文件保留***。spec的文件然后打开他...
2019-12-06 17:42:07
434
原创 python3利用pandas读取excel的列取出最大最小值
python3利用pandas读取excel的列取出最大最小值from pandas import DataFrame,read_exceldef openfile(path,name): #读取文件，然后构成字典 #path文件路径 #sheet_name:选取表的表名，默认是第一张表 data = DataFrame(read_excel(path,sheet_name=name...
2019-12-06 17:30:00
12771
原创 python的ip代理池
爬取代理然后验证代理，将可用代理放入txt文件。辣鸡编码，大佬们轻喷，有问题留言。。。。。。。谢谢。结果如图import requestsfrom scrapy import Selectorstart_url = 'http://www.89ip.cn/index_1.html'url = 'http://www.89ip.cn/index_{}.html'headers =...
2019-12-02 11:14:15
956
原创 python3爬虫学习，抓取app（环境搭建和简单案例）
环境搭建java环境的安装，因为之后要安装Android_SDK，要与其兼容只要java8的。下载连接小弟给大佬们准备好了。java8的下载连接进入之后往下滑就可以看到。按照自己的操作系统要求进行下载，小弟这边就按照win10来了哈。注意下载的时候需要点击勾选上Accept License Agreement要不然它不让你下载，就在这个表的上头，仔细看。下载之后按照步骤一步步安装就可...
2019-11-10 17:44:27
564
原创 requests的使用-python爬虫（三） -合法爬取，拒绝牢饭
requests的使用简介如果你了解且使用过urlib的话，requests会让在爬取数据时更加简洁，requests是第三方库。因为这个神器是第三方的库，需要安装一下。利用pip对应安装就好。在使用的时候利用import的方法进行导入就好了。requests的基本用法get方法requests.get()用于请求目标网址，类型是一个HTTPresponse的类型。案例如下...
2019-10-10 12:00:48
807
原创 python爬虫入门学习（一）合法爬取，拒绝牢饭。
python爬虫入门学习（一）什么什爬虫其实爬虫很好理解，互联网好比是一张大网，在这张大网上有无数的站点，站点中有很多的数据信息。这时如果你需要获取某个站点的大量的数据的时候，几千几百的数据量你可以人工，当热这时候下载数据的人已经开始骂娘了。你完全可以利用计算器去做，爬虫就是一个在互联网上的一个蜘蛛，它可以根据你的需求让它帮你，你就可以去花前月下了。。。。额。注意：爬虫数据获取时必须合法，不...
2019-09-24 21:25:15
1930
原创 C语言整数转换字符的方法
C语言整数转换字符的方法char* int_to_change(int i){int j,buf,a;char* buffer[10];while(1){j = i%10;j += 48;buffer[a] = j;i = i/10;a++;if(j == 0)break;}return buffer;}
2019-06-05 09:40:06
4995
原创 AttributeError: 'callable_iterator' object has no attribute 'next'
python finditer().next()的报错版本问题python2.2时加入finditer()两种写法实测python3的写法为str = 'this and that'res = re.finditer(r'(th\w+) and (th\w+)',str,re.I)#注意这个地方的版本问题print(next(res).group(1))...
2019-05-24 15:23:00
4415
原创 ImportError: cannot import name 'ensure_dir_exists'的可解决办法
原因版本问题需要更新方法pip3 install --upgrade jupyter_core jupyter_client或者用conda的命令更新jupyter_core jupyter_client
2019-05-09 10:04:11
2862
2
原创 python matplotlib数据可视化案例-生成柱状图，饼图（扇形图），词云。
目前python,spark,scala十分火爆，于是我就利用爬虫将猎聘上的招聘信息进行了一下获取，相比起来，猎聘上的职位数量还是很多的，3中技术类型以“python，spark，scala”作为关键词，一共爬取了一万多条信息，爬取的主要信息为：公司名称，职位名称，薪资，地址，职位信息。最后将爬取后的数据，进行了简单的处理，进行可视化。数据获取爬虫的写法可以查看https://blog.c...
2019-03-13 14:43:06
2934
原创 python抓取招聘信息
selenium应用中的坑selenium库的使用能够很好的让你绕过反爬机制，应为程序在运行的过程中完全符合浏览器的行为，既然是完全符合历览器的行为那么也就不会被轻易的挡在外面，但是在应用过程中还是存在问题的。 spider在获取数据的时候，就是它能看到的，然后是你指定的数据，只要程序员爸爸给了合适的定位操作，spider就能通过定位拿到数据，但是前端的大佬们，往往在写页面的时候，有时候标签...
2019-02-14 15:47:10
839
1
原创 python selenium
python selenium这个模块玩儿爬虫的都知道，因为这个可以完全模拟人为的对浏览器的操作，在一些反爬虫做的很完善的站点的时候，大家选取这个模块，可以说是百试不爽。很多浏览器都支持自动操作，我一般用chrome。模块获取元素和定位按钮的方法有很多，这个大家可以具体官方文档。这里只是想踩一下Web页面的渲染问题，也就是，我们在使用selenium定位元素时，如果页面没有把你需要的需要...
2018-12-04 20:41:00
1039
原创 python爬取手机app数据.
前言现在很多的数据都来自移动端的app，很多的数据获取经过处理之后也是十分有用的，这次就爬取最近比较热的王者荣耀中的英雄们的图片，下载到本地。技术准备环境：windows/linux语言：python版本：3.7模块/框架：scrapy,os流程：1.使用抓包工具Fidder对手机app进行数据的抓取，至于说Fidder如何配置和使用，网上有一大把的资料大家供大家可...
2018-11-12 11:05:25
8060
1
原创 python3.6。爬虫学习入门笔记
爬虫前提知识：URLHTTP协议web前端，html css jsajaxre,XpathXML爬虫的定义百度上详细的介绍三大步骤：下载信息提取正确的信息根据一定的规则自定跳到另外的网页上执行的两步内容爬虫分类通用爬虫专用爬虫pyhon网络包简介2.X ----3.x----urllib,urllib3,httplib2,reques...
2018-10-17 14:20:42
992
原创 利用python写邮件发送模块
Email邮件历史。。。 起源 就是通信的一个发展，懒得打字了省略了，以后再查吧 管理程序 一些让邮件普及的邮件公司 邮件的工作流程 MUA（MailUserAgent）邮件用户代理 MTA（MailTransferAgent）邮件传输代理 MDA（MailDeliveryAgent）邮件投递代理 流程...
2018-10-08 22:22:51
1348
原创 基于python3网络
网络编程 网络： 网络协议：一套规则 网络模型七层模型-七层 物理层 数据链路层 网络层 传输层 会话层 表示层 应用层四层模型 链路层 网络层 传输层 应用层 每一层都有相应的协议负责交换信息或者协同工作 TCP/IP协议 协议族 IP地址：负责网络上唯一定位一个机器IP地址分5类3点4段式，每个字段是0~255127.0.0.1：本机IP...
2018-10-08 22:21:44
227
原创 Python的Scrapy的学习和应用
Scrapy爬虫的入门到精通http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html#id5*参考书籍 《精通Scrapy网络爬虫》1.1爬虫的定义和工作概述网络爬虫指的是在互联网上进行自动爬取网站内容的信息得程序，也被称作网络蜘蛛和网络机器人基本得爬取流程为： 1.2 Scrapy简介及安装...
2018-04-25 11:34:57
1328
原创 手把手教你用Ucos
Ucos操作系统的学习 实时操作系统： 任务切换，调度 分式操作系统 不可剥夺型内核Ucosii嵌入式实时操作系统的源代码分为三部分：与硬件无关的内核代码，与处理器有关的移植代码和用户配置文件。 Ucos最多支持64个任务，优先级分别对应0~63，其中0为最高优先级，系统保留4个最高优先级的任务，和4个最低的优先级任务，所有用户可以使用的任务56个1.建立任务a) OSTaskCReat...
2018-03-20 10:19:04
2598
基于51的调音器设计，带有原理图和源码
2018-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人