- 博客(32)
- 收藏
- 关注
RSS订阅原创 【Python可视化】matplotlib画图方法与技巧梳理，持续更新方便及时查阅
朋友们，冬至快乐呀~~另外，提前祝大家2025元旦、2025蛇年行大运~~
2024-12-21 12:00:00
1636
原创 【Streamlit学习心得】个人项目实战，并部署在Streamlit Cloud，生成一个公网url随时访问
【Streamlit学习心得】个人项目实战，并部署在Streamlit Cloud，生成一个公网url随时访问目录【Streamlit学习心得】个人项目实战，并部署在Streamlit Cloud，生成一个公网url随时访问前言一、全局信息配置二、部分组件的使用三、缓存机制四、数据来源五、Git的使用六、项目地址写在最后前言Streamlit：一个能够迅速搭起web服务的Python框架，非常便捷地将本地的程序开发接口给别人调用。更多介绍官方文档写的很详细了点击跳转，安装也很简单，直接pip ins
2021-11-12 15:03:17
19084
39
原创 2021科大讯飞广告图片素材分类算法挑战赛—参赛总结
2021科大讯飞广告图片素材分类算法挑战赛—参赛总结目录2021科大讯飞广告图片素材分类算法挑战赛—参赛总结摘要赛题任务数据分析模型选择baseline模型融合赛题得分参考链接写在最后摘要比赛网址：https://challenge.xfyun.cn/topic/info?type=ad-2021&ch=dc-zmt-05赛题任务：本次分类算法任务中，讯飞AI营销将提供海量现网流量中的广告图片素材作为训练数据，参赛选手基于提供的训练数据构建模型，实现自动化广告图片素材分类。数据分析：
2021-09-28 09:19:37
1464
5
原创 2021微信大数据挑战赛—参赛总结
2021中国高校计算机大赛—微信大数据挑战赛—参赛总结目录2021中国高校计算机大赛—微信大数据挑战赛—参赛总结摘要赛题任务数据处理特征工程特征筛选模型选择赛题得分参考链接写在最后摘要比赛网址：https://algo.weixin.qq.com/赛题任务：本次比赛基于脱敏和采样后的数据信息，对于给定的一定数量到访过微信视频号“热门推荐”的用户，根据这些用户在视频号内的历史n天的行为数据，通过算法在测试集上预测出这些用户对于不同视频内容的互动行为（包括点赞、点击头像、收藏、转发等）的发生概率
2021-08-11 14:06:47
2497
10
原创 python+DCGAN模型生成验证码+训练CNN模型+测试模型准确率
python+DCGAN模型生成验证码+训练CNN模型+测试模型准确率目录python+DCGAN模型生成验证码+训练CNN模型+测试模型准确率前言摘要本文主要解决的问题一、生成验证码二、定义DCGAN模型生成器判别器三、训练DCGAN模型前言好久不见呀，朋友们，这篇文章已经是“蓄谋已久”的了，一直没有时间编写，今天总算挤出点时间来好好写写了。因为之前有在看深度学习的书籍，并写了python生成验证码→处理验证码→建立CNN模型训练→测试模型准确率→识别验证码这篇博客，当时对CNN和GAN两个模型
2021-06-01 14:47:55
2460
14
原创 python生成验证码→处理验证码→建立CNN模型训练→测试模型准确率→识别验证码
python生成验证码→处理验证码→建立CNN模型训练→测试模型准确率→识别验证码目录python生成验证码→处理验证码→建立CNN模型训练→测试模型准确率→识别验证码前言一、生成验证码二、处理验证码三、建立CNN模型训练四、测试CNN模型的准确率五、识别验证码写在最后前言本文使用了pillow库来生成自己想要的验证码，直接运行pip install pillow即可完成安装使用pytorch来建立和训练模型，本文使用的pytorchcuda8.0版本的1.0.0，可以在pytorch官网选择适合
2020-12-26 16:11:29
2571
2
原创 Flask+Bootstrap展示MM图片在网页上，从而更好地挑选富婆？？
Flask+Bootstrap展示MM图片在网页上，从而更好地挑选富婆？？目录Flask+Bootstrap展示MM图片在网页上，从而更好地挑选富婆？？前言需求分析开始敲代码1.编写前端html2.编写Python后端结果展示不足的地方写在最后前言哎呀呀，好久没更新博客了，趁着今天是1024节，我们的节日，来庆祝一下吧，祝各位大佬节日快乐呀~~言归正传，本次的分享是基于我前面两篇博客的，这篇已经是第三篇啦，小伙伴们可以按顺序观看更佳哦，（获取数据-分析数据-展示数据）这个完整项目算是收尾了：
2020-10-24 22:34:21
530
原创 数据分析师——个人求职之路经历分享（2020届）
数据分析师——个人求职之路经历分享（2020届）目录数据分析师——个人求职之路经历分享（2020届）前言求职之路面试总结写在最后前言在我写这篇文章之前，我已经拿到了offer，尽管没有想象中那么好，不过也还能接受。其实，在我还在找工作的时候，碰了几次壁之后，我就已经萌生出了要写一篇博客，把我所经历的事情给记录下来，这同时也在暗示着我，尽管面试失败有时会怀疑自己，但绝对不能放弃，一定要找到工作为止！这其实也是对这一次求职经历的一个总结吧，以后回头看，也许还会重新激起当时的那股劲~我把这次分享分为
2020-08-13 18:18:21
1513
6
原创 pyechart可视化分析有缘网18岁以上女性的相关信息（单身狗请进~）
pyechart可视化分析有缘网上25岁以上mm的相关信息目录pyechart可视化分析有缘网上25岁以上mm的相关信息前言一、读取数据二、数据可视化年龄的分布情况前言pyechart模块可以通过pip install pyechart来安装，这个可视化模块我之前的博文也有用到过，就不多介绍了。其官方文档：http://pyecharts.org这些数据是基于我的上一篇博客文章【Scrapy学习心得】爬虫实战五（Scrapy-Redis分布式爬虫）所爬取得到的。如果只是单纯地爬取数据，而不对其做
2020-07-15 14:15:57
893
3
原创 【Scrapy学习心得】爬虫实战五（Scrapy-Redis分布式爬虫）
【Scrapy学习心得】爬虫实战五（Scrapy-Redis分布式爬虫）声明：仅供技术交流，请勿用于非法用途，如有其它非法用途造成损失，和本博客无关目录【Scrapy学习心得】爬虫实战五（Scrapy-Redis分布式爬虫）前言一、基本配置二、分析页面三、获取的信息四、开始敲代码五、运行分布式爬虫项目六、将数据转存至MySQL七、一些tips、一些坑参考链接写在最后前言分布式爬虫：即多台机器同时爬取一个或多个网站，每台机器的爬虫代码基本相同，换句话说就是在一台机器上开发爬虫代码，开发完成后将其上传
2020-06-26 21:26:36
1190
原创 python多线程爬取加密后ts文件，解密后合成mp4视频
python多线程爬取加密后ts文件，解密后合成mp4视频声明：仅供技术交流，请勿用于非法用途，如有其它非法用途造成损失，和本博客无关目录python多线程爬取加密后ts文件，解密后合成mp4视频前言一、分析页面二、视频解密写在最后前言续我前几天发布的上篇博客：python多线程爬取ts文件并合成mp4视频，说道爬视频有三种级别，上篇的例子属于中等级别，那么接下来的这篇是困难级别的。其实，这里再修正一下，爬视频应该不止是3种级别，还有很多更加困难的网站。所以，学无止境，尽管路途遥远，也要勇往直
2020-06-06 23:50:47
3994
10
原创 python多线程爬取ts文件并合成mp4视频
python多线程爬取ts文件并合成mp4视频目录python多线程爬取ts文件并合成mp4视频前言一、分析页面二、整体思路逻辑三、源代码四、技巧写在最后前言在我看来，爬取视频可以分为简单、中等以及困难三种级别。简单级别：网页直接给出了mp4格式的视频链接，所以可以像下载图片一样发个请求就可以轻松获得中等级别：就是网页给出的是ts文件，所有的ts文件会存储在一个m3u8文件中，我们请求这个m3u8文件即可拿到全部的ts文件的请求网址，然后把全部的ts都下载下来，最后再将它们合成一个mp4格式的视
2020-05-26 23:58:24
5127
5
原创 python+selenium定时爬取丁香园的新冠病毒每天的数据，并制作出类似的地图（部署到云服务器）
python+selenium定时爬取丁香园的新冠病毒每天的数据，并制作出类似的地图（部署到云服务器）声明：仅供技术交流，请勿用于非法用途，如有其它非法用途造成损失，和本博客无关目录python+selenium定时爬取丁香园的新冠病毒每天的数据，并制作出类似的地图（部署到云服务器）前言一、准备二、爬取数据+画图第一步：分析页面第二步、编写代码第三步、结果展示三、部署到云服务器1.定时运行获取...
2020-02-07 20:00:22
12699
19
原创 python反反爬虫系列一（文本混淆）
python攻破反爬虫系列一（文本混淆）声明：仅供技术交流，请勿用于非法用途，如有其它非法用途造成损失，和本博客无关目录python攻破反爬虫系列一（文本混淆）1，图片伪装反爬虫2，css偏移反爬虫3，自定义字体反爬虫1，图片伪装反爬虫图片伪装：即你在浏览器上看到的文字或者数字，其实是一张图片，那么在网页源代码里面是找不到你想要的文字的，这种混淆方式并不会影响用户阅读，但是可以让爬虫程序无...
2020-01-21 14:48:22
3262
2
原创 python+appium爬取微信运动数据，并分析好友的日常步数情况
python+appium+mobile phone爬取微信运动数据，顺便数据分析一波好友们的运动情况前言微信运动只能看到前30天的数据，超过的会过期而拿不到，我也是现在才知道的。本来还想拿多一点数据的哈哈。...
2020-01-12 20:34:56
8944
16
原创 python实现微信自动回复机器人+查看别人撤回的消息（部署到云服务器）
手把手教你实现微信自动回复机器人+查看别人撤回的消息（部署到云服务器）前言首先你的微信号能够登录网页版微信，才能打造你的专属个人微信号机器人，点击跳转网页版微信登录页面类似的文章网上也都有，其实我也是受到别的文章的一些启发，因为不是每个人都想实现同样的功能的，直接套用别人的代码不严谨而且bug太多，于是就想自己动手从零开始实现一个属于自己的微信机器人，不过呢，也大同小异吧。算下来前前后后...
2019-12-30 11:52:09
8779
21
原创 python定时天气预报（微信提醒）（部署到云服务器）
python定时天气预报（微信提醒）（部署到云服务器）需求：拿到当天的天气预报信息，并且把天气预报关键信息合成语音，然后将天气预报信息和合成的语音通过微信公众号发送给粉丝，最后部署程序到云服务器，设置定时任务运行程序。ps：有了上一篇的邮件提醒才有了这一篇点击跳转一、准备工作在我的上一篇博客中列举的那些准备，如果这里也用到的话就不再详细介绍了哈微信公众号测试账号（为了给微信发送信息）...
2019-12-02 16:20:54
2416
3
原创 python定时天气预报（邮件提醒）（部署到云服务器）
python定时天气预报（邮件提醒）（部署到云服务器）需求：拿到当天的天气预报信息，并且把天气预报关键信息合成语音，然后将天气预报信息和合成的语音发送到指定邮箱，最后部署程序到云服务器，设置定时任务运行程序。一、准备工作邮件授权码申请（为了发邮件）和风天气API注册（为了得到天气预报的数据）百度语音合成API申请（为了发送语音的邮箱附件）云服务器申请（为了部署到云服务器，设置定时计划...
2019-12-01 22:13:50
5771
1
原创 python爬取Instagram上偶像的帖子（包括图片和视频）
python爬取Instagram上偶像的帖子（包括图片和视频）爬取的网站：Instagram上JayChou周杰伦的所有帖子 点击跳转本次爬虫使用的是:requests一、配置环境python3.7pycharmrequestswin10pymysql二、分析网页打开之后发现它是AJAX动态加载的，并且加载完了前面的，再往后加载的话，前面加载完的会消失掉的。按F12打...
2019-11-21 15:01:22
2568
1
原创 【Scrapy学习心得】爬虫实战四（动态加载的页面数据获取）
【Scrapy学习心得】爬虫实战四爬取的网站：今日头条各个板块的新闻信息 点击跳转本次爬虫使用的是:scrapy+selenium一、配置环境python3.7pycharmScrapy1.7.3win10pymysql二、准备工作在cmd命令行中进入需要创建项目的目录运行scrapy startproject haha创建成功后继续执行cd haha然后执行scra...
2019-10-23 14:46:11
3682
原创 【Scrapy学习心得】添加IP代理
【Scrapy学习心得】添加IP代理添加ip代理即添加proxy属性的值这里我用到的免费ip代理需要先在66免费代理网上取到ip，这个网站真得很好用，只需要请求以下便可以得到想要数量的ip。附上链接点击跳转只需修改scrapy项目下的middlewares.py中间件，废话不多说，直接上代码：from scrapy import signalsimport requestsimport...
2019-10-14 18:33:00
1325
原创 【Scrapy学习心得】添加随机用户代理
【Scrapy学习心得】添加随机用户代理添加随机用户代理即添加随机User-Agent只需修改scrapy项目下的middlewares.py中间件，废话不多说，直接上代码：from scrapy import signalsimport randomclass UseragentDownloaderMiddleware(object): USER_AGENTS=[ ...
2019-10-14 15:47:25
620
原创 【Scrapy学习心得】爬虫实战三（异步下载宝马5系高清图片）
【Scrapy学习心得】爬虫实战三爬取的网站：汽车之家的宝马5系所有高清图片 点击跳转一、配置环境python3.7pycharmScrapy1.7.3win10pymysql二、准备工作在cmd命令行中进入需要创建项目的目录运行scrapy startproject hehe创建成功后继续执行cd hehe然后执行scrapy genspider bmw car.a...
2019-09-30 11:00:47
727
原创 【Scrapy学习心得】爬虫实战二（异步保存数据到数据库）
【Scrapy学习心得】爬虫实战二爬取的网站：京东图书商品信息（所有类别下的第一页数据） 点击跳转一、配置环境python3.7pycharmScrapy1.7.3win10pymysql二、准备工作在cmd命令行中进入需要创建项目的目录运行scrapy startproject hehe创建成功后继续执行cd hehe然后执行scrapy genspider jd ...
2019-09-29 16:50:42
1233
1
原创 【Scrapy学习心得】爬虫实战一（入门案例）
【Scrapy学习心得】爬虫实战一爬取的网站：东莞阳光网问政平台中的投诉页面 点击跳转一、配置环境python3.7pycharmScrapy1.7.3win10pymysql二、准备工作在cmd命令行中进入需要创建项目的目录运行scrapy startproject tutorial创建成功后继续执行cd yg然后执行scrapy genspider yg sun0...
2019-09-29 14:39:09
1367
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人