- 博客(155)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 python 爬虫之selenium可视化爬虫
文章目录前文回顾快速入门元素定位页面操作等待方式扩展程序加载前文回顾一文带你了解Python爬虫（一）——基本原理介绍一文带你了解Python爬虫（二）——四种常见基础爬虫方法介绍之所以把selenium爬虫称之为可视化爬虫主要是相较于前面所提到的几种网页解析的爬虫方式selenium爬虫主要是模拟人的点击操作selenium驱动浏览器并进行操作的过程是可以观察到的就类似于你在看着别人在帮你操纵你的电脑，类似于别人远程使用你的电脑当然了，selenium也有无界面模式快速入门sel
2020-08-05 19:52:11
32531
19
原创 （新）关于修改window.navigator.webdriver代码失效问题
关于修改window.navigator.webdriver代码失效问题的新的解决方案，不用退版本
2020-04-23 18:15:28
16543
67
原创 关于修改window.navigator.webdriver代码失效问题
修改window.navigator.webdriver值的那句代码`chrome_options.add_experimental_option('excludeSwitches',['enable-automation'])` 没有生效，也就是说selenium打开的浏览器在控制台Console检测结果仍然为TRUE，正常打开的 浏览器测试值应该为undefined
2020-02-21 09:48:45
5449
17
原创 修改Mysql数据库的数据存储位置
关键词：Mysql数据存储位置 | win10 + MySQL Server 8.0 | 环境：win10 + MySQL Server 8.0.15` | 修改数据存储位置俗话说：要想下班早，代码得敲好当我的python自动化写入数据库的代码跑的一切顺畅时候，来了个mysql错误：Binary logging not possible. Message: An error o...
2019-10-30 21:46:28
11909
4
原创 一个例子带你入门影刀编码版（三）
将通过一个电商业务场景下的真实需求，带领大家零基础入门影刀编码版，本系列将会分三步讲解，从接到需求到最后完成发版，整个过程中我们需要做些什么？带你们走一个完整开发流程。接前文《影刀自动化采集底层逻辑》《一个例子带你入门影刀编码版（一）》《一个例子带你入门影刀编码版（二）》
2023-12-13 12:13:31
1369
原创 一个例子带你入门影刀编码版（二）
将通过一个电商业务场景下的真实需求，带领大家零基础入门影刀编码版，本系列将会分三步讲解，从接到需求到最后完成发版，整个过程中我们需要做些什么？带你们走一个完整开发流程。接上文《一个例子带你入门影刀编码版（一）》打开网页，登录淘宝抓取总页数，循环抓取每一页信息涉及内容主要包含：元素定位–>选中元素的属性–>与选中元素进行交互（点击，悬浮，填写等）
2023-12-13 11:36:44
1411
原创 一个例子带你入门影刀编码版（一）
将通过一个电商业务场景下的真实需求，带领大家零基础入门影刀编码版，本系列将会分三步讲解，从接到需求到最后完成发版，整个过程中我们需要做些什么？带你们走一个完整开发流程。
2023-12-10 15:19:43
2276
原创 影刀自动化采集底层逻辑
开发的主要流程，一般工作内容是采集/操作浏览器网页，也会有一些客户端交互案例，比如千牛客服，钉钉消息批处理等。更多的工作场景还是基于网页进行的，所以我们还是以网页交互为主。在采集的过程中主要逻辑是先跟浏览器建立联系，在影刀中主要使用create后续所有操作都是对网页交互所以我们后续频繁使用的功能将是web下面的指令，可以重点了解视频版同步详见新鲜出炉的UP主，来当未来百大的老粉吧。
2023-09-26 12:13:50
3885
原创 我的影刀故事
基于以上情况，对于我来说，影刀更多的是充当Python编辑器和代码分发的角色，主要帮我解决帮同事配置环境和代码同步分发的痛点，本质上我还是在写Python，而影刀在诸多RPA中是和Python最契合的，学习迁移成本低，当然最主要的原因还是公司采购了影刀，公司有学习环境，而且影刀的社区做的也比较好，有更丰富的学习资料和案例，想学习的朋友也不用担心采购费用问题，大家可以使用社区版进行开发学习，只是不能分享给别人使用，其余功能与企业版基本上没有差别。
2023-09-26 11:45:49
720
原创 入门级js逆向解析——猿人学爬虫攻防大赛题目12
题目猿人学Web端爬虫攻防刷题平台直接注册即可，进入网站有指引说明，按步骤来就行今天要做的是第十二题：任务：抓取这5页的数字，计算加和并提交结果题目详情可以进入查看，网站有反爬手段，selenium也不行网页解析代码实例...
2021-11-01 19:05:54
418
原创 双十一无套路，paddlepaddle一键识别到手价
一年一度的双十一剁手节又来了，电商玩法淘箩也越来越复杂，你还在重拾丢掉多年的数学算到手价么？尤其是电商小伙伴们，还在为了算竞对到手价头疼么？！不用怕，paddlepaddle开源模型库教你一键识别到手价
2021-10-24 15:26:24
2590
原创 《Python环境配置｜Python技能树》
数据井喷的时代，数据分析不再是神台之上的专业技能，各行各业各个岗位都对求职者做出了更高的数据技能的要求，因此准备做个系列分享，从ESP(Excel,SQL,Python)的基础技能应用，到一些业务场景案例分析！记录下自己的成长轨迹，也希望可以帮助到更多的同学。毕竟是操作型教程，为便于学习，后续有计划开通视频版进行同步更新！
2021-09-28 16:07:06
291
原创 PaddleHub一键OCR中文识别（超轻量8.1M模型，火爆）——本地实现
参考资料:PaddleHub一键OCR中文识别（超轻量8.1M模型，火爆）关于本地执行的报错解决记录：报错1：无法下载模型，执行加载模型代码时报错，具体报错忘记截图了，造成此错误的主要原因是安装Paddlehub时的一个警告# 加载移动端预训练模型ocr = hub.Module(name="chinese_ocr_db_crnn_mobile")# 服务端可以加载大模型，效果更好 # ocr = hub.Module(name="chinese_ocr_db_crnn_server") .
2021-08-31 13:40:38
946
原创 【组队学习】Task03：学习BERT和GPT
组队学习资料：datawhale8月组队学习-基于transformers的自然语言处理(NLP)入门Task03主要学习内容：2.3-图解BERT.md2.4-图解GPT.md声明:NLP纯小白,本文内容主要是作为个人学习笔记,可能很多地方我自己理解也不是很到位,仅供参考,有争议的话可以多查点儿其他资料,并请评论区留言指正!谢谢其他参考资料...
2021-08-20 22:20:53
220
原创 【组队学习】Task02：学习Attention和Transformer
对于没有深度学习基础的小白我来说，看起来还是有点儿吃力的，结合了多方资料，大概了解了Transformer的运行机制，虽然还是似懂非懂的懵逼状态，收获还是蛮大的，本文更多作为个人学习笔记，很多地方理解也不是那么到位，仅供参考,有争议的话可以多查点儿其他资料,并请评论区留言指正!谢谢
2021-08-18 16:51:57
502
原创 五大方法添加条件列-python类比excel中的lookup
构造测试数据import numpy as npimport pandas as pdimport random# 随机生成20名同学，语数外三科成绩df = pd.DataFrame(np.array([random.randint(40,100) for i in range(60)]).reshape(20,3),columns=["语文","数学","英语"])df['总成绩'] = df.sum(axis=1)df添加一列条件列，给成绩评级，评级规则如下：差： 总成绩 &l
2021-07-29 11:23:00
496
3
原创 neo4j初次部署安装踩坑记录
文章目录neo4j简介和环境介绍安装步骤踩坑记录neo4j简介和环境介绍最近在研究知识图谱，知识图谱用于数据存储使用的是图数据库neo4j,本文主要记录下实操过程中遇到的一些问题，写给自己当个笔记，同时也希望可以帮助到其他朋友，自己也在摸索，有什么陈述不当的地方，欢迎斧正基础环境：操作系统：win7java版本：jdk14(最新版jdk是16，但是会出问题，经测试，当前neo4j最高支持到14)neo4j版本：neo4j-community-4.2.5-windows安装步骤一、软件下载
2021-05-01 21:07:17
1142
2
原创 一气之下开发了个群聊机器人
兴趣是最好的老师，很多人学东西坚持不下去的一个原因就是感觉没什么用，用不到，只有把学到的知识用起来才会有坚持下去的动力，所以今天来个有趣实用的案例，助力大家成长。放弃不难，但坚持一定很酷！加油！
2021-03-23 16:26:25
2901
1
原创 python自动下载邮件附件
继上一次的 群聊机器人开发 之后的工作流程再优化，上次研究完群聊机器人之后，开发了三个机器人替我处理表格并自动发出去。其中有一项工作的数据源来源于邮件，还需要我自己手动下载，放入指定位置才可以处理！虽然比之前方便了很多，但是还是想更方便些。（自己淘汰自己的路上越走越远o(╥﹏╥)o），于是想着能不能用代码下载，研究了半天还终于整出来了，而且还是两种方法！
2021-03-23 16:14:11
7944
12
原创 火爆全网：天池所有学习资源面世！
随着天气转冷、疫情复发，各地鼓励就地过年。为了方便大家在寒冬也能及时学习和补充知识，天池为AI开发者推出了“寒假AI充电计划”，针对学生、老师和广大技术人员提供了一系列丰富的AI课程、学习活动以及免费资源。天池“寒假AI充电计划”分为三部分：充电训练营、充电竞技场、充电能量站。在训练营中你可以提升自己的硬实力，学习新知识；在竞技场中你可以施展自己的技术能力，与众多相关领域技能爱好者和开发者一较高下；在能量站你可以继续补充自己的技术栈，get更多新技能。除了所有学习你都可以免费参与外，而且当你完成了对
2021-02-19 09:13:12
3284
原创 chrome升了chrome88后，selenium修改window.navigator.webdriver
chrome升了chrome88后，selenium修改window.navigator.webdriver
2021-01-26 18:22:11
7639
46
原创 阿里云ECS安装scala环境
下载压缩安装包scala 官网下载地址右键单击复制出下载地址# 下载压缩包到云服务器wget https://downloads.lightbend.com/scala/2.13.4/scala-2.13.4.tgz# 解压缩tar -zxvf scala-2.13.4.tgz2.配置环境变量cd scala-2.13.4/# 获取当前路径地址pwd# 环境变量配置vi ~/.bash_profile# 按 i 进入编辑模式# 添加进去scala启动路径expo.
2020-12-23 10:49:46
2096
转载 【优快云插件测评】浏览器必备插件，效率翻倍
优快云最新推出的浏览器插件，一键搜索，免费去广告，直达网站，搜索效率有很大的提升，一款有颜值有内容的提效工具。
2020-12-22 19:11:30
347
批量刷新PQ数据源小工具
2020-02-27
批量插图 test.xlsm
2020-02-19
指定日期累积温度.xlsx
2019-12-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人