- 博客(47)
- 收藏
- 关注
RSS订阅原创 AI使用示例（1）
春节期间deepseek大火，到现在为止一个多月的时间各家都开始疯狂卷AI，对于程序员来说（或者说对于所有打工人来说）蹭上这股热潮、利用AI来辅助自己工作增加工作效率就成了必要的技能了，接下来分享几个最近一段时间用AI的例子。
2025-02-28 10:49:36
354
原创 Selenium越过网页验证的几种方式
selenium模拟浏览器作为自动化测试工具，有很多人会用它来爬一些数据，这种方式通常都可以绕开网页自带的接口加密之类的东西直接获取数据。但是最近禁用selenium的网站越来越多了（直接浏览器可以打开，但是用selenium打开的浏览器访问这些网页就一片空白）。于是整理几个selenium绕过这些反爬措施的方法。
2024-12-31 15:58:55
1578
2
原创 spring boot+jpa接入达梦数据库
最近有一个新项目，由于信息安全等要求只能使用达梦数据库（dm8），之前从来没用过，特此开一个笔记记录一下spring boot+jpa如何使用达梦数据库完成开发。
2024-11-29 14:40:04
1129
原创 gpt4o使用例子
之前有研究过IDEA里面的AI的应用，但是那个都是各个厂商自己做的（或者自己转发）的AI功能，最近尝试了一下直接使用市面上最新的gpt（gpt4o）来解决一些问题，下面罗列了一些在之前工作中的使用场景。
2024-10-31 15:01:46
355
原创 搜狗微信搜索爬虫
最近在做一个语料采集的项目，其中有涉及到公众号内容采集（非指定公众号而是指定关键词的采集），于是考虑使用搜狗采集，记录一下采集过程。
2024-08-30 11:57:05
1161
1
原创 python做简单爬虫的一些常用组件
最近一直在做零散的一次性的爬虫工作，基本都是用python开发的，整理一下python做小规模爬虫开发常用的一些工具类。
2024-07-31 13:33:27
498
原创 Spring boot接入腾讯云IM实现通信功能
最近有一个需求是在小程序上开发一个在线聊天的功能，调研了一下觉得腾讯云的IM服务比较合适。腾讯云IM与应用之间的交互逻辑如图所示。
2024-05-30 11:17:23
1031
1
原创 API和SDK的区别整理
最近一直在做设备的对接相关的内容，很多都用到厂商提供的SDK，正好整理一下SDK和API的区别。SDK全称software development kit，软件开发工具包。一般都是一些软件工程师为特定的软件包9、软件框架、硬件平台、操作系统等建立应用软件时的开发工具的集合。通俗来讲就是第三方服务商提供的实现产品软件某项功能的工具包。
2024-04-30 10:30:41
882
原创 java实现短信、邮箱、微信公众号和企业微信群消息推送
最近一个项目全是各种消息要推送，其中涉及到短信、邮箱、微信公众号和企业微信-微信群，整理一下各个方式通过java的接入方式。
2024-03-29 13:51:50
1346
原创 jpa使用entityManager直接sql语句查询
最近在使用jpa做新项目，其中涉及到一些动态的数据结构（构建不出model类的）需要查询，因此调研了一下jpa怎么直接使用entityManager跑sql。
2024-03-01 11:45:10
689
原创 网络ADB连接（不用实体安卓线）
最近很多项目都用到了移动设备采集，传统的数据线连接采个一两周就会断掉需要重新插拔数据线，因此考虑使用adb远程连接。
2024-01-30 13:31:52
776
原创 UiPath学习笔记
最近有一个项目的采集调研涉及到了客户端的采集，就取了解了一下RPA和UIPATH，记录一下RPA（Robotic Process Automation：机器人处理自动化），是基于计算机操作系统的工作桌面，自动识别、完成预先设定的工作流程。
2023-11-30 14:11:24
1117
原创 spring boot rpc服务间调用
最近在弄一个新的项目，子服务巨多，互相之间还有一些业务关联，用的是rpc调用（spring boot的feignClient），写个文章记录一下。
2023-10-31 10:53:05
554
原创 minio安装及使用
前几天弄一个报告文件生成和下载的功能，由于是镜像部署的程序而且用了k8s的多节点部署，因此需要一个共享文件存储的功能，上网查了一下最后准备用minio。
2023-09-28 10:50:25
361
原创 jdk5-9新特性总结
之前整理过JDK11的一些有用的新特效介绍jdk11特性，这次再整理一期5-9的新特性（下次有机会再整理一次11-17的）
2023-08-30 10:57:20
289
原创 pdd wss传输数据解密（protobuf）
之前有个项目做的是各家直播弹幕平台的采集，抖音快手拼多多用的基本都是protobuf的方式，因此这次来一个pdd的protobuf解析。Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准，目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 .proto 文件。他们用于 RPC 系统和持续数据存储系统。Protocol Buffers 是一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化、或者说序列化。
2023-07-31 10:13:56
1422
2
原创 java实现求全部拓扑排序
前几天正好看到一个题目是求一张有向无环图所有可能的拓扑排序（拓扑排序定义见拓扑排序，其核心在于在拓扑排序中，任意结点需要排在他所有的前置结点后面。）之前想着手写试试看，后面发现可能的排序太多了，于是开始研究可不可以用代码来实现。
2023-05-30 14:55:46
138
原创 spring boot在runnable中访问service和repository
spring boot在runnable中访问service和repository
2022-12-26 15:57:26
1009
原创 Spring boot+jpa实现水平分表
文章目录前言实现分表逻辑拦截器配置小结前言最近在使用spring+jpa写一个项目，有一张表数据量太大要水平分表，但是jpa的sql语句不允许将表名作为传参，因此需要找别的办法来解决这个问题。实现分表逻辑这次的分表逻辑是根据某一个字段进行hash之后分256张表，首先是hash逻辑，简单的MD5 public static String getMD5String(String str) { try { MessageDigest md = Messa
2022-05-01 12:27:01
1577
1
原创 知乎搜索接口解密
文章目录前言传参解密分系前言最近接到了一个知乎搜索的采集要求，所以研究了一下知乎的搜索接口加密。传参研究了一下，只有cookie、x-zse-93和x-zse-96是必传的，93是固定值，96是用的加密的方式，话不多说，直接开始解密分析。解密分系全局搜索。可以发现在去source里找到对应文件，打上断点，运行一路点进去可以看到这个函数再点进去可以看到一个G.v函数基本这个就是最终加密了，...
2022-04-06 21:59:47
1620
原创 andriod7.0+charles抓包unknown问题
文章目录前言反编译修改配置重新打包前言之前在做手机采集调研的时候，发现对于andriod7以上的版本，很多app用charles抓包都会显示unknown，于是上网查了一下，发现是在android7之后系统证书和用户自行安装的证书被分开了，很多app可以识别到非系统证书从而不让访问了。于是上网找了找解决方法，最终是反编译apk后修改了点东西再重新安装之后好了。反编译apk反编译需要apktool这一工具，网上的下载资源很多。下载完之后将apktool.jar和需要反编译的apk放在同一路径下，随后
2022-02-28 11:47:54
2379
4
原创 浅谈mysql的回表
文章目录前言索引聚集索引覆盖索引结论前言最近做了几个比较大数据量的项目，用的数据库也都是mysql，因此想来借这个机会说一说mysql查询时候会接触到的一大特性—回表。索引谈及回表，一定绕不开索引的概念，一些基本的概念在这里都不细说了，如果有不清楚的读者可以点击下面的传送门MySQL索引其中聚集索引和非聚集索引是要关注的重点！后面会提及到聚集索引上一节的链接文章中介绍了聚合索引，而回表则是因为其的以下特性：聚合索引记录的是该行记录所有的值，而普通索引仅仅记录用于建立索引的值及对应聚合索引的值
2022-01-27 14:05:28
1143
1
原创 pandas.DataFrame基于jfinal Record的部分实现
文章目录前言实现总结前言之前是做python开发的，今年开始做java开发了，之前一直在用pandas，现在突然没有这个工具感觉很不适应，于是想到基于jfinal实现一些通用功能实现首先显示数据对象，简单的List< Record>private final List<Record> recordList;然后是初始化构造方法，提供了三个，分别是Record，List< Record>和单独一个Collection public DataFrame(
2021-12-29 11:51:58
552
原创 大众点评字体解密
文章目录前言调研采集程序小结前言最近有一个大众采集评论内容的采集需求，于是又和老朋友打了一次交道，这篇文章就是记录一下过程。调研随便打开大众点评一个KOL，查看对应评论点击检查页面元素内容可以发现还是老一样的字体加密，但是直接从元素检查页面看不到加密之后的密码，全局搜索“现在很难”后发现是接口形式传输，可以看到e7dd对应的是餐，ec90对应的是厅，下一步去寻找怎么加密解密字体。选中到加密的元素，发现使用的是一个css脚本，点进去发现是发现对应的是一个eot和一个woff文件，两
2021-11-30 13:46:37
1194
1
原创 vue学习日记（二）从接口获取数据加载到列表
vue学习日记（二）从接口获取数据加载到列表vue学习日记（一）vue入门文章目录vue学习日记（二）从接口获取数据加载到列表前言一、什么是双向数据绑定？二、使用步骤1.引用vue2.定义vue组件总结前言最近正好有个简单的小工具，出于学以致用的目的，就做了一回小小的全栈工作，里面正好有一个要求是从后端返回一个列表数据，加载到前端，就准备试试vue的双向数据绑定特点。一、什么是双向数据绑定？数据模型和视图之间的双向绑定。 当数据发生变化的时候，视图也就发生变化，当视图发生变化的时候，
2021-10-29 11:56:46
1518
原创 小红书滑块验证码
小红书滑块验证码问题背景情况代码编写计算滑动距离生成滑动距离列表执行总结背景最近在维护公司之前的小红书采集代码，其中详情页采集使用的是web直接采集，由于请求频率蛮高的就有了弹滑块验证的问题，之前靠人手滑，但昨天网站仿佛抽风了一样无限弹滑块验证，于是着手开发自动滑块功能。情况滑块验证大概就长这样在出现这种页面的时候你拿cookie无论怎么访问，都返回不了正确结果，因此需要将这个划开。代码编写计算滑动距离首先第一步肯定是要知道滑动距离，大概就是下图图示的长度那问题来了，怎么拿呢，用的方法
2021-09-30 11:41:01
5600
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人