- 博客(1044)
- 收藏
- 关注
RSS订阅原创 sqlite用的人多吗？
SQLite是一个轻量化的开源数据库，它没有服务器，无需复杂的配置安装，就可以直接用，很适合集成在APP、Web、小程序等应用里。里，SQLite MCP，能直接从集市里添加，然后在配置信息里输入前面的my_db.db数据库路径地址，保存即可。想要使用SQLite，一般是在Dbeaver这样的数据库管理工具里，Dbeaver也是开源工具，非常好用。所以说SQLite的应用场景非常广，绝对是良心数据库，体积小、安装快、无需配置，简直就是数据库中的小钢炮。对SQLite数据库进行操作，会用到SQLite库。
2026-01-08 15:46:40
265
原创 pdf如何提取表格？
是专门用来处理PDF的第三方库，完全开源和免费，它最核心的功能是提取PDF的文本和表格，支持保留段落、换行、空格的原始格式，不会像某些库那样把不同区域的文本混在一起，是我体验下来最好用的PDF处理库。虽然在Python上使用pdfplumber提取PDF文本表格并不难，但这仅限于懂Python的同学，如果你不会Python，那也是没办法用pdfplumber操作PDF，只能求助于付费软件。我突发奇想用pdfplumber搭建了个PDF文本表格提取应用，可以实现拖拉拽实现操作，不需要任何的代码。
2026-01-08 15:44:56
404
原创 使用dify搭建爬虫Agent工作流
亮数据是专门做数据采集的平台，有抓取器、解锁器、远程浏览器、MCP等工具，可以简化网页请求的复杂度，因为它把反爬处理技术嵌入在接口里，用户只需要提交需求和url就能直接采集到数据。网页抓取器，Dify上有相应的插件接口，它可以对亚马逊等跨境平台进行关键字段采集，并能自动处理平台的反爬限制，比如设置ip代理池、验证码解锁等技术，所以是比较省心的一个爬虫接口。”，并且设置输入变量描述、目标url，选择上一节点的输入变量“product_url”，由于亮数据key在之前已经配置好，这里可以直接用。
2026-01-07 22:59:39
749
原创 notebooklm这个功能有点炸裂啊
3、精准的使用场景设计，比如卡片、测验、信息图等，完全服务于知识整合、学习、共享，如果你是一个学生、自媒体、上班族，会发现notebooklm像是一个智能书房，自动整理、学习、产出，你要做的可能只是筛选、吸收。我看到小红书中有来自国内的notebooklm成员在分享经验，看起来他们的工作氛围也是很不错，好的产品应该自好的团队，底色是快乐、积极、开放的，我们的工作理应如此。在右边的studio功能区，可以生成音频、视频、思维导图、报告、闪卡、测验、信息图、演示文稿，每一项都可以自定义设置。
2026-01-06 22:41:34
734
原创 AI编程会让程序员集体失业吗？
大家都在说AI已经能写出完美的程序，但到目前为止，我没见过哪个AI写出来的爆款软件，等到哪天像微信、淘宝、Chrome、Tiktok、这样的应用已经将50%以上的代码交给AI去写了，我才能相信AI可以替代程序员。AI Coding降低了编程门槛，实现技术平权，这是它的贡献，但三流的工程师用AI也只能写出三流的程序，这没办法，就像把屠龙刀交给杀猪的，最终实现什么样的效果，完全在于使用者本身的专业素养。2、写一些固化的脚本，比如写100个数据API接口，这种都是根据PRD文档固定的东西，让AI写没啥问题。
2026-01-06 20:58:23
279
原创 vscode中调用deepseek实现AI辅助编程
大家好我是费老师，最近国产大模型新版本凭借其优秀的模型推理能力，讨论度非常之高🔥，且其官网提供的相关大模型API接口服务价格一直走的“价格屠夫”路线，性价比很高，本期文章中，就将为大家举例，如何在vscode中，基于开源AI编程辅助插件Continue，配置基于Deepseek的API接口，实现常用的AI编程辅助等功能。
2026-01-05 11:07:04
378
原创 7款电商数据必备的爬虫利器，强烈推荐~
在当今数据驱动的时代，自动化爬虫工具和软件成为了许多企业和个人获取数据的重要手段，特别是跨境电商、外贸等业务，对数据的需求非常大，比如对amazon、tiktok、shopee等网站数据的监测和获取。这里会介绍7款功能强大、操作简便的自动化爬虫工具，用好了可以更高效地进行数据采集，非常适合电商外贸场景。
2026-01-05 10:49:44
1719
原创 Puppeteer，非常好用的一款爬虫和自动化利器～
亮数据则是专门用于复杂网页数据采集的工具，可以搞定反爬、动态页面，比如它的Web Scraper IDE、亮数据浏览器、SERP API等，能够自动化地从网站上抓取所需数据，无需分析目标平台的接口，直接使用亮数据提供的方案即可安全稳定地获取数据。最近写爬虫采集电商数据，遇到很多动态加载的数据，如果用requests来抓包非常难，我尝试用了一个大家较为陌生的的工具——Puppeteer，它支持控制浏览器，能很好的采集动态网页，后来发现它不仅是一个爬虫工具，更是一个自动化利器。
2026-01-04 21:23:14
536
原创 原来这才是Pandas！
DataFrame是二维数组，Series是一维数组，DataFame类似于Excel表格，有行和列，这是用的最多的数据形式。接下来是Pandas中主要的几种操作方法，这里可以参考Pandas官方的cheetsheet导图来看，非常的详细且清晰。Pandas其实也需要处理同样多的事情，Excel的每一个按钮都对应Pandas的一个函数或方法，所以复杂度可见一斑。在这两种数据结构的方法之外，Pandas又有顶级函数，方便直接处理数据，一般都是。Pandas有两种数据结构，DataFrame和Series。
2026-01-04 21:22:37
248
原创 这3个BI可视化工具作图真的好看，强烈推荐～
当前业务可视化分析早已经不是过去Excel+VBA的模式了，各种BI工具眼花缭乱，不光能绘制绘制图表和制作可视化看板，还能实现自助式分析、SQL查询、机器学习建模、网页搭建、AI对话等各种需求，非常的强大，比如像大家熟知的PowerBI、Tableau，已经成为数据分析和可视化必备工具。你可以通过非常直观的操作界面，无需编写代码，简单的拖拉拽即可进行数据的清洗、转换和分析，以及可视化看板的搭建，你可以将其嵌入到web、app等应用中，非常便捷。Dash安装也很简单，使用pip即可。
2026-01-04 21:21:37
438
原创 virtualenv，非常强大的Python虚拟环境工具，强烈推荐~
虚拟环境的作用是给Python项目单独设置一个封闭空间，这个封闭空间包含了专属的Python解释器，pip工具，以及site-packages 目录，用于安装各种依赖，这样就不会影响全局环境和其他项目，也更更好地对本项目进行依赖版本的管理。在进行Python开发项目时，经常会用到各种依赖库，为了保持每个代码项目的独立性，以及避免与其他项目库相互干扰，导致版本冲突，这时候单独创建一个虚拟环境就很有必要。virtualenv是第三方库，所以需要先安装virtualenv，可以使用pip来安装。
2026-01-04 21:21:01
426
原创 Everything这么快，Windows自带搜索为啥做不到？
作为日常电脑重度使用用户，有一个软件是我必装的，那就是搜索工具Everything，因为Windows自带搜索太难用了，不仅速度慢，而且很难搜到想要的内容。这主要是因为Everything只检索电脑中的文件名及路径名，快速建立轻量数据库，索引一百万份文件一般只需要一分钟，当你关键字搜索时，是瞬时相应。这里简单介绍下Everything，它是一款轻量级的文件搜索工具，占用内存小（不到2MB），搜索速度快（秒级响应），文件检索功能强。不，"Everything" 仅需要使用非常少的系统资源。
2026-01-03 20:47:25
394
原创 Pandas语法真的很乱吗？
Pandas确实因为方法函数众多，光读取数据read()方式就有十几种，而且同一个数据处理场景同时有好几个方法可实现，比如拼接函数merge()和join()，导致使用起来有杂乱的感觉，特别是对于初学者，这种感觉尤为强烈。Pandas语法复杂不是设计层面有问题，主要是因为它要做的事太多了，你可以把Pandas看作代码界的Excel，都是处理行列数据的工具，Excel的按钮组件不计其数，比如格式、转化、插入、透视等。随之而来的是这两种数据结构有各种各样的方法和属性，用来处理数据，比如apply、join等。
2026-01-03 00:09:36
338
原创 没错，最强的AI编程工具还是它！
一个有趣的现象是，现在的各种AI编辑器像Cursor、Trae、Qoder、CodeBuddy等都和vscode长得很像，因为它们大多是fork vscode的，也就是在vscode上套壳装个AI大模型内核，变成了AI Coding tool。vscode最受欢迎的功能是它的插件库，和Python有点像，Python因为第三方库生态极为丰富好用，成为最流行的编程语言，vscode也是囊括了成千上万种插件，比如python、jupyter、C++、docker、maven等常用插件。
2025-12-31 22:37:52
346
原创 数据可视化利器，Altair画图原来这么好看
Altair不同于Matplotlib，它绘制图表代码更加简单直接，因为Altair是“申明式”语法，你只要提做什么就可以，Altair会自动渲染细节，不需要像matplotlib那样，要指定每个元素的步骤细节。比如说Altair绘制散点图，只需要在一个函数里告诉它x、y字段用什么数据，图表标题、大小是什么就可以，而Matplotlib则需要手工去创建画布、标题、尺寸，每个元素都需要去设计，更加麻烦。1、交互性能好，Altair是原生支持图表交互，可以随意与图表进行交互，实现酷炫的展示。
2025-12-31 22:37:22
421
原创 使用Dify搭建工作流，实现自动化商品采集分析
然后开始创建“亮数据网页抓取器”节点，选择“Structured Data Feeds”，并且设置输入变量描述、目标url，选择上一节点的输入变量“product_url”，由于亮数据key在之前已经配置好，这里可以直接用。其中用于数据采集的是亮数据网页抓取器，Dify上有相应的插件接口，它可以对亚马逊等跨境平台进行关键字段采集，并能自动处理平台的反爬限制，比如设置ip代理池、验证码解锁等技术，所以是比较省心的一个爬虫接口。执行工作流任务，它就会先采集数据，然后LLM分析数据，最后输出结论。
2025-12-31 18:13:38
1114
原创 这个BI工具搭建销售可视化看板真的好用~
最近发现一个很好用的BI工具-Quick BI，用它做了个新能源汽车销量可视化看板，支持交互查询、下钻分析、数据自动更新、数据下载、背景切换等功能，图表呈现很专业，几乎不需要什么美化，就能达到生产级的效果。Quick BI是阿里开发的一款BI应用，可以制作报表、大屏，也可以作为自助分析工具，它的图表模块内置UI设计，贴合商用场景，而且结构化布局，不需要花费过多时间去美化，专注数据分析即可。所有图表做好后，需要按照类别和重要程度进行排版，Quick BI是结构化布局，拖拉拽就可以，非常简单。
2025-12-31 18:13:02
635
原创 采集跨境电商数据，可以用用这个爬虫工具
就我个人经验来看，数据爬虫是很费时间的技术，特别对于中小公司和个人，我曾经想研究下某音用户短视频的评论情感倾向，需要大概100万条级以上的数据，光是写代码有上千行，虽然是公开数据，但会面临各种反爬手段，最后脚本磨了两三天才能正常稳定的运行。
2025-12-29 18:39:01
1549
原创 适合新手的5个爬虫工具&软件，非常强大~
爬虫，又称为网络爬虫或网页爬虫，是一种自动浏览互联网的程序，它按照一定的算法顺序访问网页，并从中提取有用信息。爬虫软件通常由以下几部分组成：模拟浏览器访问，避免被网站识别为机器人。发送HTTP请求，获取网页内容。使用正则表达式或DOM解析技术提取所需数据。将提取的数据保存到数据库或文件中。处理请求超时、服务器拒绝等异常情况。下面介绍几个我经常用的爬虫插件和工具，入门非常简单。
2025-12-29 18:38:06
1460
原创 为什么建议你用Jupyter？
Jupyter主要是用来做数据科学，其包含数据分析、数据可视化、机器学习、深度学习、机器人等等，任何Python数据科学第三方库都能在Jupyter上得到很好的应用和支持。其实它是集编程、笔记、数据分析、机器学习、可视化、教学演示、交互协作等于一体的超级web应用，而且支持python、R、Julia、Scala等超40种语言。在产品上，Jupyter不仅有简洁的Notebook ，还有工作台式的Lab，甚至线上平台化部署的Hub，对个人、团队、企业都可以完美支持。6、课堂编程相关的内容展示、实验。
2025-12-28 16:12:44
351
原创 为什么我不建议你再写SQL取数了？
最近一直在摸索如何用AI解决实际的业务问题，发现AI在调用数据库和处理数据上有些发挥的空间，于是我做了一个自动化数据处理的智能体，名叫“数分神器”，有以下3个核心功能：1、支持连接SQLite数据库，并实现抽取、写入的功能2、支持SQL、Python处理数据，按要求进行数据清洗、转换、透视等3、支持导出数据报告，并生成matplotlib图表这3个功能能涵盖ETL和数据分析的基本工作，也就是说AI可以替代这些初级岗位，而且能把活干的更高效、漂亮。
2025-12-28 16:11:59
590
原创 为什么这么多人质疑SQLite数据库？
比如在Trae里，SQLite MCP，能直接从集市里添加，然后在配置信息里输入前面的my_db.db数据库路径地址，保存即可。你也可以在Python对SQLite数据库进行操作，会用到SQLite库，这是Python标准库，不需要额外安装。说回来，SQLite是一个轻量化的开源数据库，它没有服务器，无需复杂的配置安装，就可以直接用，非常适合单机场景。所以说SQLite的应用场景非常广，绝对是良心数据库，体积小、安装快、无需配置，简直就是数据库中的小钢炮。最近看到有个问题：SQLite用的人多吗？
2025-12-28 16:11:18
254
原创 n8n、dify、coze，它更强？
现在主流的工作流工具有三家，分别是n8n、dify、coze，前两者出生就是开源的，coze是今年刚开源，从Github star数来看，n8n 150K排第一，dify紧随其后117k排第二，coze由于开源时间较晚只有18k。如果有评判标准，那Github的star或许是较为客观的一种方式，咱们就以这个顺序来讲讲这三种工作流的功能和优势。
2025-12-28 16:08:28
413
原创 爬虫到底难在哪里？
我本身是做跨境的，所以经常需要分析数据，所以自己就搭了一个python+亮数据解锁器的自动化采集程序，请求网页用到的是python requests，处理反爬用的亮数据网页解锁api，它是专门用来采集跨境平台的采集工具，可以处理各种反爬机制，能直接请求到结构化的数据，比较省事。爬虫其实最难不是解析html数据，而是请求http过程中遇到的各种反爬限制，不要以为爬虫只是HTTP请求->HTML解析->结构化数据储存，这几步看似简单，实则是爬与反爬的博弈，魔高一尺道高一丈。
2025-12-28 16:07:19
671
原创 我常用的5个效率小工具，强烈推荐
俗话说“工欲善其事，必先利其器”，真的一点没错，用对工具，你的幸福指数会立马提升。我平时主要的工作是看数据、撸代码、写博文，这三样事情都得靠电脑完成，几乎占据了我90%的时间，因此用一些提升效率的小工具非常有必要。这些小工具既包括客户端软件、APP，也有网站、插件等，给我的工作带来了很大的帮助。
2025-12-25 17:08:48
768
原创 我常用的7款免费AI工具，强烈推荐
这两年AI大模型工具喷涌而出，踏足各种使用场景，比如聊天、图像、视频、音乐等等这里列举了7款免费的AI工具，囊括了各种日常应用，其中大部分简单易用，适合无门槛操作。
2025-12-25 17:07:59
361
原创 聊一些鲜为人知但有趣的Python特性，附案例
之前有个小学弟毕业论文用到Python做NLP，学了半个月跟我说Python真的太良心了，语法相对Java简洁很多。我笑了笑说那是你用的太少，没遭遇到让人直呼f*ck的特性。确实，对于初学者来说Python的静态类型、强制缩进、解释性、强类型等特质，让它变得像英语短句那样容易理解，也不需要你有很强的抽象思维能力。但其实越往深里学，你会发现Python中有很多精心设计的小细节，会让新手觉得费解，甚至不解。这将会返回True，确实引用自同一对象。但如果你执行下面代码，会得到不一样的结果。它返回的是。
2025-12-24 16:36:20
365
原创 新手必须掌握的几个Python爬虫库，非常实用！
Python中有非常多用于网络数据采集的库，功能非常强大，有的用于抓取网页，有的用于解析网页，这里介绍6个最常用的库。
2025-12-24 16:35:19
1602
原创 这个科研绘图Python库非常强大，你用过吗？
matplotlib是Python中最底层的绘图库，它支持二维、三维、交互式等各种图表，而且通过元素化的模式能设计图表的任何细节，定制化程度非常高，很多可视化库都是基于matplotlib做二次开发的，或者是matplotlib的拓展，比如seaborn、pandas、mplfinance、DNA Features Viewer等，它们能应用于数据科学、金融量化、生物医学等各领域科研绘图。另外，matplotlib有一个示例集，里面有各式各样的专业图表，有的只需要换换数据就能为自己所用。
2025-12-23 21:46:23
227
原创 pandas实现sql的case when查询，原来这么简单！
sql中的case when的功能是实现单列或者多列的条件统计，其实Pandas也可以实现的，比如万能的apply方法，就是写起来复杂一些，没有sql case when那么直观。举个例子，一张考试成绩的表scores，有语文和数学的得分，现在给考生综合打分，两门都在90以上打A，都在80-90之间打B，其他则打C。逻辑也很简单，判断函数实现多列的判断条件，apply将该判断函数应用到数据集上，就能实现类似sql case when的功能。这里如果用sql来查询的话，使用case when就很简单明了。
2025-12-23 21:44:47
313
原创 Claude限制咱们使用，其实是一步错棋
今年老美出了很多牛逼哄哄的大模型，比如Claude 4.5 、Gemini 3 Pro，但无一例外都限制咱们使用，Anthropic甚至不给国内企业接入其API服务，导致很多Vibe Coding产品一下子性能下降不少。这是好事还是坏事？短期是有影响，特别是一些依赖Claude模型的Agent、RAG、Code产品，但长期反而会帮了国内AI产品。因为一个人越饥饿，越会自己寻找食物，很多强大是被“饿”出来的。
2025-12-22 15:58:31
261
原创 我常用的6种爬虫软件，值得收藏～
公众号后台经常有人私信要抓取某某网页数据，该怎么办？巧妇难为无米之炊，确实现在数据采集已经是最最常见的业务需求了，所以很多人想学python来写爬虫，以为爬虫只是HTTP请求->HTML解析->结构化数据储存，但其实爬虫远比想象的难。比如想研究跨境电商商品数据，看看国外的流行趋势，好不容易写个爬虫，结果网站全是验证码，甚至连网页都打不开。
2025-12-22 15:29:32
2406
原创 pandas中基于范围条件进行表连接
但在有些情况下，我们可能需要基于一些“特殊”的条件匹配，来完成左右表之间的表连接操作，譬如对于下面的示例数据框。等方法，可以根据左右表连接依赖字段之间对应值是否相等，来实现常规的表连接。而除了上面的方式以外，我们还可以基于之前的文章中给大家介绍过的。表连接是我们日常开展数据分析过程中很常见的操作，在。之间相差不超过7天，这样的条件来进行表连接，，直接基于范围比较进行连接，且该方式还支持。进行连接，再在初步连接的结果表中基于。
2025-12-21 11:53:22
367
1
原创 基于matplotlib轻松绘制漂亮的表格
还有很多高级进阶的使用方法，譬如单元格图片渲染、自定义单元格绘制内容等，下面的几个例子就是基于。，但是由于参数复杂，且默认样式单一简陋，想基于它绘制出美观的表格需要花费不少功夫。作为数据可视化的强力工具，可以帮助我们自由创作各式各样的数据可视化作品，其中。，我们可以分别对表头区域单元格、数据区域单元格进行样式设置，接受。参数，可细粒度地对每一列进行自由的样式定义，其中每个。的基础使用很简单，在已有数据框的基础上，直接调用。则可以分别控制各个部分分割线的样式，支持。中最强大的地方在于，其通过配置由。
2025-12-21 11:52:41
496
原创 使用Python selenium爬虫领英数据，并进行AI岗位数据挖掘
随着OpenAI大火，从事AI开发的人趋之若鹜，这次使用Python selenium抓取了领英上几万条岗位薪资数据，并使用Pandas、matplotlib、seaborn等库进行可视化探索分析。亮数据是一家提供网络数据采集解决方案的网站，它拥有全球最大的代理IP网络，覆盖超过195个国家和地区，拥有超过7200万个不重复的真人IP地址。但领英设置了一些反爬措施，对IP进行限制封禁，因此会用到IP代理，用不同的IP进行访问，我这里用的是亮数据的IP代理。AI岗位中位数年薪18W美金，最高50w以上。
2025-12-21 11:51:45
549
原创 这个可视化软件图表真的好看，强烈推荐~
这是BI软件的立身之本，tableau的Hyper数据引擎技术、VizQL可视化技术，非常好的将速度、性能、美观综合起来，满足BI软件的核心需求。熟悉BI可视化的同学都知道，现在企业届常用的BI工具主要是Power BI、FineBI、Tableau等，其中以Tableau可视化功能最为突出，做出来的图表非常好看。如果Tableau仅仅是个show的可视化工具，必然不会有这么高的市值，资本市场的眼睛是雪亮的。在Gartner 最新的BI排名众，Tableau仅次于PowerBI，是BI软件中的头部。
2025-12-21 11:51:04
304
原创 Claude / Gemini限制咱们使用，其实是一步错棋
今年老美出了很多牛逼哄哄的大模型，比如Claude 4.5 、Gemini 3 Pro，但无一例外都限制咱们使用，Anthropic甚至不给国内企业接入其API服务，导致很多Vibe Coding产品一下子性能下降不少。这是好事还是坏事？短期是有影响，特别是一些依赖Claude模型的Agent、RAG、Code产品，但长期反而会帮了国内AI产品。因为一个人越饥饿，越会自己寻找食物，很多强大是被“饿”出来的。
2025-12-21 00:01:06
370
原创 什么是自助式BI？和传统BI（商业智能）相比有何优劣势？
Python适合多数非程序员群体编程，自助式BI也更适合普通业务人员上手，这些BI都有友好的软件客户端，能更容易地进行可视化分析，而且一般是高频的分析场景，包括研究统计分布、制作图表、搭建看板、上传报表等，代表BI工具有Tableau、Java适合专业程序员开发软件，传统BI同样需要程序员来开发，需要懂一些前端、数据库、ERP知识，因为传统BI核心任务是搭建看板和大屏，不是那么高频的需求，但追求稳定、大气、酷炫，能支持大数据的接入，起码在国内是这样。等，还有些用BI软件搭建，比如。
2025-12-17 15:47:26
374
原创 为什么你写的Python爬虫脚本老是掉链子？
现在大型网站的反爬策略越来越高明了，不仅是对IP访问频率、User-Agent请求头进行异常识别，还会分析IP地址、浏览器指纹、JS动态加载、API逆向、行为模式等方式各种设卡，动不动跳出五花八门的验证码，非常难搞。怎么应对反爬是个系统性问题，需要采取多种策略，而且涉及到法律法规，得遵守网站的robot协议，做一些自动化检测、采集少量公开数据没啥问题，对网站造成干扰的事情可不能干。我觉得使用Python爬虫有6个技巧比较重要，可以更稳定的采集数据。
2025-12-17 15:23:22
1577
原创 selenium采集数据怎么应对反爬机制？
亮数据还有网页解锁功能，即Web Unlocker ，相当于把负责反爬处理机制放到一个接口里，你只需向Web Unlocker发送目标 URL，所有复杂的解锁过程（包括处理反机器人措施、执行 JavaScript、管理 cookie 和会话、轮换 IP 地址）都在后台自动完成，你会收到目标URL的完整 HTML或JSON响应。对于爬虫而言，最难的不是解析网页，而且应对反爬机制，比如动态网页、IP封禁、人机验证等等，这是爬虫工具没法自行解决的。如何使用Selenium抓取网页呢？可以看以下的代码示例。
2025-12-16 14:17:10
1180
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人