- 博客(20)
- 收藏
- 关注
RSS订阅原创 从零上手VibeCoding（ClaudeCode+DeepSeek V4.Pro）
本文介绍了ClaudeCode开发环境的配置流程。首先需要安装Node.js（版本不低于18）和Git工具，用于代码管理和版本控制。然后通过npm安装ClaudeCode，并通过环境变量配置DeepSeek API接入，包括设置API基础URL、认证令牌和模型参数等关键信息。配置完成后，开发者需要前往DeepSeek开放平台注册账号并获取API Key，完成充值后即可开始使用。最后通过创建项目文件夹，在终端运行claude命令启动开发环境。整个配置过程涉及系统环境变量设置、第三方API对接等关键技术环节。
2026-05-13 02:26:37
551
原创 带系统分区文件格式化后的机械硬盘100%占用假死
连接旧机械硬盘导致系统卡死，原因是Windows自动扫描损坏分区导致请求堆积。解决方法：通过组策略禁用可移动磁盘读取权限（gpedit.msc中启用"可移动磁盘：拒绝读取权限"），阻止系统自动扫描，待完成磁盘操作后再恢复设置。适用于Win10/11专业版系统。
2026-02-07 03:20:28
537
原创 大数据项目实战-基于Spark的招聘数据管理系统-项目初始化
4，使用chrome --remote-debugging-port=9224命令打开浏览并登录网站；2，使用pip -install命令下载所需Python库；3，下载Chrome浏览器对应版本驱动，放到代码同级目录下；
2025-07-14 03:23:29
229
原创 大数据项目实战-基于Spark的招聘数据管理系统-前端初始化
摘要：本文介绍了Django框架下创建APP的完整流程。首先通过命令行创建myApp应用并注册到settings.py，然后在models.py中定义User和History两个数据模型。接着执行数据库迁移命令生成MySQL表结构，并启动开发服务器。最后配置URL路由，包括用户登录/注册、数据可视化、收藏管理等接口路径。整个流程涵盖了Django应用开发的核心步骤：应用创建、模型定义、数据库迁移、路由配置等。（150字）
2025-07-14 03:02:01
361
原创 大数据项目实战-基于Spark的招聘数据管理系统-后端代码
摘要：本项目基于Django框架和Python语言，结合MySQL和Hive数据仓库进行数据处理。通过Spark对爬取的招聘数据分析。最终将处理结果同步存储至MySQL和Hive。系统实现了从数据采集、清洗到多维度分析的完整流程，为招聘市场研究提供数据支持。
2025-07-14 02:53:54
538
原创 大数据项目实战-基于Spark的招聘数据管理系统-前言与展示
复刻B站Up主"it_观图"的大数据毕设作品，包含注册登录、可视化大屏和后台管理等功能模块。虽然部分功能未完成，但提供了完整教程视频。最终效果包括用户注册登录界面、数据可视化大屏展示以及后台管理系统（部分截图）。有兴趣的小伙伴可以搜索原视频学习完整实现。
2025-07-14 02:34:44
205
原创 大数据项目实战-Spark实时交易数据统计看板——后端代码_数据处理
【代码】大数据项目实战-Spark实时交易数据统计看板——后端代码_数据处理。
2025-04-26 22:31:00
188
原创 大数据项目实战-Spark实时交易数据统计看板——后端代码_发送数据
【代码】大数据项目实战-Spark实时交易数据统计看板——后端代码_发送数据。
2025-04-26 22:28:24
177
原创 大数据项目实战-Spark实时交易数据统计看板——后端代码_数据定义
【代码】大数据项目实战-Spark实时交易数据统计看板——后端代码_数据定义。
2025-04-26 22:23:38
216
原创 大数据项目实战-Spark实时交易数据统计看板——系统架构
假设来自用户访问订单页面，商品成交后数据转发到订单系统，根据不同业务需求，数据来源于不同模块。使用Kafka的原因主要有：1，本项目为实时数据处理，需要数据吞吐量大，高效率的数据传输手段；2，实际开发中，数据部门通常不允许直接访问Mysql数据库，而是利用消息中间件ActiveMQ协调传输数据。订单编号（orderId）、商品编号（productId）、商品价格（productPrice）ODS层（Kafka），ADS层（Redis、Mysql）因数据自己模拟，已经是标准结构化数据，无需数据清洗操作。
2025-04-26 22:19:57
566
转载 网络爬虫——爬取拉勾网数据
1，打开Pycharm创建Django项目；2，使用pip -install命令下载所需Python库；3，下载Chrome浏览器对应版本驱动，放到代码同级目录下；
2025-04-26 22:13:08
1784
原创 Kafka详解——一文看懂Kafka
消息队列，本质上是个链表，常用于高并发应用场景的中间层，提升数据处理效率，链表节点的序号即offset。当A服务向B服务发送数据，消息队列中没有来得及更新到B服务的数据将会存储在内存中，如果B服务挂掉，数据就会丢失，因此将消息队列独立为一个单独进程。A服务即生产者Producer，B服务即消费者Consumer。
2025-04-26 21:54:51
853
原创 Hive环境配置——基于CentOS9Stream系统
我在配置环境时发现了一些环境配置的差异，CentOS9Stream上并不能按照完全相同的步骤来完成本地部署，也就是基于本地Mysql数据库的Hive部署方式。安装Mysql数据库，直接使用yum命令下载安装即可，好像是只能使用Mysql8.0，我安装Mysql5.7报了libexec.so6啥的错，网上搜了一些办法最终也没解决，所以最好直接用8.0吧。将Mysql的jdbc驱动拷贝到hive的lib目录下，因为我们下载的是Mysql8.0，所以驱动也要是8.0版本，不用具体到小版本。
2025-03-16 21:13:53
1047
原创 全国职业院校技能大赛-大数据应用赛项-离线数据处理-备赛笔记04-2024省赛离线数据处理专项训练
若该条记录第一次进入数仓dwd层则dwd_insert_time、dwd_modify_time均存当前操作时间，并进行数据类型转换。若该数据在进入dwd层时发生了合并修改，则dwd_insert_time时间不变，dwd_modify_time存当前操作时间，其余列存最新的值。若该数据在进入dwd层时发生了合并修改，则dwd_insert_time时间不变，dwd_modify_time存当前操作时间，其余列存最新的值。作为增量字段，只将新增的数据抽入，字段名称、类型不变，同时添加。
2025-01-04 15:56:19
1051
原创 全国职业院校技能大赛-大数据应用赛项-离线数据处理-备赛笔记03-数据抽取清洗与指标计算
5、 将ods库中orders表数据抽取到dwd库中fact_orders的分区表，分区字段为etldate且值与ods库的相对应表该值相等，并添加dwd_insert_user、dwd_insert_time、dwd_modify_user、dwd_modify_time四列，其中dwd_insert_user、dwd_modify_user均填写“user1”，dwd_insert_time、dwd_modify_time均填写操作时间，并进行数据类型转换。到Hive的dwd库中对应表中。
2024-12-16 19:21:01
2076
原创 全国职业院校技能大赛-大数据应用赛项-数据采集与实时计算-备赛笔记02-实时数据处理
以get key方式获取totalrefundordercount值，将结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下，需两次截图，第一次截图和第二次截图间隔1分钟以上，第一次截图放前面，第二次截图放后面；以get key方式获取totalprice值，将结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下，需两次截图，第一次截图和第二次截图间隔1分钟以上，第一次截图放前面，第二次截图放后面；编写Scala代码，使用Flink消费。
2024-12-15 10:07:14
1559
原创 全国职业院校技能大赛-大数据应用赛项-数据采集与实时计算-备赛笔记01-数据采集
使用redis cli以get key方式获取refundcountminute值，将结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下，需两次截图，第一次截图和第二次截图间隔1分钟以上，第一次截图放前面，第二次截图放后面；使用redis cli以get key方式获取cancelrate值，将结果截图粘贴至客户端桌面【Release\任务D提交结果.docx】中对应的任务序号下，需两次截图，第一次截图和第二次截图间隔1分钟以上，第一次截图放前面，第二次截图放后面。
2024-12-14 20:50:35
2493
11
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人