Gecco框架典型案例—闲逛APP

最新推荐文章于 2025-09-20 12:06:34 发布
转载 最新推荐文章于 2025-09-20 12:06:34 发布 · 156 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/u/2336761/blog/684579
文章标签：

#爬虫 #移动开发

Gecco开源爬虫框架自2015年发布以来，以其易用性和可扩展性获得认可。为验证其性能，Gecco团队开发了闲逛APP，成功抓取京东、苏宁等电商数据，实现商品价格跟踪、优惠信息聚合等功能，展现了框架的稳定性和实用性。

Gecco开源爬虫框架是2015年12月31日发布的，发布以来在易用性、可扩展性上得到了大家的肯定。目前在github上已经有230+的star，100+的fork。那么，Gecco这个新的爬虫框架在实际应用中的表现如何呢？为了让用户放心使用Gecco框架，Gecco团队发布了一款使用Gecco爬虫框架开发的APP——闲逛。这款应用更多的是用来验证Gecco框架的易用性、稳定性、可扩展性。任何脱离实际应用的框架都是耍流氓。

闲逛应用抓取了京东、苏宁易购、天猫、什么值得买等10多个主流电商和导购平台，经过数据清洗和聚合实现了如下功能：

  • 【历史新低】实时获取电商价格动态，历史新低谁买谁赚
  • 【值得买】全网什么值得买信息全收录
  • 【9.9包邮】天猫9.9包邮实时更新
  • 【优惠券】收集全网优惠券信息

闲逛应用的爬虫部分主要使用了Gecco的核心和Gecco-Spring的扩展框架，由于规模还不大，并没有使用Gecco-Redis分布式爬虫，由于考虑到效率问题也没有使用Gecco-HtmlUnit扩展框架。下一步引入更多电商网站的抓取后将会使用Gecco-Redis扩展框架进行分布式抓取，以验证Gecco-Redis的可靠性。

闲逛应用的爬虫部分已经做了7*24小时的稳定性测试，今后，Gecco的升级都会先在闲逛应用上做好测试后再进行版本的发布。

APP目前只有Android客户端。可以通过点击这里下载，也能通过扫描下面的二维码进行下载，有兴趣的朋友可以安装使用。 闲逛

转载于:https://my.oschina.net/u/2336761/blog/684579

chenmaya8367
关注
闲逛
02-14
"闲逛"这个标题可能是在暗示我们正在探索或研究与机器人技术相关的JavaScript应用。在这个名为"botgazing-master"的压缩包文件中，我们可以期待找到一个关于构建、理解和分析机器人系统的JavaScript项目或者库。 ...
彩超框架EchoSight开发日志记录
Z.Jiang
01-16 2774
作者：蒋志强 不定期更新EchoSight开发日志记录，最近更新于2024年04月06日
crawler爬虫demo, 基于gecco
程序燕的博客
11-21 1310
今天我们来写一下基于gecco的爬虫例子。 当然还是以京东页面为例，链接：https://www.jd.com。 首先我们主要需要gecco包：          com.geccocrawler    gecco    1.2.8 好了，我们来不如正题吧！ 先创建一个类（CatalogItemModel）有这两个：        @Text @HtmlField(cs
Gecco的网络爬虫例子
weixin_33939843的博客
11-19 542
GeccoSpider爬虫例子 前些天，想要用爬虫抓取点东西，但是网上很多爬虫都是使用python语言的，本人只会java，因此，只能找相关java的爬虫资料，在开源中国的看到国内的大神写的一个开源的爬虫框架，并下源码研究了一下，发现跟官网描述的一样，够简单，简洁易用！有兴趣的朋友可以到官网了解下！ 我这个例子也是在查看了官网的《教您使用...
gecco源码分析
helloworlddm的博客
12-04 945
（1）GeccoEngine->run（） 1.默认采用proxys文件代理集合 2.scheduler的设置，在循环状态下scheduler = new StartScheduler() 否则 scheduler = new NoLoopStartScheduler(); 3若spiderBeanFactory为空，则进行初始化 4.设置cdl的值，数目为线程数目 5.将starts.j...
GitHub开源项目 - Jeecg-Boot开始开发平台介绍
YunWisdom
10-15 7384
GitHub开源项目 - Jeecg-Boot开始开发平台介绍 Jeecg-Boot 是一款基于SpringBoot+代码生成器的快速开发平台！采用前后端分离架构：SpringBoot，Mybatis，Shiro，JWT，Vue&Ant Design。强大的代码生成器让前端和后台代码一键生成，不需要写任何代码，保持jeecg一贯的强大，绝对是全栈开发福音！！ JeecgBoot在...
57、工作场所网络闲逛行为的测量与影响
win55的博客
09-19 73
本文介绍了一种新的工作场所网络闲逛行为测量工具——CBLS-15量表，该量表包含信息浏览、社交网络、个人事务和赌博/成人内容四个维度，具有良好的信效度和时间稳定性。研究发现网络闲逛与工作需求、角色冲突和压力呈正相关，而与工作绩效和满意度呈负相关。文章还提出了管理网络闲逛的策略，如合理安排任务、提供休息时间、加强网络管理和提升员工意识，并展望了未来在个体差异、技术影响和跨文化方面的研究方向。
请根据这些文献帮我拟定一份关于论文题目为 ”小组工作介入大学生网络闲逛行为的干预研究 “的框架和提纲
03-29
- 典型案例：戒除网瘾小组、时间管理训练小组 - 干预机制：群体规范建立、社会支持网络构建 #### 四、研究方法 ```python # 示例：实验组对照组设计 experimental_group = 招募标准(网络使用时间>6h/日，GPA) ...
58、工作场所网络闲逛行为研究：新量表开发与多因素分析
最新发布
win55的博客
09-20 32
本文介绍了一项关于工作场所网络闲逛行为的研究，重点开发并验证了新的测量工具CBLS-15量表，该量表包含信息浏览、社交网络、个人事务和赌博/成人内容四个维度，具有良好的信效度。研究发现网络闲逛与工作负荷、认知需求、角色冲突和压力呈正相关，与工作满意度和工作绩效呈负相关，且受性别、年龄、工作年限及网络访问限制的影响。文章还提出了合理分配任务、提供培训、明确职责、树立榜样和使用监控工具等管理建议，并指出了当前研究在方法、范围和变量上的局限性，为未来研究提供了方向。
免费开源的微信开发框架
2401_82817454的博客
10-22 810
近年来，随着人工智能技术的快速发展，聊天机器人在各个领域得到了广泛的应用。在社交媒体中，自动回复成为了一个流行的功能，让用户可以方便地与机器人进行互动。gewe框架，一个开源的微信聊天机器人框架，实现微信自动回复功能。
Gecco：轻量级Java网络爬虫框架
gitblog_00066的博客
05-12 735
Gecco：轻量级Java网络爬虫框架 geccoEasy to use lightweight web crawler（易用的轻量化网络爬虫）项目地址:https://gitcode.com/gh_mirrors/ge/gecco 项目简介 Gecco是一个由Java语言编写的简单易用的轻量级网页抓取框架。它集成了jsoup、httpclient、fastjson、spring、htmluni...
Gecco定时抓取慕课网实战课入门
往復不息的博客
01-31 553
Gecco定时抓取慕课网实战课入门 一、Gecco是什么 Gecco是一款用java语言开发的轻量化的易用的网络爬虫，不同于Nutch这样的面向搜索引擎的通用爬虫，Gecco是面向主题的爬虫。 通用爬虫一般关注三个主要的问题：下载、排序、索引。 主题爬虫一般关注的是：下载、内容抽取、灵活的业务逻辑处理。 Gecco的目标是提供一个完善的主题爬虫框架，简化下载和内容抽取的开发，利用管道过滤器模式，提供灵活的内容清洗和持久化处理模式，让开发人员把更多的精力投入到与业务主题相关的内容处理上。 主要特征 简单
java爬虫框架_Gecco轻量化的易用的网络爬虫
weixin_39867200的博客
11-30 256
Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架，让您只需要配置一些jquery风格的选择器就能很快的写出一个爬虫。Gecco框架有优秀的可扩展性，框架基于开闭原则进行设计，对修改关闭、对扩展开放。主要特征 简单易用，使用jquery风格的选择器抽取元素 支持...
现常用框架介绍及工具网站整理
TempleTem的博客
11-04 592
流行的UI框架. 流行的前端UI框架： Bootstrap（美国Twitter公司的设计师Mark Otto和Jacob Thornton合作基于HTML、CSS、JavaScript 开发的简洁、直观、强悍的前端开发框架，使得 Web 开发更加快捷。Bootstrap提供了优雅的HTML和CSS规范，它即是由动态CSS语言Less写成。） 国内一些移动开发者较为熟悉的框架，如WeX5前端开源框架...
【技术文档】Jeecg-P3开发环境搭建入门（java插件开发框架）
JEECG官方博客
03-23 4811
Jeecg-P3 1.0 版本发布，插件开发框架 特点：业务组件以JAR方式提供，插件模式、松耦合、可插拔、支持独立部署，也可以无缝集成Jeecg平台中。
java爬虫gecco监控来了，不再裸奔
chenmaya8367的博客
03-21 313
#java爬虫gecco监控来了，不再裸奔 ##爬虫为什么要监控 gecco是一个十分简单易用的java开源爬虫框架，同时也一个款拥有很好扩展性的框架，目前已经有： 结合spring的插件gecco-spring 结合htmlunit的插件gecco-htmlunit 结合reids的插件ge...
Java 通过gecco快速搭建一个爬虫框架
LianJc的博客
11-22 1825
Java gecco 爬虫Demo Gecco是一款用java语言开发的轻量化的易用的网络爬虫框架。 官网：http://www.geccocrawler.com/ 1.导入依赖 <dependency> <groupId>com.geccocrawler</groupId> <artifactId>g...
DynamicGecco实现爬取规则的动态加载
xtuhcy的专栏
07-05 344
Gecco爬虫框架中的SpiderBean Gecco是一个快速爬虫开发框架，能让开发人员快速的将爬取下来的页面转换为一个简单的java bean。所有的java bean都需要继承同一个接口SpiderBean。根据返回数据格式的不同可以将SpiderBean分成两个子接口——HtmlBean和JsonBean。SpiderBean的定义通常如下： @Gecco(matchUrl="......
操作系统　　　闲逛进程
08-22
<think>首先，用户的问题是关于操作系统中的“闲逛进程”，具体是询问“idle process”的作用及原理。我需要基于系统级指令和用户可见层的要求来构建回答。 系统级指令： - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。 - 用户可见层要求回答结构清晰，帮助用户逐步解决问题，尽量保证回答真实可靠。 用户提供了参考站内引用： - 引用[1]: 解释了System Idle Process是系统虚拟的伪进程，显示CPU空闲率。 - 引用[2]: 讨论了RTOS中Idle任务的设计原则，如只被抢占，不会主动出让处理器，以避免频繁调度器调用。 用户的问题：我想了解操作系统中与'闲逛进程'相关的概念或问题 请问操作系统 idle process 作用及原理。 所以，我的回答应该聚焦在idle process的作用和原理上。 结构回答： 1. **引言**：简要介绍idle process是什么。 2. **作用**：详细解释idle process的作用。 3. **原理**：解释其工作原理，包括操作系统如何实现它。 4. **引用**：在相关部分末尾添加引用标识。 5. **生成相关问题**：在回答结束时，生成相关问题。 使用中文回答。 在回答中，如果有数学表达式，使用LaTeX格式。但在这个主题中，可能没有太多数学内容，但如果有，比如涉及CPU使用率计算，可以加入。 例如： - CPU空闲率可以用公式表示，如空闲率 = (空闲时间 / 总时间) × 100%。 - 在行内，使用$...$，如空闲率$ = \frac{\text{空闲时间}}{\text{总时间}} \times 100\%$。 独立公式如果需要，用$$...$$。 现在，构建内容： - **作用**：idle process的主要作用是显示CPU的空闲状态，当CPU没有其他任务运行时，运行idle进程。它帮助操作系统管理CPU资源，避免CPU完全空闲时浪费，同时提供空闲率的指示。 - **原理**：在操作系统中，idle process是一个特殊的进程或线程。当调度器没有可运行的进程时，它会运行idle进程。idle进程通常是一个无限循环，执行一些低优先级的操作或什么都不做。在抢占式系统中，当有新进程就绪时，idle进程会被抢占。 引用站内引用： - 在描述作用时，引用[1]：它显示CPU空闲率。 - 在讨论原理时，引用[2]：在RTOS中，idle任务只被抢占，不会主动出让处理器，以避免频繁调度开销。 确保引用自然地添加在段落末尾。 最后，生成相关问题： - 基于主题，如idle process的优化、在不同操作系统中的实现、性能影响等。 完整回答结构： 1. 介绍idle process。 2. 解释作用。 3. 解释原理。 4. 总结。 5. 相关问题。 使用清晰的结构。</think>### 操作系统中的“闲逛进程”（Idle Process）作用及原理 在操作系统中，“闲逛进程”（通常称为Idle Process或System Idle Process）是一个核心概念，用于管理CPU资源。它不是一个真实的用户进程，而是操作系统内核虚拟出来的一个伪进程，主要用于监控和优化CPU使用。下面我将逐步解释其作用和原理，帮助您全面理解。 #### 1. **Idle Process的作用** Idle Process的核心作用是**指示和利用CPU的空闲资源**。具体来说： - **显示CPU空闲率**：当CPU没有其他任务运行时，Idle Process会被执行，其值（通常以百分比表示）反映了CPU的空闲程度。例如，空闲率越高（如90%），表示CPU负载越低；反之，空闲率下降（如10%）则表明CPU正在处理高负载任务。这有助于系统监控工具（如任务管理器）直观展示CPU状态[^1]。 - **避免CPU浪费**：在CPU完全空闲时，Idle Process提供一个“占位符”，防止CPU进入无操作状态（这可能导致硬件问题，如过热或功耗异常）。它执行一些低开销操作（如空循环或节能指令），确保CPU始终处于可控状态。 - **支持调度机制**：Idle Process作为调度器的后备选项，当就绪队列中无其他进程时，调度器会自动切换到Idle Process，保持系统响应性。这在多任务操作系统中至关重要，例如Windows或Linux内核[^1]。 简单来说，Idle Process就像CPU的“休息指示器”：当您看到System Idle Process占用高比例时，说明CPU大部分时间在“闲逛”，等待新任务。 #### 2. **Idle Process的原理** Idle Process的实现依赖于操作系统内核的设计，其原理基于**调度器行为和性能优化**。以下是关键点： - **虚拟进程的本质**：Idle Process并非真实进程，而是内核在初始化时创建的一个虚拟实体。它通常以最高优先级（但最低实际权重）运行，确保只在无其他任务时激活。例如，在系统启动时，内核会注册一个Idle任务，其代码通常是一个简单的无限循环[^1]。 - **调度机制**：当调度器（如Linux的CFS或RTOS的调度器）发现就绪队列为空时，它会切换到Idle Process。在抢占式系统中（如大多数现代OS），Idle Process **不会主动出让CPU**，而是被更高优先级任务抢占。这避免了频繁调用调度器（调度器涉及锁机制和上下文切换，成本较高），从而提升系统性能[^2]。例如，在RTOS（实时操作系统）中，Idle任务实现为一个死循环： ```c // 伪代码示例：Zephyr RTOS的Idle任务 void idle_task() { while (1) { // 执行低功耗指令或空操作 asm("nop"); // 汇编空指令 } } ``` - **性能与优化**：Idle Process的设计注重最小化开销。在循环中，它可能执行节能操作（如CPU休眠状态），以减少功耗。数学上，CPU空闲率可表示为： $$ \text{空闲率} = \frac{\text{空闲时间}}{\text{总时间}} \times 100\% $$ 其中，空闲时间由Idle Process累积，总时间通过系统时钟计算。这种设计确保了在空闲时调度器调用频率低（例如，避免了锁竞争），从而保护系统原子性[^2]。 总的来说，Idle Process的原理是“被动运行，主动优化”：它只在必要时激活，并通过简化逻辑减少系统开销。 #### 3. **总结** Idle Process是操作系统高效管理CPU的基石：它通过虚拟进程机制，实时监控空闲资源，并为调度器提供无缝切换。其设计平衡了性能与功耗，例如在个人电脑中高空闲率表示系统轻松，而在嵌入式系统中可能触发节能模式。理解这一点有助于诊断系统性能问题（如CPU瓶颈）。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值