java爬虫抓取极客时间专栏页面

最新推荐文章于 2024-10-16 09:14:30 发布
原创 最新推荐文章于 2024-10-16 09:14:30 发布 · 1.7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java

该博客介绍了如何将代码导入IDEA并设置极客时间的Cookie信息，以便抓取特定CID的文章内容。首先，你需要获取极客时间账号的Cookie并在代码的指定位置替换。接着，确定要抓取的文章的CID，并将其填入测试代码中。最后，设定文件保存路径并运行代码，即可完成文章的下载。

0.clone代码导入idea

    项目地址: github项目

1.登录极客时间账号，查看cookie信息。在代码com.ady01.demo4.jksj.util.CollectorUtil#COOKIE_VALUE 替换对应的值。

cookie信息

 2.在极客时间页面 查看文章接口返回的cid。填入com/ady01/demo4/jksj/util/CollectorUtilTest.java:27 中 cid字段中。

 

3.设置下载路径，运行代码。

codeLife1993
关注
geektime:爬取你已经购买的专栏的文章和音频
05-01
起因 极客时间特别不友好，付费购买后只能在移动端查看，我想PC端边做笔记边看，但是达不到，所以就自己动手把自己已购买的专栏爬下来，保存为html，音频保存为mp3，方便自己查看。 怎么做 利用findler抓包，手机端设置代理，可以看到是通过cookie形式传递，所以我们要做的就是记录他的url，记录自己的cookie，然后coding。 技术栈 java + okhttp + gson Example 抓取陈皓的专栏，首先获取他的专栏id，抓包分析是48，然后取得所有article的id，然后进行每个篇文章的抓包，api还是比较友好的，都是json，article的内容都是html的，所以效果如下： 然后自己封装一下html就ok，保存本地，方便查看。 最终结果如下： 大家要支持正版，耗子哥写文章不容易，只怪geektime不提供便利。
极客时间资料下载，满满干货指导
m0_57767600的博客
07-22 2149
一、对Kafka的认识 1.Kafka的基本概念 2.安装与配置 3.生产与消费 4.服务端参数配置 二、生产者 1.客户端开发 2.原理分析 3.重要的生产者参数 三、消费者 1.消费者与消费组 2.客户端开发 四、主题与分区 1.主题的管理 2.初识KafkaAdminCilent 3.分区的管理 4.如何选择合适的分区数 五、日志存储 1.文件目录布局 2.日志格式的演变 3.日志索引 4.日志清理 5.磁盘存储 六、深入服务端 1.协议设计 2.时间轮 3.延时操作 4.控制器
java爬虫系列第四讲-采集"极客时间"专栏文章、视频专辑
weixin_34085658的博客
04-22 1551
为什么80%的码农都做不了架构师？>>> ...
快速下载极客时间课程
明媚
05-29 1762
快速下载极客时间课程
python爬取极客学院课程信息实例
人生苦短，我用python
02-28 841
用过正则表达式和requests库来爬取极客学院课程的名称， 课程简介，课程时长，课时数，上课人数。 以下为python3编写的代码 import requests import string import re # 代理头信息 kv = {'user-agent':'Mozilla/5.0'} # 爬虫类，用来实现各种功能 class spider(object): def __in...
python极客学院爬虫_基于requests实现极客学院课程爬虫
weixin_39709674的博客
12-11 261
#coding=utf-8__author__ = 'scaleworld'importrequestsimportreimportsysreload(sys)sys.setdefaultencoding("utf-8")classSpider:def __init__(self):print '开始爬取极客学院课程信息。。。'#获取源代码defgetSource(self, url):html=...
如何用Java技术爬取并保存极客时间专栏内容
- **爬虫目的**：用户因为无法在PC端查看极客时间购买的专栏内容，且无法方便地做笔记，因此决定自行开发爬虫程序来爬取内容。 - **爬虫方法**：通过网络抓包工具（如finder）监控手机端与服务器之间的通信，分析...
基于Java的WebMagic爬虫项目实践
该项目不仅涵盖了Java爬虫的基本原理与实现方式，还通过两个具体的应用场景——爬取电影网站信息和极客时间（JikeTime）课程资源，帮助学习者深入理解网页结构分析、请求处理、数据解析、反爬机制应对以及数据持久化...
本人有C#和java经验，需要转行做golang，给出详细的学习教程
最新发布
02-22
- 极客时间专栏《Go 语言从入门到实战》 --- ### **四、避坑指南（来自 C#/Java 的常见误区）** 1. **不要过度设计**：Go 推崇简单性，避免 Java 式的复杂设计模式。 2. **少用反射**：Go 的反射性能较差，优先用...
极客学院爬虫代码
01-06
极客学院爬虫代码。
[网络安全自学篇] 三十九.hack the box渗透之DirBuster扫描路径及Sqlmap高级注入用法（三）
杨秀璋的专栏
01-15 1万+
这是作者的网络安全自学教程系列，主要是关于安全工具和实践操作的在线笔记，特分享出来与博友们学习，希望您们喜欢，一起进步。前文详细讲解了hack the box在线渗透平台注册过程，以及Web渗透三道入门题目，包括Python编写md5加密发送Post、万能密码和URL路径猜测、BurpSuite和Hydra密码爆破等。这篇文章将通过两个题目分享DirBuster扫描目录、Fuzzy爆破指定路径名称，通过Sqlmap工具实现SQL注入并获取管理员用户名和密码、文件下载等用法。希望您喜欢~
极客时间——数据结构与算法（45） 位图：如何实现网页爬虫中的URL去重功能？
weixin_40805079的博客
05-21 662
转载地址：https://time.geekbang.org/column/article/76827 网页爬虫是搜索引擎中的非常重要的系统，负责爬取几十亿、上百亿的网页。爬虫的工作原理是，通过解析已经爬取页面中的网页链接，然后再爬取这些链接对应的网页。而同一个网页链接有可能被包含在多个页面中，这就会导致爬虫在爬取的过程中，重复爬取相同的网页。如果你是一名负责爬虫的工程师，你会如何避免这些重复的...
如何在微信读书上阅读极客时间专栏？
壹言——越过山丘 才发现无人等候
08-03 1289
原文链接：如何在微信读书上阅读极客时间专栏？ 最近买了许多极客时间的专栏，但是不想用极客的软件阅读。于是我开始踏上了在其它应用上看极客专栏的漫(zi)漫(zuo)探(zi)索(shou)之路。 根据我的个人情况，首先整理出来了以下需求。 我的需求 支持多设备之间图书同步 （⭐⭐⭐⭐⭐） 多设备支持优先级 PC(web or software) > ipad > mobile phone支持做笔记、标注，笔记最好可多设备之间同步 （⭐⭐⭐⭐） 记录阅读时长 （⭐⭐⭐） 支持用户上传
解决极客时间网页文字无法选中或复制copy
e891377的专栏
10-29 2891
方法一 参考解决网页文字无法选中或复制 我们在查看一些网页时会遇到不能复制的问题，或者鼠标无法选中文字，导致不能复制。 按F12打开浏览器控制台，粘贴以下内容，回车。 var eles = document.getElementsByTagName('*'); for (var i = 0; i < eles.length; i++) { eles[i].style.userSelect = 'text'; } 现在就可以复制了。 效果 你也可以把文章保存到本地再复制 方法二（没试
一篇文章告诉你爬虫技术到底违不违法，怎么用才合法？
热门推荐
Everly_的博客
10-16 2万+
爬虫爬数据有几个雷区：一是只能爬取公开数据，二是不能对目标业务和网站造成影响，三是目标网站的全部或部分内容没有使用反爬措施。
极客时间视频课
niwoxiangyu的博客
10-16 432
72-Elasticsearch核心技术与实战。125-Service Mesh实战。7-Go语言区块链从入门到深度实战。63-Nginx核心知识100讲。71-Linux实战技能100讲。56-Web协议详解与抓包实战。59-Go语言从入门到实战。70-算法面试通关40讲。62-玩转Git三剑客。58-Vue开发实战。
python 爬虫实例----采集''极客学院"课程页面数据
weixin_40624269的博客
08-27 605
import requests import re class spider(object): def __init__(self): print (u'开始爬取内容。。。') # getsource用来获取网页源代码 def getsource(self,url): html = requests.get(url) retu...
【小工具】极客时间&GitChat专栏下载脚本
howie6879's blog
08-27 3390
我想下载极客时间&GitChat专栏的课程并生成PDF如果你是极客时间或者GitChat的使用者，不知道有没有将付费购买的专栏持久化成PDF放在自己任意设备上阅读...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值