爬取GitHub上的commit信息

最新推荐文章于 2025-01-31 15:25:45 发布
最新推荐文章于 2025-01-31 15:25:45 发布
阅读量3.1k 收藏 1
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/staryxx/article/details/82892403
版权

经历了Googleplay之后 GitHub就会感觉简单很多

由于github每一个commit信息都会跳转页面 ，为了获取commit的具体信息

我的思路是首先翻页获取所有的commit信息的url 将其保存到本地

在根据这些commit信息获取所有需要的具体信息

 

过程：从某应用commit界面出发，eg 

https://github.com/AChep/AcDisplay/commits

然后翻几页就可以发现规律： 每页有35个commit  从第二页开始

页面url就是xxxxxxxx+xx

前面一长串字符串是第一页第一个commit的url +号后面的数字可以看作是35*i-1  i为页数

意思就是每页第一个commit是排在第一页第一个commit后面第几个

很好理解 反而被我说复杂了

其实我采取的是selenium模拟浏览器翻页  所有以上分析我也用不上

但是要是采取用url链接来直接进行翻页的话 以上分析是必须的

 

我遇到的第一个重大困难是  跳转页面后获取不到当前页面的元素，得到的仍是第一页的数据

上网查各种资料  很多人都说用一个driver.get(driver.current_ul)就可以定位到当前页面了

但是我只要一使用这个方法就会出错  原因可能是 我用的是selenium2.48版本和PhantomJS版本太低？

总之到最后我也没有完全弄懂

于是我换了一个方法

因为我发现翻页后的url是获取到了的  只是单纯无法定位到这个页面

所以我首先把这个页面的url赋值给一个变量 然后在用driver.get获取这个页面

成功

 

然后遇到的都是一些小问题  也没啥好说的了

总之这次爬虫还是挺顺利的

 

使用 Python 调用 GitHub REST API 爬取 GitHub 仓库信息（完整指南）
2201_76125261的博客
03-11 566
GitHub 提供了功能强大的 REST API，允许开发者通过编程方式访问 GitHub 上的仓库、用户、提交记录、PR（Pull Request）等信息。GitHub REST API 是 GitHub 官方提供的 API 接口，支持通过 HTTP 请求来操作 GitHub 上的资源。在本文中，我们将使用 Python 编写一个完整的爬虫程序，调用 GitHub 的 REST API 来爬取 GitHub 仓库的信息。目前 GitHub 使用的主要是 v3 版本的 REST API。
Python-自动爬取Github上文件敏感信息泄露
08-12
在本项目"Python-自动爬取Github上文件敏感信息泄露"中，开发者旨在利用Python爬虫技术，针对GitHub上的公开代码仓库进行扫描，以发现可能存在的用户敏感信息，如邮箱和密码。这一过程涉及到了网络安全、数据隐私...
通过多任务队列爬虫，爬取Github commits api数据，并写入数据库
Baymax_Bai的博客
08-14 685
需求 通过python执行Kusto数据库query，获取到当前最新的指定的Repo list，在获取到的Repo list中，爬取每个Repo下的所有的当前月份的commits数据，将获取到的json格式数据解析，存储在接口文件中，然后将其存入数据库中。 path_app_branch.py import datetime import time import os # 使用局部变量方法导入，控制资源部分导入 # __all__ = ['path_file_1','path_file_2','path
Github 上传、更新、删除项目以及修改commit_github发布变更
最新发布
2501_90404607的博客
01-31 753
图4图5图6step1-5：最后，然后配置一下git用户和email，任意位置右键 git bash here，弹出命令框，输入git config –global user.name “git账户名字”git config –global user.email “git注册邮箱”配置全部都做完了，就可以开始同步项目！step2：开始创建新的的项目，在网页github右上角选择New repository创建项目，如图7所示操作，输入项目名称，确认创建项目。
初识爬虫
weixin_33814685的博客
07-11 65
---恢复内容开始--- 通过路飞学城的课程使用一个登录github的例子来了解一下爬虫是如何工作的 import requests from bs4 import BeautifulSoup #首先把需要使用的模块导入进来 class GithubProfile: def __init__(self, email, psw): self.email...
从Github中获取特定Commit的代码
HitWorkerA的博客
04-18 791
github中有很多commits, 有些是没有merge到相应的分支的，如何获取这些commit的代码？
GitHub项目、代码搜索、使用等技巧
xiaomu_347的博客
07-15 6万+
代码搜索网站： 代码：GitHubCodaseOhlohkrugleMerobase Component FinderGoogle Code Archive SymbolHound 可以搜索特殊符号的搜索引擎，程序员的福音，遇到 Bash、正则之类的问题时候的利器！ Hoogle Haskell 的专用函数搜索引擎，妈妈再也不用担心我的 Functional Programming R...
利用Python爬取github上commits信息
ACMer_wobudong的博客
01-22 3774
爬取github上commits在1200次以上的用户及commits分布情况简介准备抓取用户个人页面获取commits信息打印符合条件用户最近一周commits信息反爬虫问题总结 简介 前段时间，帮同学做了一个爬虫的作业，比较基础的那种，这里简单记录一下吧。要爬取的内容就是github上commits在1200次以上的人及其commits分布情况。完整代码下载地址：https://pan.bai...
爬虫开发-基于Python实现爬取github上热门语言对应的项目.zip
04-03
在本项目中，我们将探讨如何使用Python进行网络爬虫开发，特别关注于从GitHub上抓取热门编程语言相关的项目信息。GitHub作为一个全球知名的开源代码托管平台，存储了大量的项目，涉及各种编程语言。通过爬取这些数据...
make-empty-github-commit：使用API​​在GitHub上进行新的空提交
02-04
使用API​​在GitHub上进行新的空提交 安装 需要版本6或更高版本。 npm install --save make-empty-github-commit 利用 命令行界面 从命令行 $(npm bin)/empty-commit --repo <username> --message "Empty commit ...
python爬虫爬取github项目里的评论.zip
01-20
【Python爬虫爬取GitHub项目评论】：在Python编程领域，爬虫技术是获取网络数据的重要手段，尤其在处理像GitHub这样的大型平台时，爬虫能够帮助我们自动化地收集和分析大量的公开信息，如项目评论。这个项目的核心是...
github-commit-status:cli更新github上的提交状态
05-10
github-commit-status 这是一个更新github上提交状态的简单实用程序。 主要用例是在构建环境中更新提交的状态。安装如果您使用的是OSX，请下载最新的二进制文件或brew tap thbishop/github-commit-status && brew ...
GitHub爬取/解析工具PyDriller
weixin_43829154的博客
04-05 2189
方便爬取github信息
github数据怎么Python爬取
nnn0245的博客
11-28 1017
github数据怎么Python爬取呢
如何查看github中的commit内容
热门推荐
李江龙的博客
02-24 6万+
刚开始学习使用github，用的不是很熟，学会了branches的概念、学会了pull、push，今天早上突然想如果我想查看我新提交的改动内容，或者想看看别人新提交的改动内容，应该如何实现。第一种方法大致的步骤如下：1】定位到相应的仓库2】定位到新提交的commit位置，一个commit可以认为是一个改动的节点，所以通常可以将为‘每个改动的目的’设置一个单独的commit点，或者理解为：一个com...
github页面查看commit的完整SHA值
weixin_42654528的博客
02-23 1505
github页面查看commit的完整SHA值
git将所有patch导出来，并且将其命名为提交的commit记录
小小码农
08-11 3356
git将所有patch导出来，并且将其命名为提交的commit记录
爬取Google Play中app的用户评论（1）
staryxx的博客
09-22 5498
第一次写爬虫，真的踩了不少的坑 坑1： 看了爬虫视频后，首先尝试用request库和beautifulsoup来爬取Google Play 然后总是报错连接超时 ，应该是谷歌的反爬虫机制导致的 然后我的解决方法是用代理ip，于是成功解决了连接超时的问题 （我用了是翻墙的软件，补充：千万别用全局代理模式，详见坑3） 第一个坑就这么解决了，花了我几天的时间   坑2： 解决了连接的问...
如何爬取github文本
12-07
爬取GitHub文本可以使用多种方法，具体取决于你想要爬取的内容和目的。以下是一个基本的步骤指南，帮助你开始爬取GitHub上的文本数据： ### 1. 准备工作 - **安装必要的库**：你需要安装一些Python库，如`requests`、`BeautifulSoup`和`GitHub API`。 ```bash pip install requests beautifulsoup4 PyGithub ``` ### 2. 使用GitHub API GitHub提供了丰富的API，可以方便地获取各种数据。以下是一个使用`PyGithub`库的示例： ```python from github import Github # 使用你的GitHub Token g = Github("your_github_token") # 替换为目标仓库 repo = g.get_repo("owner/repo") # 获取所有提交 commits = repo.get_commits() for commit in commits: print(f"Commit: {commit.sha}") print(f"Author: {commit.author}") print(f"Message: {commit.commit.message}") print("-----") ``` ### 3. 使用`requests`和`BeautifulSoup` 如果API无法满足你的需求，可以使用`requests`库发送HTTP请求，并使用`BeautifulSoup`解析HTML内容。 ```python import requests from bs4 import BeautifulSoup # 替换为目标URL url = "https://github.com/owner/repo" # 发送HTTP请求 response = requests.get(url) # 解析HTML内容 soup = BeautifulSoup(response.text, 'html.parser') # 查找特定的标签或内容 # 例如，查找所有的提交信息 commits = soup.find_all('div', class_='commit') for commit in commits: message = commit.find('p', class_='commit-title').text.strip() author = commit.find('a', class_='commit-author').text.strip() print(f"Author: {author}") print(f"Message: {message}") print("-----") ``` ### 4. 注意事项 - **遵守GitHub的使用政策**：确保你遵守GitHub的使用条款，不要进行过于频繁的请求，以免被封禁。 - **处理反爬机制**：有些网站可能会有反爬机制，使用`headers`来模拟浏览器请求。 ### 5. 进一步优化 - **使用代理**：为了避免IP被封，可以使用代理服务器。 - **多线程或异步请求**：提高爬取效率。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值