Python实战之网络与爬虫篇-----如何对比多个库，看哪个更靠谱

关注

原创最新推荐文章于 2026-03-03 00:11:06 发布 948 阅读 AI 写同款· GEO 优化 ›

网络爬虫 - 1 网络爬虫基本概念和相关工具 网络爬虫基本概念和相关工具 1.基本概念 (1)什么是网络爬虫（web crawler）? 以前经常称之为网络蜘蛛（spider），是按照一定的规则自动浏览万维网并获取信息的机器人程序（或脚本），曾经被广泛的应用于互联网搜索引擎。使用过互联网和浏览器的人都知道，网页中除了供用户阅读的文字信息之外，还包含一些超链接。网络爬虫系统正是通过网页中的超链接信息不断获得网络上的其它页面。正因... 阅读详情

1.问题拆解

如何对比多个库，看哪个最靠谱？

用哪些参考数值？（生态值、Star数、Fork数）

如何获取数据？（Srar、Fork数）

如何查询需要的数据？（requests库）

2.背景知识

a.开发者网址https://developer.github.com/v3/search/

在里面了解参数情况

b.star数、fork数的获取

c.生态数

3.编程实现

# repos_api https://api.github.com/search/repositories?q=django
# ecosys_api https://api.github.com/search/repositories?q=topic:django
# https://api.github.com/search/repositories?q=topic:django+language:python+created:2019-01-01

import  requests

def get_name():
    print('please input separate each name with space')
    names = input()
    return names.split()

def check_repos(names):
    repos_api = 'https://api.github.com/search/repositories?q='
    ecosys_api = 'https://api.github.com/search/repositories?q=topic:'
    for name in names:
        repo_info = requests.get(repos_api+name).json()['items'][0]
        ecosys_info = requests.get(ecosys_api+name).json()['total_count']

        stars = repo_info['stargazers_count']
        forks = repo_info['forks']

        print(name)
        print(stars)
        print(forks)
        print(ecosys_info)
        print('----------------------------')

names = get_name()
check_repos(names)