Toapi - 再也不愁没有数据!

最新推荐文章于 2024-08-20 10:12:04 发布

weixin_33737774

最新推荐文章于 2024-08-20 10:12:04 发布

阅读量283

点赞数

CC 4.0 BY-SA版权

文章标签：数据库 python 开发工具

原文链接：https://juejin.im/post/5a4214ddf265da4307038670

Toapi是一款Python开源项目，旨在帮助开发者快速构建API服务。通过少量代码即可实现网站数据抓取并转换为API接口，支持缓存、数据持久化等功能。已提供多种模板，如搜索引擎聚合、高清图片API等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Toapi - 再也不愁没有数据!

Github: github.com/gaojiuli/to…

进入Toapi

你是否有这样的需求，有一个很好的idea，却没有很好的数据来源，好不容易找到相关数据来源的网站，却发现没有API（或许有但需要收费），那么，我可以告诉你，Toapi 为此提供了很好的解决方案，它可以：

它的最后效果

// http://127.0.0.1:5000/pic/?q=coffee

{
    "Pixabay": [
        {
            "img": "https://cdn.pixabay.com/photo/2017/06/21/05/28/coffee-2426110__340.png"
        },
        {
            "img": "/static/img/blank.gif"
        }
    ],
    "Pexels": [
        {
            "img": "https://images.pexels.com/photos/302899/pexels-photo-302899.jpeg?h=350&auto=compress&cs=tinysrgb"
        },
        {
            "img": "https://images.pexels.com/photos/34085/pexels-photo.jpg?h=350&auto=compress&cs=tinysrgb"
        }
    ]
}
复制代码

短暂的开发周期：很少量代码就可以将某个网站构建成你自己的API服务
稳健的服务支持：你只需快速地构建以及使用，其它方面就安心地交给Toapi
- 自动对数据缓存，提供MemoryCache RedisCache MemcachedCache三种缓存方案
- html源文件本地持久化，提供本地以及数据库支持
- 增量更新
- 自定义路由
- 自定义多站组合API
多样的模板选择：每一个Toapi 服务都可以被其它使用者安装，或许你无需编写代码，就可以安装其它服务，随即组合成自己的服务，官方维护了一个模板列表 - awesome-toapi

Toapi 是一个用Python编写的开源项目，若你有特殊的功能需求，可以自己定制，我们为你提供完整的生态：

项目地址：github.com/gaojiuli/to…
组织地址(欢迎加入)：github.com/toapi
文档地址：www.toapi.org/

使用Toapi

让我们看下面这个简单的例子 - 仅仅是演示目标网站是hackernews：

from toapi import XPath, Item, Api, Settings


class MySettings(Settings):
    web = {
        "with_ajax": True,
        "request_config": {},
        "headers": None
    }

api = Api('https://news.ycombinator.com', settings=MySettings)

class Post(Item):
    url = XPath('//a[@class="storylink"]/@href')
    title = XPath('//a[@class="storylink"]/text()')

    class Meta:
        source = XPath('//tr[@class="athing"]')
        route = {'/news?p=:page': '/news?p=:page'}

class Page(Item):
    next_page = XPath('//a[@class="morelink"]/@href')

    class Meta:
        source = None
        route = {'/news?p=:page': '/news?p=:page'}

    def clean_next_page(self, next_page):
        return "http://127.0.0.1:5000/" + next_page

api.register(Page)
api.register(Post)

api.serve()
# Visit http://127.0.0.1:5000/news?p=1
复制代码