Amazing! 从“几何深度学习”看深度学习江湖的统一

顶会宠儿:几何深度学习!将几何先验知识融入深度学习模型!读完这篇,小白也可以了解GDL! 几何深度学习的未来发展潜力巨大。随着深度学习技术的不断进步,结合几何学的深度学习模型有望在更多领域内实现突破。例如,结合无监督学习或半监督学习的几何深度学习模型可能会在不需要大量标注数据的情况下,依然能够实现高性能的学习和预测。几何深度学习以其独特的视角和方法,在机器学习领域内开辟了一条新的研究路径。它不仅丰富了深度学习的理论基础,也为解决实际问题提供了新的思路和方法。随着研究的深入,几何深度学习有望在未来的智能系统中扮演更加重要的角色。 阅读详情
水木番 发自 凹非寺
量子位 报道 | 本文转自公众号 QbitAI

你能想象某一天打开深度学习的词条,发现:

深度学习的江湖已经能够被统一了吗?

几何学上的对称性可以玩转整个深度学习吗?

通过对称性和的变换,可以提炼出覆盖CNNs, GNNs, LSTMs, Transformers, DeepSets, mesh CNN等一切你所需构建的架构吗?

不要惊讶,不要怀疑。

一百多年前埃尔兰根大学一位23岁的小伙就给出了答案。

他仅凭一己之力开创的“埃尔兰根计划”,从而在几何学上做出了一项开创性的工作,改变了数学史。

几何学对称问题的源起

在1872年10月,德国的埃尔兰根大学任命了一位新的年轻教授。按照惯例,他被要求提供一个就职研究计划,他以长而乏味的标题Vergleichende Betrachtungen über neuere geometrische Forschungen(“对几何学最新研究的比较评论”)进行了发表。

这位就是菲利克斯·克莱因(Felix Klein),当时他只有23岁,他的开创性工作被称为“埃尔兰根计划”,在数学史上有浓墨重彩的一笔。

十九世纪简直就是几何学的大爆发时代。欧几里得之后的近两千年来,庞塞莱特(Poncelet)构造了投影几何,高斯(Gauss)、波利亚伊(Galys)和洛巴切夫斯基(Lobachevsky)构造了双曲线几何,而黎曼(Riemann)构造了椭圆几何。

克莱因的Erlangen program(埃尔兰根纲领)的突破性体现在研究几何学时运用了结构的对称性。克莱因采用群论的形式来定义此类转换,并采用群及其子群的层次结构来分类由此产生的不同几何形状。

因此,刚性运动会产生传统的欧几里得几何,而仿射或投影变换分别产生仿射和投影几何。

Erlangen program不仅对几何和数学影响非常深远,同时也影响了物理领域,对称性可以从第一原理推导守恒律,即Noether定理。

经过几十年的发展,直到杨振宁和米尔斯在1954年提出的规范不变性的概念的广义形式证明了这一基本原理,成功地统一了除重力以外的所有自然基本力。

这种标准模型已经描述了我们目前所知道的所有物理学知识。

所以啊,还是诺贝尔奖得主物理学家菲利普·安德森(Philip Anderson)的话说得好:

“it is only slightly overstating the case to say that physics is the study of symmetry.”

“说物理学本质上就是研究对称性的,这只是有点夸大其词了。”

目前深度学习领的现状和19世纪的几何情况惊人的类似:

一方面,在过去的十年中,深度学习带来了数据科学的一场革命,并完成了许多以前被认为无法实现的任务:无论是计算机视觉,语音识别,自然语言翻译,还是下围棋。

另一方面,现在存在一个针对不同类型数据的不同神经网络体系结构的“动物园”,但统一的原理很少。这样很难理解不同方法之间的关系,也导致相同概念的多次发明和资源的浪费。

在机器学习中,对称性的重要性实际上早已得到认可。

尤其是在模式识别和计算机视觉的应用中,有关等变特征检测的早期工作可以追溯到Shunichi Amari和Reiner Lenz。

在神经网络文献中,Marvin Minsky和Seymour Papert提出的感知器的群不变性定理对(单层)感知器学习不变性的能力提出了基本限制。

几何深度学习

具体怎么个“统一”,请看采用的“几何深度学习”:

几何深度学习是Michael M. Bronstein,Joan Bruna,Taco Cohen,Petar Veličković 等人中引入的一个笼统术语,指的是类似于Klein的Erlangen program,在几何机器学习上统一的尝试的总称。

它有两个目的:首先,提供一个通用的数学框架以推导最成功的神经网络体系结构;其次,给出一个建设性的过程,并以有原则的方式构建未来的体系结构。

在最简单的情况下,有监督的机器学习本质上是一个函数估计问题:给定训练集上某些未知函数的输出(例如标记的狗和猫图像),人们试图从某个假设函数类别中找到一个适合训练的函数f ,并可以预测以前看不见的输入的输出。

在过去的十年中,大型的、高质量的数据集(如ImageNet)的可用性与不断增长的计算资源(GPU)吻合,从而可以设计功能丰富的类,这些类可以内插此类大型数据集。

神经网络似乎是表征功能的合适选择,因为即使是最简单的体系结构(如Perceptron),仅使用两层时也可以生成密集类的功能,从而可以将任何连续函数近似为任何所需的精度,这种特性称为“通用逼近”(Universal Approximation)。

低维问题的设置是逼近理论中的经典问题,该问题已得到广泛研究,并通过精确的数学方法控制估算误差。但是,在高维度上情况却完全不同:人们可以很快地看到,即使近似一类简单的Lipschitz连续函数,样本数量也随维度呈指数增长,这种现象俗称“维数诅咒”。

由于现代机器学习方法需要处理成千上万甚至数百万个维度的数据,因此维度的诅咒总是在幕后出现,使得我们无法通过朴素的方式进行学习。

△维度诅咒的图示:为了近似由高斯核构成的Lipschitz连续函数,该函数位于误差为ε的d维单位超立方体(蓝色)的象限中,需要????(1 /εᵈ)个样本(红点) 。

在计算机视觉问题(例如图像分类)中可能最好地看到了这一点。即使是很小的图像也往往具有很高的尺寸,但是从直观上讲,当人们将图像解析为向量以将其馈反馈送到感知器时,很多图像的结构会被破坏并丢弃。如果现在仅将图像移位一个像素,则向量化的输入将有很大的不同,并且神经网络将需要显示很多示例,因此必须以相同的方式对移位的输入进行分类。

原理简介

通过对称性,不变性和群的视角,包含两大原理:

“先验对称性”

在许多高维ML问题的情况下,我们可以采用一个附加结构信息,它来自输入信号的几何形状。我们称这种结构为“先验对称性”,它是一种普遍有效的原理,它使我们对由维数引起的问题感到乐观。在我们的图像分类示例中,输入图像x不仅是d维向量,而且是在某个域Ω上定义的信号,在这种情况下,该信号是二维网格。

域的结构由对称群变换????(在我们的示例中为一组二位变换-作用于域上的点。在信号????(Ω)的空间中,底层域上的群动作(群元素,????∈????)通过所谓的群表征ρ(????)来表示,在我们的例子中,上述操作是平移操作,即一个作用于d维向量的d×d矩阵。

输入信号底层的域的几何结构为我们试图学习的函数 f 的类别施加了架构信息。一个不变函数可以不受群的操作作用的影响,即对于任何????∈????和x,f(ρ(????)x)= f(x)。另一方面,函数可能具有相同的输入和输出结构,并且以与输入相同的方式进行转换,这种函数称为等变函数,即满足f(ρ(????)x)= ρ(???? )f(x)。

在计算机视觉领域中,图像分类是一种典型的人们希望得到不变函数的任务(例如,无论猫位于图像的什么位置,我们都希望将该图分类为猫);而图像分割任务的输出是一个像素级别的标签掩模,这是一种等变函数(分割掩模需要遵循输入图像的变化)。

“尺度分离”

另一个强大的几何先验是“尺度分离”。在某些情况下,我们可以通过“同化”附近的点并产生与粗粒度算子P相关的信号空间的层次结构,来构建域的多尺度层次结构(下图中的Ω和Ω’)。

在这些粗尺度上,我们可以应用粗尺度函数。我们分析出,如果一个函数 f 可以被近似为粗粒度算子 P 和粗尺度函数的组合  f≈f’∘P,则  f 是局部稳定的。尽管 f 可能取决于长距离依赖,如果 f 是局部稳定的,它们可以被分解为局部交互,然后向着粗尺度传播。

这两个原理为他们提供了一个非常通用的深度学习蓝图,可以在大多数用于表示学习的流行深度神经体系结构中得到认可:一个典型设计由一系列等变层(例如,CNN中的卷积层)组成,可能遵循通过不变的全局池层将所有内容聚合到一个输出中。在某些情况下,也可以通过一些采用局部池化形式的粗化过程(coarsening procedure)来创建域的层次结构。

这是一种非常通用的设计,可以应用于不同类型的几何结构,包括几何深度学习的“ 5G”(Grid,Groups,Graphs,Geodesics & Gauges):网格(具有全局转换群的齐次空间),图形(以及特殊情况下的集合)和流形,几何先验通过全局等距不变性表示(可以使用测地学表示) 和局部规范的对称性。

这些原则的实现导致了深度学习中当今存在的一些最流行的体系结构:从平移对称导出的卷积网络(CNN)、图神经网络、DeepSets和Transformers,实现了置换不变性, 时间扭曲不变导出的门控RNN(例如LSTM网络),以及由规范对称性导出的计算机图形和视觉中使用的 Intrinsic Mesh CNN。

下一步他们还打算在“ 5G”上继续“几何深度学习”蓝图。

貌似高深的理论,用到了群论、微分几何和各类机器学习高级算法,期待有更多研究人员参与并开展进一步深入研究。

未来,也许整个深度学习“动物园”的在原理上的统一真的不是梦。

参考链接:
[1]https://towardsdatascience.com/geometric-foundations-of-deep-learning-94cdd45b451d
[2]https://arxiv.org/pdf/2104.13478.pdf

— 完 —

几何深度学习(Geometric Deep Learning)技术 几何深度学习(Geometric Deep Learning)技术 几何深度学习综述 从论文Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges,了解一下几何深度学习。 https://geometricdeeplearning.com关于这个主题,研究者甚至建了一个网站。 几何深度学习——Geometric Deep Learning 几何深度学习,从对称性和不变性的角度,尝试对一大类机器学习问题进行统一。 因此,几何 阅读详情

相关推荐

【Posts阅读】关于 Deep Sets 和 Neural Processes的简单介绍

A Gentle Introduction to Deep Sets and Neural Processes 关于 Deep Sets个 Neural Processes的简单介绍 Link: https://gordonjo.github.io/post/deepsets_nps/ Author: Jonathan Gordon Machine Learning PhD Student My research interests include probabilistic machine learni

土豆洋芋山药蛋的博客 4806

什么是几何深度学习(Geometric Deep Learning)?

什么是几何深度学习Geometric Deep Learning?

sinat_39434559的博客 8368

【点云处理之理论基石】—— Deep Sets:从集合不变性到点云分类的通用架构

本文深入探讨Deep Sets在点云处理中的应用,解析其置换不变性原理及通用架构设计。通过数学定理和实战案例,展示如何利用φ-∑-ρ结构处理无序点云数据,并扩展到医疗影像、分子预测等领域,为点云分类提供理论基石和实践指导。

weixin_42573113的博客 358

几何深度学习 - 利用几何先验知识的深度学习

深度学习很难。虽然通用逼近定理表明足够复杂的神经网络原则上可以逼近“任何东西”,但不能保证我们可以找到好的模型。尽管如此,通过明智地选择模型架构,深度学习取得了巨大进步。这些模型架构对归纳偏差进行编码,为模型提供帮助。最强大的归纳偏差之一是利用几何概念,从而产生了几何深度学习领域。几何深度学习(geometric deep learning)这个术语最早是由该领域的先驱 Michael Bronstein 创造的(有关许多最新深度学习研究的有趣见解以及该领域的广泛概述,请参阅他的帖子)。

新缸中之脑 3349

从贝叶斯交换性到Deep Sets:一个被忽视的理论连接与工程启示

本文探讨了Deep Sets架构与贝叶斯交换性之间的理论联系,揭示了集合数据求和池化操作的统计基础。通过分析点云处理等应用场景,展示了如何基于贝叶斯理论设计更灵活的池化策略,并提供了工程实践中的优化技巧,为集合数据处理提供了新的理论视角和方法论指导。

weixin_42528902的博客 332

几何深度学习(Geometric Deep Learning)—— 原理与核心算法

主要内容包括:几何深度学习的概念框架、对称性与不变性的数学基础、卷积、注意力及图网络中的群理论实现,以及常见模型(GCN、GAT、SAGE、Graph Transformer、PointNet++ 等)的核心原理。全文以**“从先验到归纳”**的视角展开,帮助读者把握如何将物理对称性或几何约束嵌入网络结构。

VectorShift的博客 652

【点云处理之论文狂读经典版5】—— Deep Sets

Deep Sets摘要1.引言2.Permutation Invariance and Equivariance2.1 Problem Definition2.2 Structure2.3 Related Results3. Deep Sets3.1 Architecture4.实验4.1.3Point Cloud Classification生词 摘要 我们研究了定义在sets上的机器学习任务模型设计问题 考虑了定义在sets上的目标函数,该函数是permutation-invariant的 主要理论定

yuanmiyu6522的博客 2949

【几何深度学习(Geometric Deep Learning)】几何深度学习与群论:从对称性到可解释的图网络关键词

本文探讨了群论在几何深度学习中的应用,重点分析了对称性、不可变性和共变性对图神经网络(GNN)设计的影响。文章回顾了GCN、GAT和GraphSAGE等核心算法如何实现这些群论原则,并阐述了将物理对称性嵌入模型带来的性能提升和可解释性增强。研究表明,基于群论的GNN设计能有效减少学习负担、提升泛化能力,为AI与科学计算交叉领域(如量子化学、材料设计)提供了新思路。未来工作可进一步探索连续群在GNN中的实现,深化物理约束与深度学习模型的融合。

VectorShift的博客 244

几何深度学习简介

利用大型系统的已知对称性是解决维数灾难的有力而经典的补救措施,并构成大多数物理理论的基础。深度学习系统也不例外,从早期开始,研究人员就已采用神经网络来利用物理测量产生的低维几何,例如图像中的网格、时间序列中的序列、或分子中的位置和动量,以及它们相关的对称性,如平移或旋转。本着“几何统一”的精神,我们将研究最成功的神经网络架构(如 CNN、RNN、GNN 和 Transformer)的通用数学框架。这种观点有助于我们构建未来的架构,使其能够超越所有当前方法,并具有一定程度的可解释性。

ms44的专栏 1459

欧姆龙SYSMAC STUDIO如何与基恩士SR-1000进行EIP通信

简要介绍一下扫码枪和欧姆龙sysmac的配置

weixin_42031602的博客 4797

拆解歌尔2718硅麦:2.75mm超小封装背后的MEMS技术解析

本文深度解析歌尔2718硅麦的2.75mm超小封装技术,探讨MEMS麦克风在微型化过程中的声学性能与结构可靠性平衡。通过ASIC芯片堆叠、纳米级应力控制等创新技术,歌尔2718在TWS耳机和智能手机中实现卓越性能,同时克服微型化带来的声学挑战。

weixin_28292761的博客 612

MindSpore AI科学计算系列 | 几何深度学习系列——统一视角下的神经网络

以CNN为例,空间是二维离散平面,变换群是二维平移群,特征场是图片的通道信息,变换的表示是平凡表示,线性等变层是卷积层,非线性层可以是任意非线性函数(因为特征场由标量组成,不会对非线性层做出约束),局部池化层是CNN中的池化层,线性不变层是网络末端的MLP。简单的说,空间是指信息在空间尺度上的延展,特征场则在空间上的每一点定义了一个特征矢量,神经网络的本质是一个特征场之间的映射。一个范畴的例子是集合范畴,它的对象是所有的集合,它的态射是所有的函数,它的复合运算就是函数的复合。

Kenji_Shinji的博客 1236

地平线天工开物AI开发平台实战:从量化训练到模型部署的完整指南

本文提供了地平线天工开物(OpenExplorer)AI开发平台的实战指南,详细解析了从量化训练到模型部署的完整流程。文章重点对比了量化感知训练(QAT)与训练后量化(PTQ)两条核心路径的优劣与适用场景,并分享了图像分类模型PTQ部署的实战经验与常见问题调试技巧,旨在帮助开发者高效地将AI模型部署到地平线AI芯片上。

weixin_29046035的博客 457

深度学习的几何观点

深度学习的基本问题  深度学习方法在很多工程和医疗领取都取得巨大成功,但是深度学习的理论基础依然薄弱,对于深度学习机制的内在理解仍然处于探索阶段,其基本问题可以接纳为如下三个: 深度学习(机器学习)究竟在学习什么? 深度学习系统如何进行学习?它们究竟是记住了学习样本,还是真正学会了内在知识? 深度学习系统的学习效果如何?是学会了人类教给它们的所有知识,还是要迫不得已遗忘一些知识? 最优传输理论有助于理解和解答这些基本问题,并给出更加严密、准确、高效、,透明的设计方案,从而使得深度学习的“黑箱”变得透明。

欢迎来到道的世界 1251

尚硅谷课程【笔记】——大数据之Shell【一】

【【尚硅谷】Shell脚本从入门到实战】笔记

n04j04h06的博客 1322

点云生成图像

摘要:本文介绍了使用Open3D库将点云投影为RGBD图像的方法。通过project_to_rgbd_image函数,利用小孔相机模型的内参和外参矩阵,实现了点云到彩色图像和深度图的转换。实验使用随机生成的10万个点云数据,通过可视化窗口获取相机参数后,成功生成了对应的RGB图像和深度图像,并使用Matplotlib进行可视化展示。该方法为点云数据处理提供了有效的三维到二维投影方案。

夜空中明亮的星的专栏 134

Deep Set

一个样本一般会被看成是一个向量. 然后将样本标签丢给 机器去学习模型. 通常也有样本, 不是向量. 例如 图, 点云(矩阵), 持续图(2维向量集合), 文本(向量序列). 对这些样本一般使用向量化手法, 大家熟悉的是 word2vet, transformer. 这里我们了解一下 DeepSet. 文章参考 Deep Sets 有一些网文介绍也对此做了介绍. 纯翻译的 https://www.cnblogs.com/wangchangshuo/p/13853491.html 添加个人理解的 https:/

wuyuanli_r的博客 3114

[游戏排查] Baldur‘s Gate 3 加载完成即崩溃?五步排查帮你快速定位问题

《博德之门3》加载崩溃问题解决方案:针对游戏进度条走完后闪退的情况,提供五步排查法。首先清除LevelCache缓存(成功率最高),其次检查Mod兼容性,然后切换Vulkan/DX11渲染API,再排查存档损坏问题,最后可删除配置目录(需备份存档)。重点提示Steam验证无法解决此类问题,建议按步骤顺序排查,多数情况下前两步即可解决问题。

技术小甜甜:传播可落地技术,帮助个人和企业降低解决真实场景问题的成本 3269

DeepSets:面向机器学习的强大集合操作库

DeepSets:面向机器学习的强大集合操作库 项目介绍 在机器学习领域,集合操作是一个重要的基础功能。DeepSets 是一个开源项目,旨在为研究人员和开发者提供一个功能强大、易于使用的集合操作库。该项目的核心在于实现了一套基于深度学习的集合操作算法,能够有效处理数据集中的集合数据,帮助优化机器学习模型的性能。 项目技术分析 DeepSets 项目采用 Python 作为主要编程语言,利用深度学...

gitblog_01055的博客 932

ThingsBoard教程(一):ThingBoard介绍及安装

ThingsBoard介绍 最近看了很多开源的物联网的项目,其中有一个让我印象很深,那就是Thingsboard 下面我就给大家介绍一下这个项目,并指导大家如何在本地安装一个Thingsboard来体验它。 首先引用官网的项目介绍就是 一个开源的用于数据收集,处理,可视化和设备管理的开源物联网平台。 它通过行业标准的物联网协议(MQTT,CoAP和HTTP)实现设备连接,并支持云和本地部署。ThingsBoard结合了可伸缩性,容错性和性能,因此您永远不会丢失数据。 用它开源收集链接设备,收集设备的数据,

知无涯 2万+

RK3568平台(USB篇)USB基础知识

现象:把USB设备比如Android手机接到PC答1:是USB控制器,是USB控制器内嵌的root hub.答2. windows里已经有了USB的总线驱动程序,接入USB设备后,是"总线驱动程序"知道你是"android phone"提示你安装的是"设备驱动程序"。USB总线驱动程序负责:识别USB设备, 给USB设备找到对应的驱动程序。答3. PC的USB口内部,D-和D+接有15K的下拉电阻,未接USB设备时为低电平USB设备的USB口内部,D-或D+接有1.5K的上拉电阻;

weixin_49303682的博客 1659

深度学习的几何学解释

ref:http://www.engineering.org.cn/ch/10.1016/j.eng.2019.09.010 雷娜 , 安东生, 郭洋, 苏科华, 刘世霞, 罗钟铉, 丘成桐, 顾险峰 摘要 本文从几何角度来理解深度学习,特别是提出了生成对抗网络(GAN)的最优传输(OT)观点。自然数据集具有内在的模式,该模式可被概括为流形分布原理,即同一类高维数据分布于低维流形附近。 GAN主要完成流形学习和概率分布变换两项任务。其中,后者可以用经典的OT方法来实现。从OT的角度来看,生成器用于计算

hjwang1的专栏 1350

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

机器学习————几何深度学习

域结构分析:挖掘高维欧氏数据中嵌入的低维非欧结构,如流形学习、图结构挖掘,属于无监督学习;域上信号分析:分析和学习定义在已知非欧域上的信号,是 GDL 的核心,目标是将 CNN 推广到该场景。

2402_89488435的博客 842

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

几何深度学习:超越欧几里得的数据

几何深度学习:超越欧几里得的数据 文章来源IEEE Signal Processing Magazine (1区) 出版日期2017年7月 Michael M. Bronstein, Joan Bruna, Yann LeCun, Arthur Szlam, and Pierre Vandergheynst 文章目录 前言 一、pandas是什么? 二、使用步骤 1.引入库 2.读入数据 总结 前言 许多科学领域研究数据的基本结构是非欧几里得的。例...

在路上 2815

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

几何深度学习

重点收藏,转载自:http://www.yidianzixun.com/article/0J3c2xqi   随着深度学习的发展,人们已经不满足于将深度学习应用于传统的图像、声音、文本等数据上,而是对更一般的几何对象如网络、空间点云、曲面等应用深度学习算法,这一领域被称为几何深度学习(Geometric deep learning)。人们尝试在不规则的非欧氏的数据上扩展卷积神经网络模型,这便有...

Cethy‘s Learning Notes 8194

Jraph中的经典GNN模型复现:GCN、GraphSAGE与DeepSets

Jraph是一个基于Jax的图神经网络(GNN)库,它提供了高效的图神经网络实现工具,让开发者能够轻松构建和训练各种GNN模型。本文将详细介绍如何在Jraph中复现三种经典的GNN模型:GCN(图卷积网络)、GraphSAGE(图采样聚合网络)和DeepSets(深度集合网络),帮助新手快速掌握这些模型的实现方法和应用场景。 ## GCN:图卷积网络的实现与应用 GCN(Graph Convo

gitblog_00691的博客 472
上一篇: 中国Nature第一人,居然是清朝的他
下一篇: 一般博士毕业能进什么样的高校当老师?网友:看第一学历!
机器学习算法那些事
博客等级 码龄9年 1633粉丝 62原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值