qq_43557907的博客

TPE（Tree-structured Parzen Estimator），是一种基于树结构的贝叶斯优化算法，用于解决黑盒函数的全局最优化问题。在每次试验中，对于每个超参，TPE 为与最佳目标值相关的超参维护一个高斯混合模型 l(x)，为剩余的超参维护另一个高斯混合模型 g(x)，选择 l(x)/g(x)最大化时对应的超参作为下一组搜索值。通过这种方式，‍。

介绍机器学习中的多层感知机

感知机是一个二分类模型，是最早的AI模型之一求解算法等价于使用批量大小为1的梯度下降不能拟合XOR函数，直到多层感知机的提出。

从零实现线性回归此内容主要依据李沐老师的《动手学深度学习》课程，同时结合了网络上其它资料和自己的理解。对于标准深度学习模型，我们可以使用框架的预定义好的层。我们首先定义一个模型变量net，它是一个Sequential类的实例。Sequential类将多个层串联在一起，类似于按序列存放各种层的容器。当给定输入数据时，Sequential实例将数据传入到第一层， 然后将第一层的输出作为第二层的输入，以此类推。由于线性回归相当于单层神经网络，实际上不需要Sequential。

学习李沐老师《动手学深度学习》中线性回归课程的个人总结