BREKOJI的博客

这个目标函数的意思是，已知一个二叉决策树的形状，我们就会知道最小目标函数是这个，然后我们要更新这棵决策树，让他是否划分新的叶子结点，划分哪个叶子结点，就是要看哪个划分对应的决策树形状的目标函数值最小。第一步到第二步，fk(xi)等于样本xi最终预测对应的节点q(xi)的权值，即w^q(xi)，所有的w^q(xi)相加其实就是将所有样本xi对应的叶节点进行分类，然后再分别按节点求和（每个节点对应的样本有几个就），并且其中gi和hi也都是常量，是xi样本对应的前t-1棵树的结果求导数和二阶导数的常量。

设置Adapter Layer插入transformer中，固定原模型参数，只微调Adapter Layer的参数Adapter的设计：首先是一个down-project层将高维度特征映射到低维特征，然后过一个非线性层，再用一个up-project结构将低维特征映射回高维特征。

李宏毅机器学习HW5，解析详细，包括自己的调试历程的心得，还有学习的体会