zhangyifeng_1995的博客

优化神经网络时，使用梯度下降法，遇到梯度为0的点，训练就停了下来，损失也不再下降。这个梯度为0的点，可以称为临界点。临界点可以细分为局部极小值局部极大值和鞍点。如下图，左侧是局部极小值，右侧是鞍点。鞍点的特点是，它在某些方向上是极小值，在某些方向上是极大值。形似马鞍面。

IR系统分为两个阶段：Retrieval阶段：对整个文档库排序后，抽回一部分相关文档的子集。主要考虑召回率。Re-Rankink阶段：精排序主要的机器问答类型：机器阅读理解、开放域问答、基于知识库问答、对话式QA完形填空多选抽取式阅读理解(原文找答案)data-to-text: 可以把一些非语言性的表示的信息，通过模型，以人类可以理解的语言表示出来。例子：seq2seq比较知名的模型：T5T5是在一个被清洗过的爬取的数据集上训练的。输入时，会将其中一部分mask，在训练和模型策略上。

视频：【清华NLP】刘知远团队大模型公开课全网首发｜带你从入门到实战[学习笔记]刘知远团队大模型技术与交叉应用L1-NLP&Big Model Basics[学习笔记]刘知远团队大模型技术与交叉应用L2-Neural Network Basics

本节首先介绍神经网络的一些基本构成部分。然后简要介绍神经网络的训练方式。介绍一种基于神经网络的形成词汇的向量表示的方法。接下来继续介绍常见的神经网络结构：RNN和CNN。最后使用PyTorch演示一个NLP任务的一个完整训练的Pipeline。

相关知识，如Linux命令，Git命令等，需要自己了解。

西瓜书1 绪论1.1引言1.2基本术语1.3假设空间1.4归纳偏好2 模型评估与选择2.1经验误差与过拟合1 绪论1.1引言机器学习致力于研究“如何通过计算的方式，利用数据(经验)来改善系统自身的性能”。机器学习形式化的定义：假设用PPP来评估计算机程序在某任务类上的性能，若一个程序通过利用经验EEE在TTT中任务上获得了性能改善，则我们就说关于TTT和PPP，该程序对EEE进行了学习1.2基本术语数据集data set：若干条数据记录的集合样本sample/示例instance：每一条数

前言：作者-知乎-数据智能专栏开设过live直播天善智能开设过系列网课：用户画像解决方案兴趣关键词：指标体系、标签作业效率(ETL)、标签监控、实时计算、画像产品化。。。成果：2019年：第3次从0到1搭建用户画像系统(离线标签开发、用户数据分析、ETL调度、流式计算开发、打通数据服务层、应用画像数据服务业务方、获得业务增长)书的特色：本书经过作者一边开发画像系统，一边总结梳理编纂。(在读完全书之后再来写这部分)第一章：用户画像基础1.1 用户画像是什么1.1.1 画像简介用户画像，即用