zhuzaiyebol的博客

在你的例子中，假设你有一个运行着 neo4j 的容器，并且 neo4j 服务在容器内部的 7474 端口上运行。容器 A 到容器 B 的通信：当容器 A 尝试连接到 172.50.0.2 的时候，Docker 会将这个请求转发到与容器 B 关联的网络中，并且将请求路由到容器 B。镜像是容器的构建块，它提供了一个独立、可移植和一致的运行环境。容器 B 上的 Neo4j 服务响应：当容器 A 发送请求到容器 B 上的 Neo4j 服务时，容器 B 中运行的 Neo4j 服务会处理请求，并且返回相应的响应。

a）我们想要 word 带有一些它在句子中的位置信息b）我们想要模型区分对待离得近的单词，和离得远的单词（因为离得近可能语义上更接近等等原因）c）希望模型能够学到位置编码带来的 pattern。

换句话说，word embedding 将每个单词表示为一个向量，这个向量在空间中的位置和其他单词的位置反映了它们之间的语义关系。因此，word embedding 可以被认为是“显式地表达每个单元的语义”，因为通过这种表示，我们可以直观地看到每个单词的语义特征，而不需要其他的显式规则或指导。在这个框架中，输入嵌入层负责将原始文本中的 token 映射为向量表示，Transformer 编码器负责对这些向量进行编码以捕捉语义信息，而特定任务的输出层则根据具体的任务类型对模型进行定制化的调整。

在找论文时，发现的相关概念。

正则化是机器学习中通过显式的控制模型复杂度来避免模型过拟合、确保泛化能力的一种有效方式。2.1 正则化如何影响模型复杂度1）loss（w，b）是 w 和 b 的函数。（这里的 w 和 b 简单理解就是 y = wx+b）2）机器学习本质：损失函数找到最优解（损失函数最小点）。找最优解的过程就是参数 w 的不断梯度下降的过程。即 w = w - lr *（loss对于w的梯度）其中，lr是学习率。3）整个网络模型本身是 w 和 b 的函数，b是偏置项，不在正则化考虑范围内。

减少内存使用的技术：1）减小batch大小2）减少参数3）梯度累积4）梯度检查点（只更新部分神经元梯度）5）混合精度训练（FP16是标准FP32精度的一半，占用内存也是一半）