shlhhy的博客

百度提供的用于企业深度学习辅助的平台：https://www.paddlepaddle.org.cn/。1. 优化策略本人的工作内容部分涉及算法，受开发流程的限制，在调参优化上的经验较少，因此补充下本部分内容。

之前生成文本句向量的方法是：训练词向量模型w2v，将句子中各词的向量进行平均，现在想尝试一下用bert模型生成句向量。1.bert模型结构all_encoder_layers： 经过transformer_model函数返回每个block的结果，即对应bert的12个Transformer层sequence_output：bert最后一层的输出，不明白其与all_encoder_layers最后一层的输出有何不同？2. 加载bert模型加载bert模型主要使用modeling文件中的相关函数

1. tensorflow安装安装tensorflow：pip3 install tensorflow安装后报错DLL load failed，原因是protobuf的版本不匹配，pip install protobuf==3.6.0后错误消失安装CUDAimport tensorflow时报错Could not load dynamic library 'cudart64_101.dll，原因是CUDA安装失败，CUDA是GPU的并行计算框架。与tensorflow_gpu配套使用，需要

1. 训练语料bert基于字进行训练，学习获取句子的上下文、语义信息等，具有较好的泛化性。标注语料示例：非命名实体采用O表示，命名实体根据其属性进行标注，如ORG：组织机构，PER：人名等，可自行定义。实体的第一个字符采用 B- 进行表示，余下字符采用 I- 进行表示。世 界 动 物 卫 生 组 织 的 英 文 简 称 为 什 么 。B-ORG I-ORG I-ORG I-ORG I-ORG I-ORG I-ORG O O O O O O O O O2 数据集说明source：训练集中文，t

1. 训练语料bert基于字进行训练，学习获取句子的上下文、语义信息等，具有较好的泛化性。标注语料示例：非命名实体采用O表示，命名实体根据其属性进行标注，如ORG：组织机构，PER：人名等，可自行定义。实体的第一个字符采用 B- 进行表示，余下字符采用 I- 进行表示。世 B-ORG界 I-ORG动 I-ORG物 I-ORG卫 I-ORG生 I-ORG组 I-ORG织 I-ORG的 O英 O文 O简 O称 O为 OO B-ORGI I-ORGE I-ORG。 O