糖果先生的博客

项目场景：使用Huggingface的Transformers第一次导入预训练模型的时候会报这个错。问题描述：第一次运行demo的时候需要下载预训练模型，接着就会卡在这一步。网上看了一些，说什么卸载jupyter重装、或者重新安装ipywidgets的，都不管用。ImportError:IProgress not found. Please update jupyter and ipywidgets.原因分析：本质上却少了相关的包，直接pip install IProgress或

项目场景：近期安装transformers的时候发现了这个报错，之前transformers 3.5.0用的很流畅，这次突然遇到这个问题。问题描述：这种import error一般不是“缺胳膊少腿”，就是版本不匹配原因分析：按照头痛医头，脚痛医脚的思路，先去看看缺的这个包是咋回事。报错日志不难发现是tokenizers在调用GLIBC 2.18的时候找不到。简单了解了一下GLIBC一个Linux的c运行库（glibc_百度百科），再看一下服务器现有的GLIBC版本，确实没有2..

项目场景：最近在做CTR预估，同时有4个业务的一起做，之前在其他平台使用的机器学习没有问题。换到新的深度学习平台，用DNN和DeepFM做auc高的吓人。问题描述：模型从一开始就可以稳定收敛，无论是测试集还是训练集都可以稳定在0.99的auc。设定定时任务离线训练了数天后发现，偶尔会有几天auc突然变成0.5，之后有会变成0.99。 原因分析：遇到这个问题头也是大的，之前没做过这块的工作。只能一个个原因排查：是不是训练数据过拟合？答：但是在测试集上也有很高的auc很显然不是过拟合。

项目场景：在集群上写pyspark的时候遇到了这个问题问题描述：在进行df.show()操作的时候，由于数据中有中文，所以报错Traceback (most recent call last): File "20210622_1259_test.py", line 13, in <module> df.show(100)……UnicodeEncodeError: 'ascii' codec can't encode characters in position 246-

项目场景：使用Pyspark做数据清晰的时候，从小数据到大数据转换的时候报了这个错。问题描述： org.apache.spark.SparkException: Job aborted due to stage failure: Serialized task 9:0 was 137331649 bytes, which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes). Consider increasing spar

项目场景：提示：这里简述项目相关背景：例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机 APP 通信，每隔 5s 传输一批传感器数据(不是很大)问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes,

项目场景：利用Transformers转ELECTRA模型的时候，遇到了一些问题。ELECTRA用的是讯飞哈工大的模型。问题描述：执行转换脚本：python3 transformers-master/src/transformers/convert_electra_original_tf_checkpoint_to_pytorch.py \--tf_checkpoint_path chinese_electra_base_L-12_H-768_A-12/ \--config_file