分享
扫一扫
超级会员免费看
_沧海桑田_
ACL/NAACL/EMNLP/COLING审稿人，
MOD大侠梦/MOD禾下霸业作者。
github.com/guotong1988
展开
-
Mac报错 /bin/sh: wget: command not found
具体在clone https://huggingface.co/ 的资源时候报的错。原创 2025-03-11 10:33:03 · 35 阅读 · 0 评论 -
TensorFlow（1.15版本），tf.map_fn速度很慢
把tf.map_fn替换成tf.where实现。原创 2024-10-14 16:59:19 · 79 阅读 · 0 评论 -
【tensorflow】在tf.estimator.EstimatorSpec打印train-AUC
【代码】【tensorflow】在tf.estimator.EstimatorSpec打印train-AUC。原创 2024-06-05 15:27:06 · 165 阅读 · 0 评论 -
【tensorflow】TypeError: Failed to convert SparseTensor to Tensor
但训练时传入的每个值长度不一，有100长度，有50长度。这个placeholder定义是。原创 2024-06-05 10:27:17 · 229 阅读 · 0 评论 -
TensorFlow 用 hashtable 的意义
的embedding_matrix存embedding，然后用embedding_lookup接口读每个id的embedding。比如id从1-100000，但1-100000里有很多值是空的，如果id是满的，从1-500都有值，可以用一个。TF的hashtable用来存不连续的id，原创 2024-04-24 15:41:22 · 309 阅读 · 1 评论 -
huggingface/transformers 用Trainer 和 不用Trainer
【代码】huggingface/transformers 用Trainer 和 不用Trainer。原创 2023-10-19 15:53:07 · 258 阅读 · 0 评论 -
huggingface/transformers 预训练自己的数据
huggingface/transformers 会自动加载 能对应上的 参数。原创 2023-08-31 17:12:06 · 274 阅读 · 0 评论 -
不预训练的话，用huggingface/transformers比google-research/bert的效果好2-4%
用于文本分类，正确率高2-4%原创 2023-08-01 11:00:44 · 161 阅读 · 0 评论 -
报错：Module ‘XXX‘ doesn‘t exist on the Hugging Face Hub
【代码】报错：Module ‘accuracy‘ doesn‘t exist on the Hugging Face Hub。原创 2023-08-01 10:04:40 · 3966 阅读 · 6 评论 -
huggingface/transformers tokenizer报错 list index out of range
【代码】huggingface/transformers tokenizer报错 list index out of range。原创 2023-06-28 10:18:07 · 725 阅读 · 0 评论 -
huggingface/transformers TFAutoModelForSeq2SeqLM 输出 embedding
【代码】huggingface/transformers TFAutoModelForSeq2SeqLM 输出 embedding。原创 2023-06-27 14:51:44 · 381 阅读 · 0 评论 -
Multi-Query Attention 阅读笔记
核心贡献：优化 multi-head attention 为 multi-query attention，减少多head相关运算，不降低精度 且 大幅提升解码速度。原创 2023-06-26 09:57:03 · 1542 阅读 · 0 评论 -
huggingface/transformers，tokenizer出的attention_mask的坑
则tokenizer返回的。则tokenizer返回的。原创 2023-06-15 11:53:35 · 1037 阅读 · 0 评论 -
TypeError: TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]]
huggingface/transformers 的 tokenizer 报的错，报错原因，数据里有None值。原创 2023-06-15 09:06:21 · 780 阅读 · 0 评论 -
把huggingface/transformers的模型文件下载到本地
python代码 自动下载模型实现和参数。如果你的网络环境较差，下载模型参数可能会花费较长时间甚至失败。此时可以先将模型下载到本地，然后从本地加载。参考 https://github.com/THUDM/ChatGLM-6B 的README。以chatglm-6b为例，然后运行。先安装Git LFS。原创 2023-06-14 15:52:09 · 3707 阅读 · 0 评论 -
Status: uncorrectable ECC error encountered
报ECC就是硬件本身有问题。原创 2023-05-30 11:20:54 · 1482 阅读 · 0 评论 -
huggingface/transformers 文本生成模型，输出置信度分值
以上摘自 https://discuss.huggingface.co/t/generation-probabilities-how-to-compute-probabilities-of-output-scores-for-gpt2/3175。原创 2023-05-24 16:37:32 · 406 阅读 · 0 评论 -
huggingface/transformers TFAutoModelForCausalLM 输出 embedding
【代码】huggingface/transformers output tensor/embedding。原创 2023-05-22 11:28:59 · 352 阅读 · 0 评论 -
huggingface/transformers tokenizer concat
首先encode，需要decode，利用默认的分隔符为空格，再encode。原创 2023-04-25 10:35:08 · 159 阅读 · 0 评论 -
huggingface/transformers 设置num_beams后报错：required broadcastable shapes
在框架内部有bug，原创 2023-04-04 16:05:50 · 498 阅读 · 0 评论 -
huggingface/transformers 保证tokenizer的encode和decode的一致性
decoded_text结果是空格分隔的，这个再encode时，空格会成为分隔符。原创 2023-04-03 15:51:41 · 337 阅读 · 0 评论 -
huggingface/transformers 读数据时拆分为train和dev
【代码】huggingface/transformers 读数据时拆分为train和dev。原创 2023-03-31 10:10:57 · 143 阅读 · 0 评论 -
huggingface/transformers 用tokenizer来encode和decode
【代码】huggingface/transformers 用tokenizer来encode和decode。原创 2023-03-29 10:49:10 · 394 阅读 · 0 评论 -
huggingface/transformers报错 Dimension -123 must be ＞= 0 [Op:Fill]
【代码】huggingface/transformers报错 Dimension - must be ＞= 0 [Op:Fill]原创 2023-03-28 15:18:58 · 157 阅读 · 0 评论 -
huggingface/transformers 设置训练时不进行validation
【代码】huggingface/transformers训练时不进行validation。原创 2023-03-24 16:44:31 · 126 阅读 · 0 评论 -
huggingface/transformers的tokenizer的padding参数 代码示例
【代码】huggingface/transformers的tokenizer的padding参数 代码示例。原创 2023-03-23 15:53:09 · 383 阅读 · 0 评论 -
huggingface/transformers的AutoTokenizer从本地读词表
https://stackoverflow.com/questions/62472238/autotokenizer-from-pretrained-fails-to-load-locally-saved-pretrained-tokenizer原创 2023-02-16 17:01:46 · 486 阅读 · 0 评论 -
huggingface/transformers的AutoConfig从本地读
【代码】让huggingface/transformers的AutoModel从本地读。原创 2023-02-16 17:14:07 · 477 阅读 · 0 评论 -
Mac10.13安装python3.6和TensorFlow1.15，可解决ssl相关问题
没有这个问题：https://blog.youkuaiyun.com/guotong1988/article/details/103498263。原创 2023-02-11 10:21:04 · 320 阅读 · 0 评论 -
用huggingface的datasets读取自己的数据
看print结果，是回车符来分隔为句子的。原创 2023-02-10 15:30:18 · 402 阅读 · 0 评论 -
从零预训练huggingface/transformers的GPT-2代码
参考 https://github.com/huggingface/notebooks/blob/main/examples/language_modeling_from_scratch.ipynb。原创 2023-02-10 14:34:37 · 978 阅读 · 0 评论 -
Mac-M1 安装 tensorflow-2.11
芯片 Apple M1 Pro原创 2023-02-10 11:39:19 · 345 阅读 · 0 评论 -
pip3 install 报错 protobuf requires Python ‘＞=3.7‘ but the running Python is 3.6.8
安装时指定protobuf版本。原创 2023-01-29 09:15:00 · 1639 阅读 · 0 评论 -
编译出 libtensorflow_jni.so
参考 https://github.com/tensorflow/tensorflow/tree/master/tensorflow/java。原创 2023-01-28 20:19:59 · 206 阅读 · 0 评论 -
编译出 libtensorflow_framework.so
用这个指令在相关根目录搜一下就能搜到，如果你安装了TF的话。原创 2023-01-28 20:18:24 · 169 阅读 · 0 评论 -
跑huggingface/transformers的GPT-2代码
GPT-2原创 2022-12-26 20:16:02 · 825 阅读 · 0 评论 -
在pycharm里debug以学习huggingface/transformers
github.com/huggingface/transformers原创 2022-12-26 16:56:54 · 899 阅读 · 0 评论 -
tensorflow tf.where 代码实例
【代码】tensorflow tf.where 实例。原创 2022-12-23 11:45:29 · 118 阅读 · 0 评论 -
tensorflow set contain
contain set原创 2022-12-05 16:36:35 · 428 阅读 · 0 评论 -
Tensorflow，用tf.while_loop编辑shape为None的tensor的每个值
tf.while_loop原创 2022-11-30 10:21:57 · 625 阅读 · 0 评论