- 博客(13)
- 收藏
- 关注
原创 第1章 训练自己的Tokenizer,构建专属词表(非必须,按需进行)
如果我们觉得重新训练一个自己的Tokenizer很麻烦,没有必要性, 但是又想加入一些特殊词汇在词表中。更具体的,如果使用 transformers model,可以使用 resize_token_embeddings 方法进行 resize,详情见。想要自己训练一个自己专属的Tokenizer有多种方法,使用sentencepiece工具是一种非常便捷、高效的方法。以下是一个简单用Transformers加载bert模型后进行resize的示例代码。
2024-06-18 18:01:10
618
原创 用optimum和fastT5解决Seq2Seq模型推理加速问题
Seq2Seq模型往往存在模型结构过大,推理速度达不到预期,导致模型推理的接口出现超时的现象。先提供三种改进方法,并且附上了两种方法optimum和fastT5使用onnx模型加速推理的详细实现代码,希望可以帮助到大家!!!
2024-03-20 20:51:50
1795
1
原创 C++转换函数
explicit关键字用于解决转换函数的编译矛盾,explicit关键字用于限定构造函数不会直接在转换时调用,而是只会在构造函数时调用。
2022-07-17 18:19:42
580
原创 C++学习笔记(五)
第一篇 拷贝构造、拷贝赋值、析构第二篇 堆、栈与内存管理第三篇 编写String类mystring.cpp构造函数析构函数拷贝构造拷贝赋值
2022-06-14 02:21:32
145
原创 C++学习笔记(四)
第一篇 拷贝构造、拷贝赋值、析构第二篇 堆、栈与内存管理栈(Stack)是存在于某作用域的一块内存空间,当调用函数时,函数本身也会形成一个stack放置接收的参数,以及返回地址。在函数本体内申明的任何变量,其所使用的内存块都是stack。堆(Heap)是指由操作系统提供的一块global内存空间,程序可动态分配从中获得若干块。内存分配new所作的操作具体为:内存释放delete所作的操作具体为:总结...
2022-06-11 04:07:00
81
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅