- 博客(6)
- 收藏
- 关注
RSS订阅原创 NLP基础之语言模型
这部分内容为NLP学习笔记什么是语言模型？语言模型描述了一门语言的句子的概率分布。也就是给出任意一个句子S（例如“我 喜欢 你”），在语言模型W中，都能够得到（通常是计算出来），其是“人话”（中文的正常表达）的概率W(S)。为什么要有语言模型？语言模型能够用于衡量一个句子是否是人话。其在诸多任务中，都能够起到作用。例如，中文分词任务中，我们可以通过计算分词后句子的概率，来确定最佳的分词结果。例如，“咬死了猎人的狗 ”到底是“咬死/了/猎人/的/狗”或是“咬死/了/猎人的狗”（举例不是很恰当），但是就
2021-08-20 10:03:58
273
原创 pytorch之Dataset 和 Dataloader 基础使用
基础使用首先简单介绍Dataset 和 DataLoader 两个类，Dataset直接对接了数据源，主要实现两个函数 getlen() 和 getitems().Dataset 作为DataLoader的参数，Dataloader 可以配置batch_size 等等取样参数，用于获得每批次的数据。# 定义datasetfrom torch.utils.data import *# 设 X 是输入 y是标签text_dataset = TensorDataset(X, y)# 创建loader
2021-08-17 17:16:36
261
原创 Jupyter 快捷键总结
键盘模式编辑模式：单元框线绿色, 允许你往单元中键入代码或文本命令模式: 单元框线灰色键盘, 可以输入运行程序命令模式切换：编辑模式 -> ESC -> 命令模式命令模式 -> Enter-> 编辑模式快捷键运行单元格：基础键(Enter)键功能Ctrl-Enter运行本单元Shift-Enter运行本单元，选中下个单元Alt-Enter运行本单元，在其下插入新单元单元格类型转换键功能
2021-08-14 13:29:30
540
原创 jupyter 无法启动内核
问题描述jupyter 启动后一直在启动服务，尝试连接，最终连接失败。切换另外一个内核能够成功连接。排查过程认为是ipykernel 版本不符合，查看可以连接的虚拟环境的ipython和ipykernel版本，并将不可连接环境版本改为一致。结果：失败。版本问题可能导致连接不上，但是我的问题不是。查看控制台的错误信息（以后遇到错误首先查看日志等信息，效率最高）定位问题如下图所示：ImportError: DLL load failed while importing win32api: 找不到指
2021-07-08 19:17:22
3834
2
原创 负载均衡策略总结
1 负载均衡策略分类1.1 软/硬件负载均衡软件负载均衡是通过安装一个或多个软件系统到服务器操作系统上来实现负载均衡。它的优点是基于特定的环境、配置简单，使用灵活，成本低廉，在性能上也能够满足一般的负载均衡需求。当前均衡系统中比较知名的有Nginx，LVS和HAProxy。因为需要附加一个软件系统，其本身会占用服务器资源，功能越强大就会消耗越多的系统资源，当系统本身和用户流量发展到一定规模是，可能负载均衡系统反而会成为系统的瓶颈所在。硬件负载均衡是通过在服务器和外部网络之间安装负载均衡的硬件设备（
2020-07-04 15:02:56
1486
原创 软件测试之测试策略：黑盒和白盒
黑盒测试和白盒测试1. 基本概念1.1 什么叫做黑盒测试？黑盒测试，是争对功能性的测试，又叫做功能测试。基本思想就是黑箱思想，将我们的代码模块看作一个只有输入、输出，而忽略其内部的具体实现和代码逻辑的黑匣子。通过判断输入和输出的对应关系是否合理，达到功能测试的结果。1.2 什么叫做白盒测试白盒测试是了解了代码的内部的实现，基于控制流来设计我们的测试用例。通常是使用覆盖测试的方法。具体方法我们下面会介绍。最完备的测试应该尝试遍历代码块之间的每一条运行路径（可以理解为执行的顺序），但是这个数据往往
2020-06-22 01:03:40
3213
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人