- 博客(6)
- 收藏
- 关注
RSS订阅原创 NLP与大模型课程复习
数据来源：从CommonCrawl等网站上获取开源的数据，针对不同语言选择不同语言的数据集数据预处理：针对不同的数据来源，采用不同的数据处理方法可控高质量数据来源：新闻数据、论文数据，直接根据html写专门的处理逻辑，抽取文本内容，不需对文本做清洗操作。较低质量数据来源：比如Common Crawl，需要从文本提取、语言识别、删除重复、低质量数据过滤等若干操作。关注点：去重、去毒、去隐私。以CommonCrawl为例及进行数据处理：依网址特征过滤，过滤不正常的网站。抽取文本内容。
2025-01-06 01:00:00
644
原创 vscode remote ssh突然连接不上服务器
20:06:35.923] "install" terminal command done [20:06:35.923] Install terminal quit with output: 过程试图写入的管道不存在。[20:06:35.923] Received install output: 过程试图写入的管道不存在。然后在删除everyone的时候又说是继承的父类，不能删除，我们在config-属性-安全-高级中禁用继承即可。
2024-10-11 20:24:11
1289
原创 ERROR: Failed building wheel for gdal 最新解决方案
下载好后，win+r，输入cmd进入终端，进入刚刚的scripts路径，pip install GDAL-3.7.3-cp311-cp311-win_amd64.whl，出现。，打开网址后，点开Assets找到符合你python版本的gdal，我的python是3.11.5，并且电脑是64位的，因此我要选择cp311，win_amd64的版本。作者使用pip install gdal出现报错，于是转而使用把文件下载到本地，然后再安装的方法，成功安装。这个网站不能使用了，要使用。即安装成功，问题解决。
2024-04-30 02:51:20
1459
2
原创 记录一下1650Ti安装CUDA12.3+CUDNN
2.没有安装常见的CUDA版本，直接安装了CUDA12.3的版本（pytorch截至今天还只更新到了CUDA12.1），导致不管是torch官网生成名的命令还是清华镜像源，安装过程的不断出错，即使安装成功了也是CPU版本。当时看到了以下这么一句话，因为自己的电脑支持到了12.3，就直接安装了12.3，下次配环境还是要循规蹈矩一些！1.在GPU版pytorch下载与安装前参考的都是这一篇。2.GPU版pytorch下载与安装的指令参考这一篇。1.之前的瞎操作，把nivida控制面板给整不见了。
2024-01-10 00:06:24
1129
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人