- 博客(41)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 大模型计算及GPU相关概念记录
它们适用于不同的计算需求。一般来说，单精度适合一般计算，双精度适合科学计算，扩展双精度适合高精度计算。一个遵循 IEEE 754标准的系统必须支持单精度类型（强制类型），最好也支持双精度类型（推荐类型），而扩展双精度类型则是可选的。算力最基本的计量单位是 FLOPS，英文 Floating-point Operations Per Second，即每秒执行的浮点运算次数。浮点运算其实就是带小数的加减乘除运算。训练总算力（Flops）= 6 * 模型的参数量 * 训练数据的 token 数。
2024-07-19 09:47:06
814
1
原创 推荐系统算法初探：新手学习笔记
本文简单介绍了推荐系统的基本框架，详细讲解了召回环节的多路召回策略和个性化召回方法，如基于内容的协同过滤和基于模型的协同过滤。同时，文章还介绍了排序环节的特征工程和点击预估模型，包括传统机器学习和深度学习模型。最后，文章预告了后续将深入讲解的推荐模型和应用实践。
2024-07-19 09:44:03
951
原创 RAG技术-为自然语言处理注入新动力
在自然语言处理（NLP）的领域中，RAG（Retrieval-Augmented Generation）技术以其独特的方式，正在改变我们与机器的交互方式。RAG技术结合了大语言模型的强大能力，使得机器在理解和生成自然语言方面更加精准和高效。今天，我们就来探讨RAG技术如何利用大语言模型，为自然语言处理带来革命性的变化。
2024-07-17 16:48:29
899
原创 Uvicorn+Gunicorn+FastAPI学习笔记
Web服务器网关接口(Python Web Server Gateway Interfeace，缩写WSGI)是为python定义的Web服务器和Web应用程序或框架之间的一种简单而通用的接口。Gunicorn是一个基于Python的WSGI（Web服务器网关接口）HTTP服务器，它用作FastAPI的部署服务器。它所在的位置通常是在反向代理（如 Nginx）和一个 web 应用（如django）之间，支持eventlet也支持greenlet。
2024-04-25 10:44:54
1303
原创 Linux常见概念及命令介绍
在Linux系统中，基本命令行操作构建了Linux系统基础，为有效的系统管理和维护提供了关键工具。初学者通过掌握这些命令，能够快速上手并建立起对Linux环境的熟练操作能力。
2023-11-17 10:35:36
207
原创 文本生成评估指标：ROUGE、BLEU详谈
本篇博客介绍了指标选择与应用注意事项，强调评价指标不是唯一标准，需结合实际任务和需求。文章提供了指标选择建议和考虑因素，并提醒读者评价指标的局限性，特别针对长文本评估等问题。通过综合多个指标、理解任务需求以及指标的适用范围，我们能够更准确地评估模型性能。不同指标的优缺点综合考虑，可以达到全面评估模型的目的。若想了解如何选择适合的评价指标并了解其局限性，本篇博客将是您的理想指南！
2023-07-25 11:32:06
5731
原创 自然语言处理-文本表示: Embedding技术
Embedding技术是自然语言处理领域中一种常用的表示文本的方法。它通过将文本映射到低维向量空间来捕捉单词、句子或文档之间的语义关系和语法结构。本文介绍了几种常见的Embedding技术，包括Word2Vec、GloVe、BERT等，并解释了它们的原理和应用场景。通过使用这些技术，我们可以获得具有丰富语义信息的文本表示，从而在词义相似度计算、情感分析、文本分类等任务中取得更好的效果。此外，我们还提供了一些相关的参考文献供读者进一步学习和探索。
2023-07-14 10:29:39
3166
原创 增强分析的关键技术之自然语言查询及自然语言生成
自然语言查询技术和自然语言生成技术正以惊人的速度改变着人机交互方式。自然语言查询技术允许我们用日常语言进行查询，无需特定编程语言。自然语言生成技术则能将结构化数据转化为易读的自然语言文本。这两种技术在搜索引擎、智能助理、数据分析和内容生成等领域展现出巨大潜力。无论是通过语音搜索获取信息，还是使用聊天机器人进行对话，这些技术正在改善我们与计算机的交互体验，让技术更加贴近人类的方式。未来，随着技术的不断创新和发展，我们将迎来更加智能和自然的交互方式。
2023-06-05 10:00:00
957
原创 数据炼金术师：Python在挖掘洞见中的魔法
Python以其简洁易读、多范式支持、广泛的应用领域和强大的生态系统，成为数据挖掘领域中一种强大的工具。通过运用Python的炫技代码写法和利用其优势，开发人员能够更高效地处理数据、构建机器学习模型，并开发出具有创新性的应用程序。
2023-06-01 14:00:00
571
原创 Zero Shot、Few Shot、One Shot闲聊
Zero Shot、Few Shot和One Shot的神奇之处，能够在没有见过的任务或类别上做出准确的预测，甚至只需要极少的样本就能学会新技能。
2023-05-17 22:52:26
3565
原创 NLP领域大语言模型汇总
大语言模型是近年来人工智能领域重要研究方向之一。它们是基于深度学习技术构建的神经网络，可以自动学习和生成自然语言文本，如文章、对话、诗歌、代码等等。本文主要真针对目前比较火热的自然语言大语言模型，进行简单介绍，LLM包括了OpenAI的ChatGPT、百度文心一言、清华的GLM等模型。
2023-03-28 17:39:04
5628
1
原创 Linux系统下Python环境离线安装
在Linux系统下，支持Centos、Ubuntu等系统，对原生的Python环境在指定目录下进行离线解压、编译、安装，同时配置环境变量。
2023-02-24 14:16:09
2314
原创 Python工程项目环境打包、离线环境部署
Python工程化项目，原生Python解释器在linux系统下的离线打包流程，以及在新系统环境下的Python环境解压安装流程。
2023-02-22 10:10:45
1535
原创 Ubuntu18.04安装uwsgi与GCC版本不匹配问题解决方案
ubuntu18.04操作系统下，在python3.6.2版本下安装第三方包uwsgi报错，已经安装gcc\g++，因为版本问题导致的uwsgi不能编译成功，具体解决方案，降低gcc/g++版本解决方案。(PS: 也可升级python版本解决)
2023-01-05 10:34:13
425
2
原创 NLP数据标注常用工具汇总
开源数据标注工具BRAT功能介绍及开源代码；prodigy基于主动学习的标注工具；Chinese-Annotator基于主动学习的标注系统，同时支持用户标注；EDDA基于python2、可标记种类数只有7种；IEPY关系抽取标注;Doccano多语言多任务支持。......
2022-06-29 09:44:58
1454
原创 Linux文件权限及用户、用户组修改
linux下文件及文件夹权限修改1) 符号类型改变文件权限命令修改方式符号模式chmodu/g/o+/-/=r/w/x参考样例:给文件的所有者加上 x 权限 即可使用 chmod u+x 文件给文件的所有组去掉 r 权限 即可使用 chmod g-r 文件其他人对文件有 rx 权限 即可使用 chmod 0=rx 文件2) 数字类型改变文件权限rwx 的权限数分别为：r =4 , w=2,
2020-09-14 17:24:04
528
原创 ValueError: Invalid initialization option报错
问题描述:File “/home/dev/xxx/new/env/env/Python-3.6.2/lib/python3.6/site-packages/xlrd/init.py”, line 143, in open_workbookragged_rows=ragged_rows,File “/home/dev/xxx/new/env/env/Python-3.6.2/lib/python3.6/site-packages/xlrd/xlsx.py”, line 804, in open_work
2020-08-27 19:01:46
1025
原创 uWSGI listen queue of socket “port“ (fd: 6) full !!! (100/100)
问题场景django+uwsgi+nginx，在centos7下进行压测报错解决方案针对该问题，需要从服务器和web服务器两方进行参数修改服务器参数修改注: 这里直接修改配置文件了，重启后仍然有效。修改/etc/sysctl.conf文件,添加或者修改这几个参数值#对于一个高负载 web服务环境来说，默认的 128 太小net.core.somaxconn = 65535#表示SYN队列的长度，默认为1024，加大队列长度为8192，可以容纳更多等待连接的网络连接数net.ipv4
2020-08-13 10:51:37
715
原创 Centos 下命令行启动VM
注:最好用root用户，执行以下命令查看正在运行的虚拟机vmrun list 虚拟机启动启动无图形界面虚拟机 （-T 是区分宿主机的类型，ws|server|server1|fusion|esx|vc|player，可能比较常用的是ws、esx和player，不过我没有加-T在Workstation也能正常运行,可能esx和server就需要了）vmrun -T ws start "/opt/VMware/win2k8r2.vmx" nogui启动带图形界面虚拟机vmru..
2020-08-06 14:20:05
1117
原创 linux下rar\zip分卷解压问题
linux平台下rar分卷解压过程中可能遇到问题及解决方案直接使用unrar x test.rar报错:bash:/usr/local/bin/unrar: /lib/ld-linux.so.2:bad ELF interpreter: No such file or directory问题原因:可能是64位系统下安装了32位rar的原因，查看linux系统的版本命令：uname -a出现的内容中如果有x86_64就是64位的，没有就是32位的。解决方案:下载64位rar
2020-06-02 11:58:39
1076
原创 python第三方包批量列表导出及单个版本查询
python环境第三方包安装列表查询方式一(用于查询第三方包的版本)：pip3/pip list 方式二(生成文件可用于批量安装)：pip3/pip freeze > requirements.txtpython环境第三方包批量安装根据上述方式二中生成的requirements.txt文件，执行以下命令，进行批量安装pip3/pip install -r requireme...
2019-12-16 11:16:00
496
原创 使用Pycharm中将svn分支的code合并到主干
在使用svn项目管理工具进行项目开发过程中，往往涉及到trunks, branches, tags的合并操作，现针对项目开发过程中，在分支(branches)中修改了代码，如何通过pycharm合并到主干(trunk)上，下面会给出具体的实现步骤:第一步，首先保证svn用户拥有该项目主干上和分支上的权限；第二步，在分支项目上修改代码并进行提交；第三步，在主干上的项目，选中要更新的文件或...
2019-09-24 16:46:43
1254
4
原创 Django时区设置
使用Django框架进行web项目开发过程中，记录日志信息时，日志时间延迟８小时，原因是使用Django框架创建项目时setting.py文件中时区字段默认值造成的，修改方式如下：打开setting.py文件，修改TIME_ZONE字段的默认值，TIME_ZONE = 'UTC'将时区字段修改为中国上海即可，时间可以正常显示。TIME_ZONE='Asia/Shanghai'...
2019-03-05 09:53:55
1014
转载 nginx服务器启动、停止、重启
启动nginx:nginx -c /path/to/nginx.conf关闭nginx：nginx -s stop :快速停止nginx quit ：完整有序的停止nginx重启nginx：nginx -s reload ：修改配置后重新加载生效 nginx -s reopen ：重新打开日志文件 nginx -t -c /path/to/ngi...
2019-03-03 16:16:53
24665
原创 python安装pycrypto报错
python安装pycrypto报错error: command 'x86_64-linux-gnu-gcc' failed with exit status 1系统3.19.0-15-generic #15-Ubuntu安装pycrypto提示error: command 'x86_64-linux-gnu-gcc' failed with exit status 1错误查看gcc已...
2019-03-03 16:11:56
2254
1
转载 VM中安装系统不能全屏的问题
方法一：原文链接：https://www.cnblogs.com/zhbzz2007/p/4111866.html由于使用的VMware WorkStation是中文破解版，安装时又是简易安装，因此VMware Tools并没有安装上，导致Ubuntu 14.10在VMware中装上之后，并不能满屏显示，如图1所示。 ...
2018-03-22 21:29:55
5485
1
原创 重启nginx时出现的问题
解决nginx: [error] open() ＂/usr/local/nginx/logs/nginx.pid＂ failed错误问题描述： [root@localhost sbin]# ./nginx -s reload nginx: [error] open() “/usr/local/nginx/logs/nginx.pid” failed (2: No such file or dir
2016-10-09 18:51:28
915
原创 Android应用程序启动时出现白色背景问题
Android应用程序开发过程中，为了使应用程序有更好的用户体验，常常在启动应用程序时添加启动页，但是在添加启动页的时候，我们会发现，在启动该应用时会出现白色背景，然后才进入我们设定的启动页背景。 解决方法如下： 在style中创建一个启动activity的style，my_welcome_background即是你需要显示的启动页背景图，然后将下面的style添加到manifest文件中的启动
2016-10-07 11:29:43
4938
1
原创 APP修改包名后依然覆盖 注意事项
在Android开发过程中，有些时候需要使用一个APP的模板创建不同的APP。 如果是这种情况，为了防止不同APP使用相同的包名而出现APP覆盖现象，所有我们需要根据不同的APP设置不同的包名，修改包名的方法网上有很多，在这里就不做介绍了。 我在这里提醒大家一下，修改完包名后，直接生成APK，还是会出现APP覆盖现象，这时需要修改你创建的app的gradle文件中的applicationId后面
2016-06-26 01:22:18
8313
原创 Leetcode Reverse Integer
class Solution { public: int reverse(int x) { int flag = x>0 ? 1 : -1; int X = abs(x); long long result = 0; wh
2015-12-19 22:34:01
368
原创 Microsoft Visual Studio 2013产品激活密钥
win7/win8/win10系统下Visual Studio 2013各个版本的密钥：Visual Studio Ultimate 2013 KEY:BWG7X-J98B3-W34RT-33B3R-JVYW9Visual Studio Premium 2013 KEY:FBJVC-3CMTX-D8DVP-RTQCT-92494Visual
2015-10-07 16:16:28
21572
7
原创 C#控件使用(部分精选)
第三方控件使用大全一、ComboBoxEdit1、 如何使其不可编辑TextEditStyle 设置为：DisableTextEditor2、 如何设置鼠标为手形Cursor 设置为：Hand二、GridControl1、 如何解决单击记录整行选中的问题View->OptionsBehavior->EditorShowMode 设置为：Click2、 如何新增一
2013-07-09 23:28:05
621
libssl、libcrypto链接库文件
2023-11-16
"ChatGPT进阶指南：精通对话AI的使用技巧
2023-06-01
PAT——一种高性能软件验证工具
2015-06-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人