- 博客(88)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 pandas 透视表
margins_name: 汇总行和列的名称。index: 分类列, 透视表的row索引。margins: 是否添加汇总行和列。columns: 透视表中的列索引。fill_value: 空值填充。values: 统计的列。aggfunc:统计函数。
2023-07-27 09:53:11
209
原创 infomap代码实现
from infomap import Infomapimport tqdmmin_sim = 0.5word_vecs = np.array(temp_v)#word_vecs = model.wv.vectorsword_vecs /= (word_vecs ** 2).sum(axis=1, keepdims=True) ** 0.5word2id = {j: i for i, j in enumerate(sub_n_words)}new_words = sub_n_words
2022-04-23 17:31:51
847
原创 google colab挂载google云盘
from google.colab import drive drive.mount('/content/drive/')
2022-04-18 20:19:26
946
原创 notebook中使用已存在的conda环境
1、从要添加的虚拟环境中运行：python -m pip install ipykernel python -m ipykernel install --user --name '虚拟环境名' --display-name "notebook中显示的环境名"刷新notebook
2022-04-06 14:59:23
189
原创 python pandas matplotlib技巧知识点
# 这样用表格形式展示每个字段有多少缺失值pd.DataFrame(data2.isnull().sum(),columns=["num"]).T
2022-03-21 06:50:36
1555
原创 AttributeError: partially initialized module ‘fiona‘ has no attribute ‘_loading‘
描述：安装geopandas时没有问题，启动报错报错信息：解决方案：一般这种正常使用的情况下，突然报错，错误基本上都是内置安装包更新导致的。我使用的geopandas0.10.2，原始依赖fiona1.8.20，requirements.txt里面没有制定版本，然而在这个节点fiona更新到了1.8.21，项目重新打包安装就加载了最新版本，导致错误，所以，requirements.txt中制定fiona==1.8.20就好了。perfect！！！...
2022-02-17 11:31:41
4607
7
原创 解决dockerfile 中anaconda自动更新版本问题
FROM moinai/miniconda3:1.0.1 as builder-imageRUN conda config --set auto_update_conda false
2022-02-16 16:21:51
733
原创 python 正则表达式 包含和不包含同时满足
exclude_regex = '^((?!(' + '|'.join(exclude) + ')).)*$' # 不包含 include_regex = '.*'.join(include) # 包含 concat_regex = '(?=.*' + include_regex + ')(?=' + exclude_regex + ')' # 包含A且不包含B
2021-12-24 18:54:53
1701
2
原创 pytorch Bert模型冻结指定层参数进行训练
由于bert模型具有12层，参数量达一亿，bert模型做微调有的时候就需要只训练部分参数，那么就需要把其他的参数冻结掉，固定住，又能微调bert模型，还能提高模型训练的效率。这个就需要用到parameter的requires_grad的属性，来冻结和放开参数。首先我们看看bert模型的具体参数有那些：bert.embeddings.word_embeddings.weight torch.Size([21128, 768])bert.embeddings.position_embeddings.wei
2021-09-24 10:24:09
4102
原创 python md5生成和校验有效期的token
import timeimport base64import hmac# 生产tokendef generate_token(key, expire=3600): r''' @Args: key: str (用户给定的key，需要用户保存以便之后验证token,每次产生token时的key 都可以是同一个key) expire: int(最大有效时间，单位为s) @Return: st
2021-09-07 17:28:29
491
原创 python 代码转cython c++格式文件
Cython是一个快速生成Python扩展模块的工具，从语法层面上来讲是Python语法和C语言语法的混血，当Python性能遇到瓶颈时，Cython直接将C的原生速度植入Python程序，这样使Python程序无需使用C重写，能快速整合原有的Python程序，这样使得开发效率和执行效率都有很大的提高; 转成cython之后，生成的是.so文件，具有对代码加密效果。这里使用的python3.6版本，版本号很重要，如果使用3.6版本加密，调用的时候也必须是3.6版本的python,而且操作系统也要一致。安
2021-09-07 17:24:50
887
原创 python 字符串中包含或者不包含某些子串问题
不包含某些子串reg1 = '^((?!(是的|好的)).)*$'text = '嗯我失败成功了是的're.search(reg1, text)结果：不会匹配到，因为text中有"是的"包含某些子串reg1 = '(是的|好的)'text = '嗯我失败成功了是的're.search(reg1, text)多个条件并列 andreg1 = '^((?!(是的|好的)).)*$'reg3 = '嗯'reg4 = '(?='+reg3+')(?='+reg1+')'text
2021-06-16 18:39:03
2194
原创 python 字符串中特定文本位置交换
import re# 文本位置交换text = '是这样的're.sub(r'(是)(.*)(的)',r'\3\2\1', text)输出为：‘的这样是’
2021-06-16 17:54:04
2105
原创 docker17.03下配置gpu环境
环境由于最近需要使用GPU，且当前系统只支持nvidia/cuda:9.0，所以使用基础镜像：nvidia/cuda:9.0-cudnn7-runtime-centos71、镜像中需要安装python3（自带pip3）,这里使用python3.6.82、使用cuda9.0对应的pytorch版本：torch==1.1.0torchversion==0.3.0资源下载链接：dockerfile如下：# 基于镜像基础FROM nvidia/cuda:9.0-cudnn7-runtime-ce
2021-04-22 11:36:38
859
原创 sentos7离线安装nvidia驱动和nvidia-docker
内核版本：3.10.0-957.el7.x86_64docker版本:17.03.0-cegpu版本：tesla v100s1、首先下载nvidia驱动NVIDIA-LINUX-x86_64-418.181.07.run2、该docker版本支持的nvidia-docker版本：1版本nvidia-docker-1.0.1-1.x86_64.rpm3、docker测试镜像：docker pull nvidia/cuda:9.0-base下载好之后保存镜像，以便传到服务器：docker
2021-04-01 16:16:47
627
原创 python项目中使用hanlp 配置dockerfile详情
1、由于hanlp是用java编译的，所以必须要配置java环境2、hanlp会自动下载所需要的压缩包，也可以提前下载好，放到指定的位置/usr/local/lib/python3.6/site-packages/pyhanlp/static/，我用的python3.6FROM shaozhuquan/hanlp_model:v3 as modelFROM python:3.6-busterWORKDIR /algo-signalCOPY . .RUN pip install --upg
2021-03-10 14:40:12
514
原创 ubuntu18.04突然关机重启后显卡驱动失效
1 原因：绝大多数是因为内核版本更新问题。2 第一步 重启电脑（双系统会出现以下界面，有些电脑只有Ubuntu系统出现不了以下界面，我的电脑按esc键即出现以下界面，电脑品牌不一样按的键可能会有所不同）3 选择其中的高级选项 ，会出现不同的内核版本，以下是我的电脑内核版本：可以看到有两个版本，一个是linux 4.15.0-101-generic和一个linux 4.15.0-106-generic（这个为新版本，即有问题的版本）我们选择linux 4.15.0-101-generic按enter
2021-02-20 14:42:24
1067
2
原创 mlivus配置mysql
实例：注意：host不用使用127.0.0.1，要使用自己的实际ip,否则会 报错：out of storage, meta schema is damaged or created by in-compatible Milvus vesion
2021-02-19 18:21:59
777
原创 ubuntu18.04 部署GPU环境 docker启动完整步骤
1、首先安装nvidia驱动，根据自己的gpu版本下载对应的驱动，这里使用的gpu是2080Ti驱动使用NVIDIA-Linux-x86_64-460.39.runsh NVIDIA-Linux-x86_64-460.39.run中间会让你安装gcc和make两个包，按提示安装即可apt install gccapt install make检测nvidia驱动是否安装成功：nvidia-smi显示下图则证明安装成功：2、安装dockerapt install docker.io
2021-02-10 16:08:35
1415
原创 ubuntu18.04系统安装 dell workstation
1、u盘启动安装2、按F12键进入BIOS页面选择disk启动3、出现花屏现象解决方式：第2步后按“E”键，进入编辑模型。4、找到“quite splash”，空一格输入nomodeset。5、CTRL+X 启动系统。不再出现花屏，进入系统安装。6、安装成功后，vim /etc/default/grub7、找到这行：GRUB_CMDLINE_LINUX_DEFAULT=”quiet splash”8、改成：GRUB_CMDLINE_LINUX_DEFAULT=”quiet splash n
2021-02-10 15:12:04
218
原创 python 内存泄漏查找方法
方法import tracemallocdef test(): tracemalloc.start() snapshot1 = tracemalloc.take_snapshot() ## 你的各种数据操作 ……………… snapshot2 = tracemalloc.take_snapshot() top_stats = snapshot2.compare_to(snapshot1, 'lineno') print(top_stats[0:10])打印结果：[<
2020-11-11 16:38:07
796
原创 pycharm如何退出pytest模型
进入setting：在python integrated tools中把pytest修改为unittests即可
2020-10-22 14:27:44
862
原创 HanLP 在Mac OS 的 Python 环境中安装、介绍及使用
mac版本：10.15.4python: 3.6hanlp环境安装hanlp是java写的开源库，在python环境中调用hanlp需要java环境的支持和python调用java的工具安装java安装JpypeJPype是一个能够让 python 代码方便地调用 Java 代码的工具，从而克服了 python 在某些领域（如服务器端编程）中的不足。pip install jpype1测试import jpypejpype.startJVM()# 执行java代码jpyp
2020-10-22 14:25:58
1324
2
原创 rasa spacyNLP使用方式
spacy语言模型，默认将使用配置的语言。如果要使用的spacy模型的名称不同于language标记(“en”、“de”等)，则可以使用配置变量指定模型名称，将名称将传递给模型：spacy.load(name)使用方式：1、在线下载python -m spacy download en_core_web_sm2、离线下载文件en_core_web_sm-2.2.5.tar.gz 提取密码：igh0下载好以后执行一下命令：python -m pip install en_core_web_
2020-10-15 13:31:48
1525
原创 批量kill多个进程
ps -ef|grep ttys000|grep -v /bin/zsh|cut -c 8-13|xargs kill -9管道符"|"用来隔开两个命令，管道符左边命令的输出会作为管道符右边命令的输入。下面说说用管道符联接起来的几个命令："ps - ef"是linux 里查看所有进程的命令。这时检索出的进程将作为下一条命令"grep ttys000"的输入。"grep ttys000"的输出结果是，所有含有关键字"ttys000"的进程“grep -v /bin/zsh"是在列出的进程中去除
2020-10-10 10:30:03
889
原创 python查看进程占用系统内存以及新增内存
查看内存import psutilimport osprint(u'内存使用：{}M'.format(psutil.Process(os.getpid()).memory_info().rss/1024/1024))查看新增内存import objgraphimport gcobjgraph.show_growth()gc.collect() # 回收内存objgraph.show_growth()
2020-09-29 10:41:29
1130
原创 python绘制平滑的曲线 对折线进行平滑操作
import matplotlib.pyplot as pltimport numpy as npfrom scipy.interpolate import make_interp_spline x = np.array([1, 3, 5, 7, 8])y = np.array([1, 2, 9, 16, 15]) x_new = np.linspace(x.min(),x.max(),300) #300 represents number of points to make between
2020-09-17 10:21:23
6120
原创 python pip 批量安装离线whl包
pip install --find-link=lib -r requirements.txt我的安装包放在lib文件夹里，requirements.txt中格式为：有疑问的小伙伴可以私我，感觉有帮助的话，麻烦点个赞撒，也可关注我的微信公众号，内有许多NLP相关算法原理讲解，一起讨论，打怪升级吧。最后再说一句，如果有论文模型代实现需求的朋友，可以私我，我们好好聊聊...
2020-09-03 17:02:53
5646
原创 GuidedLDA详解
一、 简介GuidedLDA 是可选半监督主题识别算法，所谓“可选”意思是自定义的主题可以有选择的传入模型中，不传的话，就和LDA一样了。二、安装pip install guidedlda# 其他依赖包pip install numpypip install Cythonpip install pbr注意：guidedlda是基于C语言实现的模型，mac电脑不能识别其中的后缀为.so的文件，我这边没有安装成功，由于只有mac电脑，无奈使用docker镜像模拟linux环境使用该算法。这里
2020-09-03 11:38:51
1503
原创 fatal: You have not concluded your merge (MERGE_HEAD exists). Please, commit your changes before you
造成这个问题的原因是：没有拉去代码。解决办法:保留本地的更改,中止合并->重新合并->重新拉取git merge --abort //中止合并git reset --merge //撤销合并git pull //拉去代码
2020-06-05 10:09:27
4437
原创 pandas：dropna()
对于DataFrame:data.dropna() #默认删除包含缺失值的行data.dropna(how = 'all') # 传入这个参数后将只丢弃全为缺失值的那些行data.dropna(axis = 1) # 丢弃有缺失值的列（一般不会这么做，这样会删掉一个特征）data.dropna(axis=1,how="all") # 丢弃全为缺失值的那些列data...
2020-04-09 14:22:34
1289
原创 linux 跑shell脚本 遇到的坑
在linux服务器执行带hive -e 或是sql的shell脚本，报出：ParseException line 24:2 cannot recognize input near ‘（’ ‘select’ ‘id_type’ in joinSource (state-42000,code-40000) 的问题，第一步先进行shell脚本的语法排除，当语法无问题时，进行第二步查看脚本文件保存的...
2020-03-27 10:45:48
1875
原创 深度优先遍历和广度优先遍历
深度优先遍历假设给定图G的初态是所有顶点均未曾访问过。在G中任选一顶点v为初始出发点(源点)，则深度优先遍历可定义如下：首先访问出发点v，并将其标记为已访问过；然后依次从v出发搜索v的每个邻接点w。若w未曾访问过，则以w为新的出发点继续进行深度优先遍历，直至图中所有和源点v有路径相通的顶点(亦称为从源点可达的顶点)均已被访问为止。若此时图中仍有未访问的顶点，则另选一个尚未访问的顶点作为新的源点重...
2020-03-26 12:02:19
862
原创 python3 111. 二叉树的最小深度
给定一个二叉树，找出其最小深度。最小深度是从根节点到最近叶子节点的最短路径上的节点数量。说明: 叶子节点是指没有子节点的节点。解题思路：要从四个方面考虑是否继续递归1、根节点为空2、左孩子为空3、右孩子为空4、非叶子节点class TreeNode: def __init__(self, x): self.val = x self.left...
2020-03-19 11:06:04
281
1
tensorflow-1.14.0-cp36-cp36m-linux-aarch64.whl
2023-01-31
tensorflow-1.15.5-cp36-cp36m-linux-aarch64.whl
2023-01-31
h5py各种arm安装包版本
2023-01-31
tensorflow-1.x-cp3.x-linux-aarch64.whl
2023-01-31
python dockerfile 多阶段构建镜像瘦身.docx
2021-10-11
zh_core_web_lg_szq.zip
2020-10-21
zh_core_web_md_szq.zip
2020-10-21
zh_core_web_sm_szq.zip
2020-10-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人