追求卓越,做到专业

原创 git 常用语句

一、开发分支（dev）上的代码达到上线的标准后，要合并到 master 分支git checkout devgit pullgit checkout mastergit merge devgit push -u origin master二、当master代码改动了，需要更新开发分支（dev）上的代码git checkout mastergit pullgit checkout devgit merge mastergit push -u origin dev

原创 pyhanlp 自定义词库添加带空格的词

对于带空格的自定义词无法再词库文件中添加，因为词库文件中一个词条的格式为“word pos frequency”, 即“词 词性 词频”，举例：“单身狗 n 1024”，其中是以空格作为分隔，所以如果词带空格，引起格式错误。解决方法： 通过代码动态添加from pyhanlp import *text = "Joseph Robinette Biden and his family moved into the White House" print(HanLP.segment(text)).

原创 Elasticsearch hanlp分词大小写问题解决

// 在hanlp基础上自定义分词器PUT demo1/{ "settings": { "analysis": { "analyzer": { "my_hanlp_analyzer": { "tokenizer": "my_hanlp", "filter":"lowercase" } }, "tokenizer": { "my_hanlp": { .

原创 python langid 语种检测以及语种对应表

利用langid包识别语种，demo代码import langiddef lang_by_langid(para_text): ''' 语种识别,根据langid包 ''' ret = langid.classify(para_text) print(f"langid:{ret}") return ret[0]lang_arr=[ "「i-FILTER」に複数の脆弱性。導入企業は最新版に更新を（JVN#32155106） | セキュ

原创 python pymongo mongodb查null 空值

直接查询mongodb 某字段null，查询结果包括 item值为null或者不包含item字段的文档db.inventory.find( { item: null } )只查询item的值为null，通过 $type 查询db.inventory.find( { item : { $type: 10 } } )不包含item字段db.inventory.find( { item : { $exists: false } } )因为在python中无法写null，但其对应Non

原创 tmux 常用基本操作 一文搞定！

安装Centos : yum install tmux会话基本操作新建会话：tmux new -s session-name查看会话：tmux ls 在某-会话内部，则 ctrl+b s查看会话列表，键盘选择某个会话进入进入会话：tmux a -t session-name 或者 tmux attach -t sessionname断开会话：tmux detach 暂时退出当前会话： ctrl+b 再按d...

原创 nltk 下载失败 nltk download errno 61 问题详解

问题现象安装nltk后，执行nltk.download() 弹出界面弹出如下错误；或者 只想下载stopwords语料库时，提示错误如下: error 61 connection refused问题原因无法建立到raw.githubusercontent.com 服务器的连接问题，可能dn没有解析到该域名，需要在host中添加ip映射；Macsudo vi /etc/hosts1.输入本机密码后，打开hosts文件，输入i进入编辑模式；2. 复制如下语句# g.

原创 docker容器中文编码问题 UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters

启动docker 容器后，接口报错如下：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)进入容器查看系统环境语言包：发现不支持utf8所以在dockerfile中增加如下：RUN yum install kde-l10n-Chinese -y && \ yum install glibc-common -y &&

原创 Mac&Linux 查看端口占用的进程

Maclsof -i tcp:8080Linuxnetstat -antpl | grep 8080

原创 mac MoviePy 合成视频没有声音

现象在Mac上开发，使用默认的QuickTimePlayer播放拼接的视频，没声音，使用别的播放器，声音播放正常。解决方法在调用write_videofile函数时加上参数audio_codec=“aac”，改变下声道编码即可 v1 = '1.mp4' v2 = '2.mp4' v3 = '3.mp4' clip1 = VideoFileClip(v1) clip2 = VideoFileClip(v2) clip3 = VideoFileClip(v3)

原创 Python 农历&公历日期转换

Python 农历&公历日期转换安装Boraxpip install boraxfrom borax.calendars.lunardate import LunarDatetoday = LunarDate.today()# 显示农历今日，即 七月初四todayLunarDate(2020, 7, 4, 0)today.animaltoday.yeartoday.monthtoday.day'鼠'202074today.to_solar_date()

原创 python生成requirement.txt，以及安装txt文件中的依赖

生成requirement.txt安装文件pip freeze > requirements.txt安装所需要的文件pip install -r requirement.txt

原创 win7 IIS 503错误解决方法

在win7上部署IIS站点，页面一直出现HTTP Error 503；解决方法：修改应用程序池 - 高级设置 - 加载用户配置，将此值修改为 false

原创 云服务 IaaS、PaaS、SaaS

IaaS：基础架构即服务PaaS: 平台及服务SaaS: 软件即服务SaaS和本地部署的特性比较：http://www.ruanyifeng.com/blog/2017/07/iaas-paas-saas.html

原创 Linux 常用命令

rm -i filename 删除文件，提示是否删除rm filename/ rm -f filename 直接删除文件rm -ir filedir 删除文件夹，每个文件夹以及子文件夹提示 是否删除rm -rf filedir 直接删除文件夹-r : 就是向下递归，不管有多少级目录，一并删除-f：就是强行删除，不做提示mkdir myfolder： 新建文件夹目录touch ...

原创 mac iterm2 快捷键

基本ctrl + a 行首 (相当于command + 左箭头)ctrl + e 行尾 (相当于command + 右箭头)ctrl + u 清除当前行ctrl + p 上一条命令（=向上箭头）option + 左箭头 移动前一个单词option + 右箭头 移动后一个单词ctrl + d 删除当前光标的字符ctrl + h 删除光标之前的字符ctr...

原创 scp复制文件，过滤多个目录或者文件 rsync

比如有一个/usr/tmp/ 下面有几个目录 dira, dirb,dirc, 现在要想把 /usr/tmp 拷贝到 /home/xx/ 下面，但又不想要dirc使用rsync --excludecd/usr# 将tmp目录下的文件复制到 /home/xx/，排除其中的dirc目录rsync -avP --exclude=dirc/ tmp /home/xx/注意dirc...

原创 mac docker memory问题

问题描述mac 默认为docker分配的内存为2G，一旦容器中的程序运存超过该值，就会启动失败，如图：解决方法：mac->Docker->Preferences->Memory 增加该值也可以参考官方 关于Mac中使用Docker...

转载 Linux下使用yum install时出现Exiting on user cancel 完美解决

转发来自：https://www.cnblogs.com/feilstar/p/10284890.html

原创 docker python 编码问题 UnicodeEncodeError: 'ascii' codec can't encode characters in position

问题说明docker的python容器中执行print(‘测试’)，常见的错误提示，在宿主机不会出现UnicodeEncodeError: 'ascii' codec can't encode characters in position原因分析：原因是因为locale 的设置导致 shell 的stdin/stdout/stderr 的默认编码为ascii，当用ascii编码去...

原创 docker: http: server gave HTTP response to HTTPS client 原因&解决方法

错误现象：Error response from daemon: Get https://******:5000/v2/: http: server gave HTTP response to HTTPS client原因分析 docker registry未采用https服务，而客户端docker使用https请求push所致解决方法： docke...

原创 docker centos 镜像中安装python36详解！生成centos+python36的基础镜像

获取centos镜像docker pull centos:7.4.1708启动并进入centos的容器docker run -i –t centos /bin/bash下载安装python编译环境依赖yum -y install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite...

原创 安装python3之后，yum用不了

使用centos 安装python3，并默认python3为python版本之后，用不了yum注意:由于centos7的yum要使用到python2.7.5的环境，我们要指定yum使用的python的版本，不然使用了3.6.8可能会导致yum命令无法使用，修改头部设置为使用python2.7解决方法：# 操作路径 /usr/bin/vim yum# 修改头部设置如下方#!/...

原创 Hanlp依存句法 可视化展示

导入pyhanlp包，并调用依存句法分析方法。具体hanlp的一些常用方法等，可参考另一篇文章Hanlp安装使用详解from pyhanlp import * para_sen = "马伊琍与文章宣布离婚，华为是背后的赢家。"sentence = HanLP.parseDependency(para_sen)print(sentence)# 输出依存文法的结果 txt文件，...

原创 github 显示 jupyter notebook

1. github上传.ipynb文件，例如如下地址https://github.com/Waldenz/JupyterSrc/blob/master/ListDistinct.ipynb2. 在http://nbviewer.jupyter.org/ 上输入如上网址，回车获取新的地址https://nbviewer.jupyter.org/github/Waldenz/Ju...

原创 python中的list的去重方法

原创 github 私有库变公有后 permission denied

又一个repo之前是私有的，在setting中make public后，push的时候报错，Permission denied 如下：解决方法：查看远端项目地址$ git remote -vorigin https://github.com/Waldenz/JupyterSrc.git (fetch)origin https://github.com/Waldenz...

原创 git 添加、查看、删除远端项目地址

添加远端项目地址$ git remote add origin git@github.com:Waldenz/JupyterSrc.git查看远端项目地址$ git remote -vorigin https://github.com/Waldenz/JupyterSrc.git (fetch)origin https://github.com/Waldenz/Jupyter...

原创 python 类对象转json字符串

使用实例的 __dict__属性，将类对象转为json格式字符串import jsonclass Person(object): def __init__(self): self.name = 'John' self.age = 25 self.id = 1person = Person()s = json.dumps(pe...

原创 python json.dumps 中文编码

python的json.dumps方法默认会输出成这种格式"\u2535a\u35a2\u89bd",。要输出中文需要指定ensure_ascii参数为False，indent=2 表示缩进json.dumps({'text':"你好"},ensure_ascii=False,indent=2)第一个输出为没有indent参数的； 第二个为indent=2的。{"text":...

原创 Hanlp词性表

a 形容词ad 副形词ag 形容词性语素al 形容词性惯用语an 名形词b 区别词begin仅用于始##始bg 区别语素bl 区别词性惯用语c 连词cc 并列连词d 副词dg 辄,俱,复之类的副词dl 连语e 叹词end 仅用于终##终f 方位词g 学术词汇...

原创 pyhanlp安装使用详解

安装githubhttps://github.com/hankcs/pyhanlpconda install -c conda-forge jpype1pip install pyhanlp使用命令 hanlp segment 进入交互分词模式，会从github上自动下载data数据，会比较慢。可以停止命令，然后手动下载data-for-1.7.4.zip 大约640M 到pyn...

原创 github pages 关于repository中的markdown文件中文乱码问题

.md文件从repository发布到github pages后，文件编码会自动由utf-8转为utf-8 with BOM解决方案：直接将md文件保存为utf-8 with BOM，重新提交。

原创 github 项目预览html文件

第一种方式：在打开的源码地址的url基础上添加前缀http://htmlpreview.github.io/? ?后面加html文件地址缺点： 速度慢第二种方式：在仓库的 settings 中设置github pages 进行设置1. 找到你要展示的repo中的settings2. 找到 github pages 一栏， 在Source中选择 master brac...

原创 python 移除 \ufeff

encoding不是用 utf-8, 使用 utf-8-sigf = open(r'a.txt', encoding='utf-8-sig')

原创 python 实例方法、类方法、静态方法

实例方法：即普通方法，默认有self参数，且只能被对象调用；静态方法：用 @staticmethod装饰的不带self参数的方法，可以没有参数，可以直接使用类名调用；类方法：默认有cls参数，可以被类和对象调用，需要加上 @classmethod装饰器；实例方法只可以被对象调用，所有三个方法可以被实例和类调用。class Classname: @staticm...

原创 docker 启动、重启、关闭服务

systemctl start docker 启动systemctl restart docker 重启docker服务systemctrl stop docker 关闭docker服务

原创 Jupyter cell同时输出多行

如果对带有一个变量或是未赋值语句的cell执行操作，Jupyter将会自动打印该变量而无需一个输出语句。第一种方法：在代码最上方cell添加from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = "all" 第二种方法： 设置所有的J...

原创 欧式距离及代码实现

定义欧几里得度量（euclidean metric）（也称欧氏距离）是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。 计算公式二维空间的公式其中，为点...

原创 Jupyter启动和快捷键大全

启动在终端命令下，输入 jupyter notebook两种不同的键盘输入模型。编辑模式：允许您将代码或文本输入到一个单元格中，并通过一个绿色的单元格边框表示 命令模式：通过键盘命令响应相应操作，通过一个灰色的单元格边界显示，边框为蓝色左边框快捷键Both:Shift + Enter 执行本单元代码，并跳到下一单元 Ctrl + Enter 执行本单元代码，留在本单元...