元宝sama-优快云博客

原创 harbor部署与使用

docker login时报错 harbor x509 certificate signed by unknown authority。②IP登录：这个是私有镜像仓库。需要额外配置以下docker的参数，在/etc/docker/daemon.json中添加仓库地址。

2023-02-09 10:08:25 222

问题一、paramiko.SSHClient()远程执行命令时如何让python同步得到执行结果？（例如远程压缩文件，需要压缩完毕再执行scp下载）1.exec_command()和invoke_shell()，都是远程执行命令的函数。paramiko模块exec_command()函数是将服务器执行完的结果一次性返回给你；invoke_shell()函数类似shell终端，可以将执行结果分批次返回，看到任务的执行情况，不会因为执行一个很长的脚本而不知道是否执行成功。参考：https://bl.

2021-07-19 15:39:09 515

原创 redis相关

一、redis的windows安装与环境搭建：https://www.runoob.com/redis/redis-install.html转载菜鸟教程安装和环境搭建很简单，看菜鸟教程就足够啦。二、redis密码设置和查看密码：https://www.cnblogs.com/aspsea/articles/10964606.html转载#默认初始好像没有密码#设置密码config set requirepass test123#查询密码config get requi..

2021-02-22 13:49:42 160

原创 mysql8.0 windows安装报错

问题一：命令行不认识mysql这个服务。解决方法：有如下几个命令，记得用管理员权限打开cmd噢。# 启动或停止mysql服务。net start mysqlnet stop mysql#启动后输入命令mysql -u root -p#输入密码xxx问题二：报错ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)解决方法：找了好多好多好多文章，但大多都从my.ini

2021-01-14 13:53:11 303

原创 golang相关

问题一：go get github.com/astaxie/beego 没有反应解决办法：https://blog.youkuaiyun.com/zw421152835/article/details/102532675 转载问题点大致是明确的：网络问题不能访问。通过命令 go env 发现，有一个GOPROXY，我们知道npm maven 等都可以设置国内镜像/库地址的，那这个能不能了？当然是可以的。https://github.com/goproxy/goproxy.cn/blob/master/.

2021-01-05 09:48:29 462

原创 minio使用

一、minio是什么？对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。 cwx小课堂：如果有很多文件，一台机器放不下，需要放在多台上，那需要这些文件的时候岂不是要维护一张表甚至一个程序，记录哪些文件在哪台机器上？酱就很麻烦。所以使用分布式存储，虽然文件放在很多台机器上，但我们只要访问一个url就可以啦。二、使用python上传文件...

2020-12-10 13:54:28 1497

原创奇怪的报错

背景：使用dockerfile搭建项目容器，requirments中已经加入所以依赖的库。docker-compose build打包镜像时，显示所有依赖的库pip succesful。docker-compose up -d 启动容器--use-feature=2020-resolver

2020-11-10 13:36:36 1241 1

原创 git相关

1. cwx小课堂：1）建隧道，远程传入，源主机：127.0.0.1：10180（端口号随便写），目标主机：xxx.xx.xx.xx:xx（git服务器的）2）git clone 项目url（做了映射所以改为127.0.0.1） cd 项目文件夹 git pull2. 过了很久之后重新git clone遇到的问题：报错：fatal: repository 'http://127.0.0.1/xxx/xxxx.git/' not foundweb上提示：在账号中...

2020-11-05 16:27:04 1859 1

原创 python之pdf转txt的两种方法——pdfminer与ocr

各个系统安装命令：https://github.com/tesseract-ocr/tesseract/wiki#centos-fedora-scientificlinux-opensuse-rhel-packages

2020-10-28 09:58:33 2787

原创 kylin配置jdbc遇到的一些问题

安装sqoop教程：https://blog.youkuaiyun.com/weixin_33982670/article/details/91454280sqoop报warning解决办法：https://blog.youkuaiyun.com/wx1528159409/article/details/87948866hdfs的常用命令：https://www.cnblogs.com/JasonPeng1/p/12541830.html

2020-07-28 10:13:43 212

原创 supervisor简单使用

#查看在运行的程序supervisorctl status #查看supervisor配置文件cat /etc/supervisord.conf#子进程配置文件注：默认子进程配置文件为ini格式，可在supervisor主配置文件中修改。cd /etc/supervisord.dxx.ini配置文件内容[program:mdata]command=python3.7 run.py #命令directory=/root/x.

2020-07-21 10:40:24 160

原创 elasticsearch相关问题

// 查询xx列的distinct值{ "aggs": { "xx": { "terms": { "field": "xx", "size": 20 } } }}

2020-06-23 16:45:36 623

原创 linux一些常用命令

# 查看所有进程ps aux | less#查看某个模糊匹配进程ps aux | grep 字符# 后台运行nohup 命令 &# 杀掉进程kill -9 进程号

2020-06-15 09:32:24 142

原创 docker的一些常用命令

查看正在运行的容器docker ps -a 进入容器docker exec -it mdata /bin/bash退出容器但不关闭,注意要大写哦~ctrl+P+Q

2020-06-12 14:37:58 248

转载这篇进程线程写得太好了！膜拜！

https://blog.youkuaiyun.com/lzy98/article/details/88819425?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522159177386719195239804767%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=159177386719195239804767&biz_id=0&ut

2020-06-11 09:21:00 177

原创编码要好好学呀

https://cloud.tencent.com/developer/article/1343240https://www.ibm.com/developerworks/cn/java/unicode-programming-language/index.html

2020-01-10 12:02:18 130

原创 python @click与任务选择

先贴官方文档与翻译：https://click.palletsprojects.com/en/7.x/ 这个是官方文档。（我进来看可以有什么type，竟然没有list，于是我机制的用str代替嘻嘻嘻）https://blog.youkuaiyun.com/weixin_43411585/article/details/99709274 这个是别人翻译的。然后我用这个去控制一组方...

2019-11-07 16:28:10 308

原创 python装饰器

https://www.cnblogs.com/serpent/p/9445592.html讲的巨好。感觉任何我想达到的目的通过他的代码都可以实现！！！

2019-11-07 11:35:29 128

原创工作目录和相对路径。

http://c.biancheng.net/view/5693.html这个讲的很详细。我原本以为相对路径是文件对文件的相对路径。但实际上，应该是文件相对于工作目录的路径。例如：目录如下m:---bin-------p.py 主文件---lib-------u.py 方法文件，其中有open('xx.sql')---sql-------xx....

2019-11-06 10:15:51 675

原创 navicat安装包

百度网盘：链接：https://pan.baidu.com/s/1TA9VcFWRuE7S7K7Kiiy4eg提取码：uky2里面有一个安装文件一个破解压缩包。同事给我的，亲测有效。同事都超级好呜呜呜，为了报答这份恩情，我觉得给广大网友共享也算回报社会了。如果网盘有问题了，可以留言给我。：)ps小菜鸟会原来越努力回报这么好的同事的~~~！...

2019-09-24 15:49:16 3794 5

原创 clickhouse相关

https://clickhouse-driver.readthedocs.io/en/latest/features.htmlhttps://github.com/mymarilyn/clickhouse-driverfrom clickhouse_driver import Clientclient = Client('172.xx.x.xx')res= client.execu...

2019-09-04 17:51:10 1079

原创 linux文件传输

https://www.jianshu.com/p/2d057453117f rz,sz 命令。从本地上传和下载。https://www.cnblogs.com/Alan-Jones/p/7488179.html 压缩文件夹命令。https://blog.youkuaiyun.com/M983373615/article/details/82251504 服务器之间传文件。...

2019-08-05 13:50:06 116

转载 plotly

https://blog.youkuaiyun.com/u012897374/article/details/77857980https://zhuanlan.zhihu.com/p/62743944

2019-07-17 15:19:58 320

转载 crontab定时器

https://www.jb51.net/article/120484.htm1.写好python文件2.crontab -e 写入定时3.写好后直接运行不需要重启注意！！！无论是python里的还是crontab里都要用绝对路径！！！！！看是否写成功可以使用打印日志的方法检查定时器是否运行。...

2019-07-15 17:35:28 125

原创 pandas和dataframe

https://blog.youkuaiyun.com/weixin_32820767/article/details/82314778 pandas dataframe 读写与 txt 读写https://blog.youkuaiyun.com/weixin_41888503/article/details/81205203 pandas 追加写入。https://blog.youkuaiyun.com/xiangxi...

2019-07-09 16:51:26 175

转载聚类

https://blog.youkuaiyun.com/wind_blast/article/details/78779987 他自己写的聚类算法https://blog.youkuaiyun.com/wukai0909/article/details/72639174 from scipy.cluster.vq import vq,kmeans,whiten 注释详细。https://blog.csdn....

2019-07-09 14:36:27 127

转载 jieba

https://www.jianshu.com/p/1d525c86515d 很全而且详细，包括自定义词典，关键词等。https://blog.youkuaiyun.com/cg_Amaz1ng/article/details/79536801 结巴分词后的generator转List操作。...

2019-07-08 11:30:25 92

原创 clickhouse和mysql和pgsql在Jupyter上链接

clickhousefrom sqlalchemy.engine import create_engineimport pandas as pdch_engine=create_engine('clickhouse://172.xx.x.xx:8xxx/audience')pd.read_sql('show tables',ch_engine)mysqlimport ...

2019-07-03 18:05:58 1125 2

原创 screen 和 jupyter

linux下screen -S 会话名称 //创建会话screen -R 会话名称或编号 //进入会话 detached变成attachedscreen -ls //会话列表ctrl+a+d //离开，但后台还开着ctrl+c ...

2019-07-02 14:55:23 765

原创 20181007 增加到33*5=165个关键字的（相似度+SVM方法）代码

导入词向量模型：单独拉出来，因为模型加载很慢！# -*- coding:UTF-8 -*-from sklearn import svm #SVM导入import codecsfrom __future__ import division #除法#词向量导入import sysimport codecs #可以以特定编码打开文件import jiebaimpo...

2018-10-07 20:42:14 339

转载 TFIDF的一些知识。（实际我只用到了TF）

https://blog.youkuaiyun.com/spynao/article/details/50186531 自编词频统计（没什么用）。https://www.cnblogs.com/ybjourney/p/4824903.html from sklearn.feature_extraction.text import TfidfTransformerfrom sklearn...

2018-10-07 13:09:26 1128

原创关键词-句子-最大相似度-维度

首先生成生成维度为在最大相似度的向量# -*- coding:UTF-8 -*-from sklearn import svm #SVM导入import codecsfrom __future__ import division #除法#词向量导入import sysimport codecs #可以以特定编码打开文件import jiebaimport ji...

2018-09-24 15:53:44 1266

原创 20180923 word2vec相似度改进（不浪费句子）

没有词向量就丢掉，不放进词集合里，不浪费句子，的改进。#!/usr/bin/python# -*- coding: UTF-8 -*-from __future__ import division #除法import sysimport codecs #可以以特定编码打开文件import jiebaimport jieba.posseg as psegreload(sys...

2018-09-23 14:30:49 1815

原创 9.23 DENSE改进

import kerasfrom keras.models import Sequentialfrom keras.layers import Dense, Dropout, Activation, Bidirectional, LSTMfrom keras.optimizers import SGD, Adagradfrom keras.callbacks import TensorBo...

2018-09-23 09:52:03 329

转载 Keras__softmax

https://blog.youkuaiyun.com/u013378306/article/details/64923361 粗略讲了softmax代码意义https://blog.youkuaiyun.com/qq_35082030/article/details/77170284 详细下面是在我数据集上实现的代码 import kerasfrom keras.models import...

2018-08-10 19:30:01 807

原创词向量求平均合成句向量

#!/usr/bin/python# -*- coding: UTF-8 -*-import sysimport codecs #可以以特定编码打开文件import numpy as npreload(sys) #zzh说这种方法不好，不要再用了！！！可是真的很好用啊 QAQsys.setdefaultencoding('utf-8')impo...

2018-07-21 19:32:23 5636 3

原创 word2vec全部弹幕比较句子相似度情感五分类

#!/usr/bin/python# -*- coding: UTF-8 -*-import sysimport codecs #可以以特定编码打开文件import jiebaimport jieba.posseg as pseg# reload(sys) zzh说这种方法不好，不要再用了！！！# sys.setdefaultencoding('utf...

2018-07-14 14:54:24 1650

转载 jupyter

https://blog.youkuaiyun.com/DataCastle/article/details/78890469 最全https://blog.youkuaiyun.com/u013023297/article/details/71082881 简洁https://blog.youkuaiyun.com/red_stone1/article/details/72858962 入门1. 如果没有输出可...

2018-07-14 14:36:36 220

转载词向量

https://www.jianshu.com/p/52ee8c5739b6https://blog.youkuaiyun.com/churximi/article/details/51472300https://code.google.com/archive/p/word2vec/https://blog.youkuaiyun.com/u011531010/article/details/55062245https:/...

2018-07-14 12:12:38 169

空空如也

空空如也