- 博客(215)
- 收藏
- 关注
RSS订阅原创 自定义背景画词云图（中文）
2）生成一个top30的词频表 word_top_frequency.csv，能看到前30的词及词频。1）生成一张自定义背景（ciyun_backgroup2.png）的词云图片；3.网上下载个停用词词典，如 ChineseStopWords.txt。1.下载中文字体SimHei.ttf，并放到平台的font目录下。对csv文件里面某列所有字符串画词云图（中文的字符）文字打码了，大概可以看到，效果不错。4.Pillow升级到8版本以上。2.网上找个词云背景图下载下。环境：python3。
2023-10-09 20:37:57
534
原创 数据库连接数打满问题
当查询语句需要消耗大量的系统资源或需要访问大量数据时，执行时间会限制延长，导致数据库性能下降。连接池：通过预先创建一组数据库连接，并将其保存在内存中，应用程序从连接池中获取连接，使用完毕后放会连接池。1.如果数据库服务器硬件资源允许，可以尝试增加数据库连接数的上限。6.水平扩展数据库：用数据库集群或者分布式数据库。一个服务500case：查下来，是下游数据库连接数打满，导致数据库报错。：是否有慢查询，确保使用合适的索引和优化策略。，复用连接对象减少连接的创建和销毁开销。，避免长时间占用连接资源。
2023-05-19 11:25:41
4651
原创 Redis抖动现象
1）优化Redis配置：合理配置Redis服务器的资源参数，如最大连接数、最大内存限制等，已满足实际需求、减少抖动的可能性。4）监控和调优：监控Redis的性能指标，如响应时间、连接数、内存使用等，及时发现抖动现象，并针对性地进行调优。：Redis服务器同时处理大量并发请求时，如果请求超过了Redis服务器的处理能力，可能出现响应时间抖动。，当Redis面临内存压力，例如内存不足或者频繁的内存回收操作，可能会导致响应时间的抖动。：打到Redis的请求不均匀地分布在不同的资源上，可能导致响应时间的抖动。
2023-05-17 20:23:50
1053
原创 工程技术提升专项
我们每天都在沉迷工作，停不下来。每一个项目都认真完成，回过头来，发现自己的经验积累了不少。但是，在输出表达时，想不出来专业的术语，此时，我们需要一个系统的学习。理论需要跟实践同频！立项时间：2023.5.16。
2023-05-17 15:56:00
108
原创 python import路径问题解决
python import路径问题解决背景：utils包和test包同一路径级别下，test包下需要import utils下的类等…如何用，直接上code：import os,sysBASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))sys.path.append(BASE_DIR)...
2022-05-31 16:05:30
462
原创 go http transport源码了解
go http transport源码了解如何用http发送请求几行core code：transport := &http.Transport{ Proxy: http.ProxyFromEnvironment, DialContext: (&net.Dialer{ Timeout: 30 * time.Second, KeepAlive: 30 * time.Second, DualStack: true, }).DialContex
2022-05-09 20:41:55
2571
原创 go开启多个子协程干活、worker
目标go启动多个协程，每个协程做一个任务，实现并行做任务。code示例简单go知识介绍go的并发通过goroutine来处理；func(){}()是go里的匿名函数，{}后面的()是传参数的。如func(a int){…}(100)，传了个参数值100;go func(){}开启1个子协程；for+ go func开启多个子协程；go的sync.WaitGroup控制并发的流程;go func()里+defer捕获子协程内部有发生的panic。因为主进程的defer无法捕获子协程中的pan
2021-11-25 17:50:48
4030
2
原创 python小知识点速查 string dict jsonstring bytes 编码转换等
文章目录string转dictstring正常string存在不可打印字符dict转stringdict转 json stringstring转bytes字节流gbk编码转utf-8编码环境背景：python3string转dictstring正常body_str = '{"age": 13, "name": "kk"}'body_dict = eval(body_str)string存在不可打印字符body_str = ''.join(x for x in body_str if x.is
2021-09-10 19:27:19
276
原创 SQL连接查询 JOIN
SQL连接查询 JOIN基本概念看gairuo这个图，一目了然基本语法SELECT <list3>FROM (SELECT <list1> FROM T) AS a<LEFT / RIGHT> JOIN (SELECT <list2> FROM C) AS b ON a.id = b.id AND a.name = b.nameon 为两个表的连接点。a和b为两张基础表。连接方式逻辑join既in
2021-07-22 21:42:54
297
原创 python3 中文乱码 UnicodeEncodeError: ‘latin-1‘ codec can‘t encode characters
报错#!/usr/bin/python3# -*- coding: utf-8 -*-str_1 = '这是中文' # strprint(str_1)报错：UnicodeEncodeError: ‘latin-1’ codec can’t encode characters in position 0-3: ordinal not in range(256)解决方法str_2 = str_1.encode(“utf-8”).decode(“latin1”)str_1 = '这是中文'
2021-07-11 19:21:41
35720
原创 shell脚本测试程序运行时间
code#!/bin/bashstart=$(date +%s)sleep 5;end=$(date +%s)take=$(( end - start ))echo Time taken to execute commands is ${take} seconds.运行结果：Time taken to execute commands is 5 seconds.date命令常用的日期输出格式内容格式示例Unix时间（以秒为单位）%s1559468803
2021-07-11 14:54:16
1367
原创 linux开发机环境问题踩的坑总结
1、/lib64/libc.so.6: version `GLIBC_2.14’ not found报错：/lib64/libc.so.6: version `GLIBC_2.14’ not found/lib64/libc.so.6: version `GLIBC_2.17’ not foundglibc是什么：glibc是linux的GUN C函数库，是linux系统中最底层的API，几乎其它任何运行时库都依赖于glibc。产生原因：linux系统的glibc版本太低，而程序编译使用了
2021-07-02 12:14:10
334
原创 hadoop HDFS常用文件操作命令
hadoop HDFS常用文件操作命令最近用到hdfs，要把跑到的数据存到hdfs上。涉及到一些常用的命令。速查手册先简单理解：用法我先理解为，类似于linux命令前面加个hadoop fs -如，hadoop fs -ls ,hadoop fs -mkdir。显示目录下文件 lshadoop fs -ls查看文件内容 cathadoop fs -cat test.txt建目录 mkdirhadoop fs -mkdir log_data拉hdfs上的文件到本地 gethadoo
2021-06-17 17:13:37
1075
原创 jieba分词词性对照表
形容词(1个一类，4个二类)a 形容词ad 副形词an 名形词ag 形容词性语素al 形容词性惯用语区别词(1个一类，2个二类)b 区别词bl 区别词性惯用语连词(1个一类，1个二类)c 连词cc 并列连词副词(1个一类)d 副词叹词(1个一类)e 叹词方位词(1个一类)f 方位词前缀(1个一类)h 前缀后缀(1个一类)k 后缀数词(1个一类，1个二类)m 数词mq 数量词名词 (1个一类，7个二类，5个三类)名词分为以下子类：n 名词
2021-06-15 15:23:12
658
原创 python 获取昨天凌点的时间戳 获取当天日期、昨天日期
day_time=int(time.mktime(datetime.date.today().timetuple())) - 86400print(day_time)输出：1623168000对应的时间：2021-06-09 00:00:00今天时间：2021-06-10
2021-06-10 14:51:18
819
原创 python 参数值等于None怎么用
def test(query, m=None): """ m: string """ # 看了下，一般都这样写：如果is None时候初始化下 if m is None: m = "" return query + mif __name__ == "__main__": # 既支持这样 query = "辛弃疾" print(test(query)) # 也支持这样 query = "辛弃疾
2021-05-28 16:09:55
2224
原创 python打日志 logging
import logging#设置日志输出格式 asctime：时间， filename：文件名， lineno：行号， # levelname：日志级别， message：日志内容 #datemt=%a星期 %d日期 %b月份 %Y年份 %H:%M:%S时间 logging.basicConfig( level="DEBUG", #设置数据输出级别 filename='xxx.log', #设置日志输出文件 format='%
2021-05-14 15:16:18
272
2
原创 python list转string、.join() 以及常用代码：整合数据：整合同一用户/同一班级下的数据
list是列表，其特点是不定长，所以可以list.append随时增加，也可以insert插入。用哪个函数："".join()",".join()…待续…
2021-04-18 23:40:34
478
原创 python for line in sys.stdin读文件，按行处理
#eg. demo.pyfor line in sys.stdin: line = line.strip() arr = line.split(',', 2) 调用命令按行读文件：cat *.txt | python demo.py
2021-03-29 20:29:34
6133
1
原创 pymysql.err.OperationalError: (5000, ‘sql decompose ret[-1] error‘)问题
分布式数据库sql语句写对没？！
2021-03-29 00:44:35
1961
1
原创 消息队列
最近开发涉及到了消息队列。大概了解一下原理。看这篇新手也能看懂，消息队列其实很简单。浅显接触我先简单说一下我用到的：原：发送数据到数据库用了消息队列：调用别人的接口，发送数据到消息队列服务器。别人调我的接口来拉消息，写入到数据库。...
2021-03-25 19:20:41
119
原创 golang 无序的键值对集合map
这个demo很好。package mainimport "fmt"func main() { /*创建集合并初始化 */ countryCapitalMap := make(map[string]string) /* map插入key - value对,各个国家对应的首都 */ countryCapitalMap [ "France" ] = "巴黎" countryCapitalMap [ "Italy" ] = "罗马" countryCap
2021-03-25 15:24:19
303
原创 多行字符串怎么分行写 golang、python
1、golangstr := `驾八龙之婉婉兮，载云旗之委蛇。抑志而弭节兮，神高驰之邈邈。奏《九歌》而舞《韶》兮，聊假日以偷乐。陟升皇之赫戏兮，忽临睨夫旧乡。仆夫悲余马怀兮，蜷局顾而不行。乱曰：已矣哉！国无人莫我知兮，又何怀乎故都！既莫足与为美政兮，吾将从彭咸之所居！`2、pythonstr = """驾八龙之婉婉兮，载云旗之委蛇。抑志而弭节兮，神高驰之邈邈。奏《九歌》而舞《韶》兮，聊假日以偷乐。陟升皇之赫戏兮，忽临睨夫旧乡。仆夫悲余马怀兮，蜷局顾而不行。乱曰：已矣哉！国
2021-03-25 12:10:10
936
原创 golang string转int，int转string
这个写业务代码的时候非常常用。1、string转intstrconv.ParseUint(uid, 10, 64)//参数：uid：uid uint64 10： base int64: baseByte intstrconv.ParaseInt()strconv.ParaseBool()strconv.ParaseFloat()2、int、uint、bool、float等转stringcode:strconv.FormatBool(b bool, base int)strcon
2021-03-25 11:40:36
4024
转载 golang 结构体struct、数组、结构体数组 定义与赋值 、json string转struct
看这个文章，看一个structtype oNav struct { Title string URL string}// TData dotype TData struct { Title string SiteName string Keywords string Description string Navs []oNav Data interface{} MiitG
2021-03-15 17:21:35
13817
原创 golang字符串拼接，字符串数组转字符串
1、字符串拼接一般对于少量的字符串拼接可以直接用+来连接，不过最好的方法还是Builder。用buffer.Builder，官方建议用这个。package mainimport ( "fmt")func main() { s1 := "哈哈" s2 := "嘻嘻" var build strings.Builder build.WriteString(s1) build.WriteString(s2) s3 := build.String() fmt.Println(s3)
2021-03-15 17:00:33
14092
原创 shell脚本基础
shell工作中必不可少。今天来系统学习一下shell。文章目录1.shell demo2.shell变量2.1 变量基础2.2 变量赋值2.2 只读变量2.3 删除变量2.4 环境变量3.shell字符串4.shell数组5.传递给脚本的参数6.运算符6.1关系运算符6.2 算术运算符6.3 逻辑运算符6.4 布尔运算符6.if...else for while...1.shell demo#!/usr/bin/env bashecho "hello,shell."上面的文件名：echo.sh
2021-02-09 19:10:22
214
原创 golang基础语言知识
一、基础1.多个形参同一个类型，前面的参数可省略，只在最后写一个类型就可以。func add(x, y int) int {...}形参为int x, int y2.同Python，函数可以返回多个返回值func swap(x, y string) (string, string){ return y, x}main中调用：a, b := swap("oh", "baby")3.可以命名返回值没有参数的return语句会返回已命名的返回值。4.变量1）变量声明：var i in
2021-01-29 17:39:16
399
原创 小总结一下git使用及常见的坑
以下为不理解，只会用版本。一、准备：克隆代码及走对分支以下流程：1、在~拉代码2、git clone克隆代码，复制命令到机器上3、git pull 记得确保拉的最新的4、git brach -a ①确定在哪个分支 ②看将来代码提交的分支有没有5、有：git checkout 分支名X 切换到将来要提交的分支X6、没有：1）git checkout -b 分支名Y 新建分支Y并切换到该分支2）git push 设置远程，远程才会有分支Y，根据报错提示输正确命令git push --set
2021-01-27 21:22:26
1156
转载 同步(Synchronous)和异步(Asynchronous)
这篇博客写的真好。1.同步异步是啥？定义：同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)。同步，就是调用某个东西是，调用方得等待这个调用返回结果才能继续往后执行。异步，和同步相反 调用方不会理解得到结果，而是在调用发出后调用者可用继续执行后续操作，被调用者通过状体来通知调用者，或者通过回掉函数来处理这个调用。比方说：你去商城买东西，你看上了一款手机，能和店家说你一个这款手机，他就去仓库拿货，你得在店里等着
2021-01-26 16:06:21
764
原创 Go入手与避坑
最近模型工程部分需要用到go。第一次用，把需要注意的写一下。我go用的GOPATH管理依赖。1、import的包一定要么在GOPATH，要么在GOROOT不然你执行程序会找不到包，执行不了。我理解的go自带的一些包在GOROOT下，而自己搞到的一些包（自己项目需要依赖的）必须得搞到GOPATH下。简单说，就是 import ("…" …)里的包要么在GOROOT下，要么GOPATH下。所以项目import的包如果没有在的话，就一定要给它加到GOPATH中去。主要分为两种情况：a)要依赖
2021-01-22 20:22:32
457
原创 非常好理解的python re正则表达式入手
文章目录1.目标2.实现3.学习直接写个例子，来入手正则。1.目标目标1：有一行字符串，去掉其中的非中文字符实现1：keep_chinese()函数目标2：有一行字符串，去掉其中的非中文、非英文、非数字字符实现2：keep_2.实现import redef keep_chinese(line): pattern = re.compile(r'[^\u4e00-\u9fa5]') #匹配非中文的字符 chinese = re.sub(pattern,'',line) #将非
2021-01-14 12:12:39
1081
1
原创 运行Python脚本常用的一条linux命令
python *.py >./output/res 2>./output/err#把结果写在res里，输出的报错什么的写在err里.../bin/python *.py...#有时候用其他版本python什么的，写全路径cat *.txt | python *.py >./output/res 2>./output/err#从txt文档里面获取输入，做py脚本的相关处理cat .../*.txt | .../python *.py 。。。。。#写全路径...
2021-01-12 20:25:11
214
原创 python 字典基础
文章目录一、先看一个用字典的典型例子1.统计字符串中所有字符出现的次数二、字典1.创建1.1 dict[name]= value方式1.2 用dict()函数转为字典，只要元素和元素之间存在对应关系1.3 dict(zip())法2、字典基本操作2.1 通过 key 访问 value2.2 通过 key 添加 key-value 对2.3 通过 key 删除 key-value 对2.4 通过 key 修改 key-value 对2.5 通过 key 判断指定 key-value 对是否存在2.6 一些方法
2020-12-15 20:58:28
249
原创 pymysql连接数据库，获取数据写入到txt，并从txt读取代码示例（涉及到中文）
def get_conn(): try: conn = pymysql.connect( host = "***", port = ***, user = "***", password = "***", db = "***") except Exception as e: logger.warning(e) finally:
2020-12-11 17:27:13
1305
2
原创 python decode()encode() 编码转换与计算机编码通俗理解
直接说python中的decode encode是用来转码的（编码转换）。decode()英文意思：解码 ，一个人脱了衣服（无论穿什么，脱了都一样）。encode()英文意思：编码，一个人可以穿不同的衣服（穿啥由你决定）。python中脱了衣服都是unicode编码。字符串在python内部表示是unicode。Q：想要将gb18030编码转码为utf-8A：必须先将其解码为unicode，然后再重新编码成utf-8，以unicode为中间人。如，line=‘自然语言处理’，如果是在utf-8
2020-12-11 10:08:15
744
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人