码破苍穹-优快云博客

原创将一个list中的值尽可能平均分成N份，使得每一份的值大致相同

【代码】将一个list中的值尽可能平均分成N份，使得每一份的值大致相同。

2024-05-17 14:15:25 213 1

原创 paddleOCR运行，OSError: (External) CUDA error(3), initialization error.

提取OCR，将该环境部署到docker打包后，出现了上述问题。但使用paddle.utils.run_check()也正常。一度怀疑是cuda、paddlepaddle版本和GPU驱动问题，然后发现并不是。虽然是单GPU，但去了出错，也有问题。

2024-03-25 14:39:50 533 1

原创在docker file中，解决无法启动conda环境的问题

这个问题就是镜像里已经打包好了conda环境，打开交互式shell时执行conda activate 你的env运行某个脚本，再python执行等等。但想把这个docker打包到某些平台上时，conda命令找不到，从而也没法进行下一步。如果发现这个conda环境缺失一些包，需要加装也不用担心。其实标题党，看了谷歌的内容也没有解决。可以在dockerfile中，执行。这样打出来的镜像就有了包。

2024-03-06 15:52:13 783 1

原创在dockerfile，文件和文件夹打包到镜像中，解决文件夹文件为空的问题

modelscope.tar.gz文件是压缩后的模型的缓存文件夹，add后可以自动解压在那个目录下。一般来说直接copy就行了，但是不知道为什么看起来是复制过去了，但实际结果总为空。最后想了一个办法，那就是把要复制的文件夹在外面压缩成压缩包，然后复制进去即可。base.pt是whisper的模型文件。通过这种方式实现了文件夹和文件的复制。

2024-03-06 12:03:59 672

原创 linux 环境下安装ffmpeg。

然后这个目录下会找到ibx264.so.164库，把它复制到上面的lib库中。此时vim /etc/ld.so.conf，另起一行，然后把上面的目录加在下面即可。之后在 ffmepg目录下执行 ./ffmpeg -version，会提示一些lib库找不到。参考 https://www.anquanclub.cn/9782.html。

2024-01-04 15:40:04 1011

原创好用的将python版本的LGB在java、C上移植的方法

使用 m2cgen 这个库即可。

2023-10-12 17:16:59 339

原创 keil中，option-target，一片空白没有结果的原因

可能是开启GCC Compiler了。

2023-06-13 12:21:37 1455

原创 hive，向数据库中写入数据没有结果的坑

写了一个sql语句，单独select有结果，但使用insert into ....想把这些值存到数据库里，却不行。后来发现取出来的值是bigint类型却打算把它们存在是string类型的表中。

2023-05-22 10:33:59 419

原创腾讯云centOS上运行jupyter，无法自动保存且提示forbidden的解决方法。

（虽然我的没有 2）代码无法运行，In[ ]空白，运行后直接跳转到下一行，右上角显示error 这样的错误）虽然说我的python是3.10，对应的jupyter版本也比较高。装上去说不兼容，但最终还是解决了问题。绕了一圈，尝试了包括改文件夹权限、重新安装jupyter等方法，最后误打误撞的用。总的来说，就是强行安装 pyzmq==19.0.2。

2023-05-09 23:13:00 722

原创 windows下，C语言获取毫秒级时间信息（时间戳）

没找到合适的函数化返回毫秒时间戳的方法，用其他的凑合下。虽然不是毫秒时间戳，也够用了。

2023-02-20 15:55:43 1046

原创 opencv，访问灰度图像的像素

【代码】opencv，访问灰度图像的像素。

2023-02-16 10:45:13 247

原创 gerrit提交代码到未merge的commit上，以patch的方式提交（不完整）

切换到该分支上，git amend commit 即可。这个步骤可以基于IDE实现。

2023-02-07 14:42:25 518

原创 git 自动生成change ID，但scp报错的解决方法

【代码】git 自动生成change ID，但scp报错。

2022-12-10 15:10:22 732

原创 python 多进程加速for循环示例，包括如何传参。

对于for循环而言，可以将整个长度进行切分成如上的args_list，再对各个Process传递不同的index值即可。

2022-12-09 12:39:34 2567

原创 python，在一个list中，如果连续N次大于一个阈值，那么就计数的函数

【代码】python，在一个list中，如果连续N次大于一个阈值，那么就计数的函数。

2022-10-24 10:51:52 591

原创 python，对一个list进行滑动窗口操作，并选取窗口内的数据

【代码】python，对一个list进行滑动窗口操作，并选取窗口内的数据。

2022-10-11 20:07:27 2577

原创 python，基于百度地图API获取某个经纬度对应的城市信息

【代码】python，基于百度地图API获取某个经纬度对应的城市信息。

2022-10-09 11:44:40 1256

原创 win10 python3.9，使用ctypes调用dll，FileNotFoundError: Could not find module....dependencies) 可能是少dll了

一个dll在python3.7下运行没问题，在另一台机子的python3.9下运行有问题，首先怀疑是python环境问题。但本人发现自己的python3.9也可以正常运行。百般折腾下，决定查看下这个dll依赖了哪些库。然后发现这个同事的电脑的System32目录下少了一个dll文件。把它下载后，问题得到了解决。然后让他装了anaconda，用jupyter跑（保持和我的环境一致），仍然报错。本人的电脑没有遇到这个问题，而是某个同事遇到的这个问题。

2022-09-20 17:02:41 2192

原创 python，构建json字符串的方法

【代码】python，由字典（dict）得到json。

2022-09-16 16:20:52 1489

原创 hive sql个人经验教训：

hive sql个人经验教训：

2022-09-02 10:41:35 435

原创 linux修改 /etc/ld.so.conf 后，不生效

原因是新加入的地址应该另起一行，形如include /etc/ld.so.conf.d/*.conf/root/data/a/ffmpeg-5.0.1/lib/的形式。如果单纯的放在同一行，中间隔几个空格，不起作用。最后别忘了ldconfig

2022-09-02 10:29:04 2404

原创 python匹配使用函数

摘要

2022-08-04 11:11:31 188

原创滑窗法切分数据

代码】滑窗法切分数据。

2022-07-27 19:20:38 793

原创 visual studio引用外部库的注意事项

visual studio引用外部库的注意事项

2022-07-20 17:34:52 274

转载 visual studio2019链接opencv

2022-06-23 10:49:37 12967

原创 linux 明明已经安装了jupyter、jupyter_core，还是没法运行jupyter（如执行 jupyter notebook list）的原因，

反复的确认了，用pip list看也能看到结果，这是为什么呢？博主本来也是一头雾水。然后在用pycharm连接到linux的时候发现这里pip的库怎么和在linux的终端pip list打印的结果不一样啊，少了很多。而且没有jupyter。再仔细一查发现，诶嘿，这个python是2.7.12的。可能之前在安装某些库的时候，修改了usr/lib/bin/python的配置，多了个python2。这个python2也成了执行jupyter notebook list的载体。而我们装的库跑到了usr/lib

2022-05-27 16:48:37 570 1

原创 pip安装，对于git+https://github.com/*.git较慢的情况

在某些环境下，使用git+https://github.com/*.git的时候，下载速度很慢。经常卡住。怎么办呢？可以直接在浏览器里打开 git 的地址，然后 Code——downLoad Zip，得到zip文件并解压。然后再在setup.py的目录下运行：python setup.py buildpython setup.py install即可。...

2022-05-24 14:21:57 2723 3

原创快速根据cuda版本安装pytorch

直接在这里搜就行了，应有尽有。不需要再一个个查什么pytorch和cuda版本的对应关系Previous PyTorch Versions | PyTorch比如cuda10.1，想安装pytorch1.8，有# CUDA 10.1pip install torch==1.8.1+cu101 torchvision==0.9.1+cu101 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html...

2022-05-12 12:38:59 1976 5

原创 python3，load python2创建的pickle，报UnicodeDecodeError错误

形如UnicodeDecodeError: 'ascii' codec can't decode byte 0x9a in position 0: ordinal not in range(128)解决方法：参考Pickle incompatibility of numpy arrays between Python 2 and 3 - Stack Overflowimport pickleimport gzipimport numpywith open('mnist.pkl', .

2022-05-07 18:26:37 549

原创 pandas apply，参数化指定列名（将需要的列先放在list中），并进行操作

在这里写了apply同时处理两列的方法优快云，apply同时处理两列的值但如果需要汇总很多列的数据时，一个一个写太麻烦了。这里应该结合python不定长函数，完成功能。领会下面这个demo的含义就行了。import numpy as npimport pandas as pddf = pd.DataFrame ({ 'a' : np.random.randn(5) * 1, 'b' : np.random.randn(5) *

2022-05-07 14:46:36 4407

原创 Ubuntu环境下，基于python3.6，无需安装ffmpeg库，安装pyav

这个东西不是必须的，但跑某个demo需要，所以还是记录一下。用这种方法不需要先安装一个ffmpeg。一、pyav是ffmpeg的python封装。所以需要安装依赖https://pyav.org/docs/develop/overview/installation.html#ubuntu-18-04-lts# General dependenciessudo apt-get install -y python-dev pkg-config# Library componentssud

2022-05-06 12:59:41 1770 2

原创 linux 环境下安装opencv，缺少各种库的问题。

pip install opencv-pythonapt update && apt install -y libsm6 libxext6apt-get install -y libxrender-dev把后面两个加进去应该可以解决问题。注意在执行后面的语句时，可能会报GPG error。使用如下的方法解决即可：gnupg - GPG error: The following signatures couldn't be verified because the public

2022-05-05 11:49:39 2716

原创历年毕业人数、考研人数和比例

年份毕业生人数考研人数比例2010 575.4 140 0.24332011 608.2 151.1 0.24842012 624.7 166 0.26572013 699 176 0.25182014 727 172 0.23662015 749 165 0.22032016 765 177 0.23142017 795...

2022-04-24 19:27:53 1398

原创 python重新载入某个库，以及引入在其他地方的库

import pandas as pdimport sys sys.path.append(r'/data/share/utils/') import test_utils #test_utils在utils目录下from test_utils import get_seldom_imeiimport impimp.reload(test_utils)

2022-04-24 11:48:53 882

原创为pyspark DataFrame增加一列

场景是为现有的dataFrame新增一列数据，这些数据与原有数据无关。其功能类似于pandas的join。参考python - PySpark - Adding a Column from a list of values - Stack Overflowfrom pyspark.sql import SparkSessionimport numpy as npimport pandas as pdfrom pyspark.sql import functions as F

2022-03-02 19:23:47 4232

原创画出lightGBM的特征重要性并排序

df = pd.DataFrame()df['feature name'] = data_df.drop(["label"], axis=1).columns #data_df为特征数据集df['importance'] = clf.feature_importance()df.sort_values(by='importance',inplace=True, ascending=False)df2 = df.head(50)df2.plot.barh(x = 'feature name',.

2022-02-11 17:52:54 4523

原创使用lightGBM进行验证的demo

一、lightGBM处理回归问题import pandas as pdimport numpy as npfinal_data = new_bostonlabels = boston.targetprint (type(final_data))print (final_data.shape)print (type(labels))print (labels.shape)# final_data、labels的类型如下：# 输出：# <class 'numpy.ndar

2022-02-07 10:35:44 4241

原创 gplearn demo

from gplearn.genetic import SymbolicTransformerfrom sklearn.utils import check_random_statefrom sklearn.datasets import load_bostonimport numpy as np# Press the green button in the gutter to run the script.if __name__ == '__main__': rng = check..

2022-01-29 19:41:48 773

原创 pandas apply 返回多列

import pandas as pddata = { 'names' : ['x,a,c','y,er,rt','z,1,ere']}df = pd.DataFrame(data)def myfunc(text): sections=text.split(',') return sectionsdf['part1'] ,df['part2'], df['part3'] = zip(*df['names'].apply(myfunc))print (df)#print的结果：#.

2022-01-21 10:38:14 1364

原创 scala定位项目的相对路径，并实现文件读取

import java.io.Fileval file = new File("")val project_path = file.getAbsolutePath()//获取项目的绝对路径。这里的级别是project的根目录val fileName = project_path +"\\data\\test1.csv" //在根目录的基础上加上文件的具体相对路径val lines = Source.fromFile(fileName).getLines() //读取文件...

2021-11-18 16:29:20 1664