goongoup的博客

kafka知识点

goongoup — Sat, 01 Apr 2023 16:33:56 +0800

参考：

kafka知识汇总

goongoup — Wed, 22 Mar 2023 18:01:24 +0800

kafka

【无法访问org.springframework.web.bind.annotation.RequestMapping

goongoup — Mon, 20 Mar 2023 14:00:57 +0800

参考 https://www.cnblogs.com/gulugulu123/p/17189411.html。java 和 springboot版本兼容问题，需要在pom.xml里边修改 springboot版本。

hive 中cast 用法

goongoup — Thu, 09 Mar 2023 17:51:21 +0800

参考： https://www.jianshu.com/p/999176fa2730。cast( 字段 as 数据类型)

hive sql 用法之 lateral view

goongoup — Mon, 06 Mar 2023 12:43:49 +0800

鉴于hive 表中某一个行json格式的数据，需要拆分成多行，即输入一行输出多行，类似于 [1,2,3] 输出三行每行上的数据分别是1，2，3 ，hive中的 explode 函数负责以上拆分功能， lateral view 负责将表格中原来的数据和拆分后的数据连接起来，详细用法请参考链接 https://www.cnblogs.com/rocky-AGE-24/p/7458094.html。

pandas round不同的列进行四舍五入

goongoup — Thu, 07 Apr 2022 18:20:11 +0800

print(df.round(2)) print(df.round({‘dogs’:2, ‘cats’:1})) 备注： df 是数据

pandas 中将某一列带有小数的数值转换成百分数

goongoup — Thu, 07 Apr 2022 17:43:12 +0800

data[‘f’] = data[‘b’].apply(lambda x: format((x+0.000001), ‘.2%’)) 备注：之所以不用round 是因为roud在涉及5 这个临界点的时候四舍五入时候跟正常四舍五入会有偏差所以用 0.000001 进行补救，补救的标准，假设 0.xxsv 是一个小数点有四位数的数值，如果是保留两位小数，那么将在第三位s上进行四舍五入，那么需要在这个数值 0.xxsv 加上 s的后一位v 上加上1 即 0.xxsv + 0.0001 的和进行四舍

eclipse 中导入一个已经存在Java项目

goongoup — Thu, 24 Feb 2022 12:00:34 +0800

eclipse java项目的导入

非root用户在没有权限的情况下在个人账号下安装软件，如scala

goongoup — Thu, 18 Nov 2021 13:46:58 +0800

主要是两个方面 1 更改bin目录，将root 用户中的bin目录更改为个人普通账户下的bin目录 2 更改环境变量：将需要安装的软件路径添加环境变量下 1 具体操作 mkdir + 路径：新增一个路径作为个人账户下的bin目录，例如我是直接home 目录下执行mkdir bin命令则新增一个路径/home/xxx/bin cd ~ 切换到home 目路后，执行 echo ‘export PATH=/home/xxx/bin’ >> ~/.bashrcsource ~./bashr

pandas 之dropna

goongoup — Thu, 16 Sep 2021 15:34:40 +0800

dropna 很多新奇的用法参考： https://blog.youkuaiyun.com/weixin_40283816/article/details/84304055

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]

goongoup — Thu, 24 Dec 2020 16:14:35 +0800

参考链接： https://blog.youkuaiyun.com/Dorisi_H_n_q/article/details/82794167

python - 图片和numpy数组之间的相互转化及各自的可视化

goongoup — Wed, 23 Dec 2020 11:38:09 +0800

import PIL.Image as image import numpy as np a = image.open("./weixin.jpg") # 获取图像 print("type (a): ", type(a)) # # a.show() # 从图像转换为数组 b = np.array(a) print("type(b): ", type(b)) #

Python安装skimage的方法 pip install scikit-image

goongoup — Mon, 21 Dec 2020 16:25:30 +0800

Python安装skimage的方法 pip install scikit-image 备注：在pycharm 里边直接安装是不行的，需要在pycharm的控制台或者本地的 cmd 的编译器里边，运行 pip install scikit-image 安装完成了只需要 import skimage #这个函数是处理图像的 #还有一个函数PIL也是处理图像的 ...

Python的PIL库中的getpixel方法 putpixel方法

goongoup — Sat, 19 Dec 2020 14:26:25 +0800

python 中的 PIL 库是用来处理图片的主要用到的是 PIL.Image 这个函数 a = Image.new("L",(100, 177)) # 创建一个mode 为L ，像素是（100， 177） # 的图像 b = Image.new("RGB",(100, 177)) # 创建一个mode是RGB，像素是 #（100， 177）的图像 a.getpixel((20,20)) # 获得图像a 中（20， 20）这个像素点的颜色值 b.putpixel((20,20)) # 给图像 b

Python安装skimage的方法 pip install scikit-image

goongoup — Thu, 17 Dec 2020 17:21:58 +0800

Python安装skimage的方法 pip install scikit-image 参考链接： https://blog.youkuaiyun.com/weixin_44928646/article/details/105933359

【pandas】DataFrame列重命名

goongoup — Thu, 17 Dec 2020 15:24:48 +0800

老生常谈，怕忘记所以又重新写一遍：给链接中的补充一点： df.rename({A:B}, axis=1, inpalce=Ture) # A：原来的列名，B: 现在的列名； axis=1 表示更改的是列名，axis=0 表示更改的是行名参考链接： https://blog.youkuaiyun.com/qq_36037953/article/details/107695880?utm_medium=distribute.pc_relevant.none-task-blog-OPENSEARCH-2.contro

plt.show()和plt.imshow()的区别

goongoup — Wed, 16 Dec 2020 15:25:24 +0800

plt.imshow(image) 的类型可以是 list 数组形式也可以是 numpy.array 形式参考链接：https://blog.youkuaiyun.com/ab_1_2_3_4_5_6_7_8_9/article/details/89306797

python np.random.random_integers 和 np.random.uniform

goongoup — Wed, 16 Dec 2020 11:18:19 +0800

参考： https://www.jianshu.com/p/85ec63259c4e https://blog.youkuaiyun.com/weixin_42338058/article/details/83934187

python 使用sklearn进行对数据标准化，以及将数据还原

goongoup — Wed, 16 Dec 2020 10:44:26 +0800

具体请看参考链接；特别注意的是 np.std(df) np.mean(df) 是分别将整个数据求标准差，以及求平均值另外 np.std(df) 是求标准差不是方差 sklearn.preprocessing.StandardScaler 该函数是使数据同等缩放，改变了数据的大小，但是数据表现出来的应有的数据趋势是没变的参考链接： https://blog.youkuaiyun.com/FrankieHello/article/details/79659111?utm_medium=distribute.p

关于python 中np.newaxis的用法

goongoup — Tue, 15 Dec 2020 20:58:48 +0800

特别说明： data = np.arange(100) data_new = data[:,np.newaxis] # 这列中括号中的冒号是选取 data 这个数据中的数据，如果是直接【：，np.newaxis 】就是选取全部数据做变换，如果是切片形式【：40， np.newaxis】这个是选取前40 行变形参考链接： https://blog.youkuaiyun.com/qq_31347869/article/details/89194410?utm_medium=distribute.pc_relevant_

goongoup的博客

kafka知识点

kafka知识汇总

【无法访问org.springframework.web.bind.annotation.RequestMapping

hive 中cast 用法

hive sql 用法之 lateral view

pandas round不同的列进行四舍五入

pandas 中将某一列带有小数的数值转换成百分数

eclipse 中导入一个已经存在Java项目

非root用户在没有权限的情况下 在个人账号下安装软件，如scala

pandas 之dropna

K-means[np.argwhere/图片压缩/kmeans.cluster_centers_]

python - 图片和numpy数组之间的相互转化 及 各自的可视化

Python安装skimage的方法 pip install scikit-image

Python的PIL库中的getpixel方法 putpixel方法

Python安装skimage的方法 pip install scikit-image

【pandas】DataFrame列重命名

plt.show()和plt.imshow()的区别

python np.random.random_integers 和 np.random.uniform

python 使用sklearn进行对数据标准化，以及将数据还原

关于python 中np.newaxis的用法

非root用户在没有权限的情况下在个人账号下安装软件，如scala

python - 图片和numpy数组之间的相互转化及各自的可视化