- 博客(7)
- 收藏
- 关注
RSS订阅原创 Flink反压排查及解决方案
利用 Flink Web UI 定位，通过查看subtask的反压监控，反压状态为HIGH红色的subtask即处于反压。 解决： 方法一：直接聚合。 发现二：通过Flink Web UI查看任务的反压情况，如果只有个别Subtask呈现反压情况，有红有绿，可以推断出数据倾斜。 设置参数：开启MiniBatch，设置批量输出的间隔时间，设置每个批次最多缓存数据的条数（可以设置为两万条）。如果通过Flink Web UI查看subtask的反压情况有红有绿 ----> 原因：数据倾斜。
2024-06-19 15:11:42
1953
原创 matplotlib学习笔记（数据可视化第三方库）
matplotlib学习笔记（一、matplotlib基本使用） 1.pyplot子库 2.plot（）函数 3.pyplot中文显示 import numpy as np import matplotlib.pyplot as plt import matplotlib matplotlib.rcParams['font.family']='Kaiti' matplotlib.rcParams ['font.size']=20 a =np.arange(0.0,5.0,0.02) pl
2021-02-24 21:11:48
269
原创 numpy学习笔记
numpy学习笔记（三、图形的ndarray数组处理） 使用PIL库 图像的手绘处理 from PIL import Image import numpy as np #用数组a存储图片 a = np.asarray(Image.open("./okli.jpg").convert('L')).astype('float') depth = 10. # (0-100) grad = np.gradient(a) #取图像灰度的梯度值 grad_x, grad_y = grad
2021-02-22 20:46:27
93
原创 2021-02-21
numpy学习笔记（二、numpy相关存储及函数） 1.一、二维数据的存储 其中csv文件的分割字符串需指定为逗号（,） 读入csv文件： 一般要求读入csv文件的数据类型要和创建csv文件的类型相同，所以一般在读入csv文件时要已知原csv文件的数据类型。 2.多维数据的存储 该方法需要读取时知道存入文件时数组的维度和元素类型 a.tofile()和np .fromfile()需要配合使用，可以通过元数据文件来存储额外信息 3.numpy函数 ①随机数函数（random子库）斜体样式
2021-02-21 18:25:03
92
原创 numpy学习笔记
numpy学习笔记（一、ndarray数组） 1.ndarray数组 注意.shape()函数德返回值为元组类型。 注意ndarray对象尽量要同质，其中x.shape返回值为（2，）为元组，单个元素作为元组时要在末尾加上逗号。 2.创建ndarray数组 注意，再不指定数组元素类型时（不指定dtype时），使用array()函数创建德默认为整数类型，其余函数默认为浮点数类型。 import numpy as np np.array(10) Out[2]: array(10) np.ones(
2021-02-17 18:39:35
111
原创 Python第三方库不是内部或外部命令，也不是可运行的程序 或批处理文件
首先使用python -m pip show （库名）查看是否已经安装相关第三方库。 若已经安装，根据requires后面的安装地址找到相关库的.exe文件一般为（C:\Users…\AppData\Roaming\Python\Python38\Scripts） 将该文件复制到cmd检索的目录下，一般为（C:\Program Files\Python38\Scripts）。即可解决相关问题 ...
2020-08-08 17:15:11
747
原创 2020-08-07
cmd下使用pip安装第三方库的注意 “ python -m pip install --user （库名） pip -i https://pypi.douban.com/simple” 其中“python -n”解决的是pip更新后出现的报错 “–user”解决的是“ERROR: Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问” 而最后面也是将下载地址更换，可以显著提升下载速度 ...
2020-08-07 22:46:48
102
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人