- 博客(7)
- 收藏
- 关注
RSS订阅原创 Flink反压排查及解决方案
利用 Flink Web UI 定位，通过查看subtask的反压监控，反压状态为HIGH红色的subtask即处于反压。 解决： 方法一：直接聚合。 发现二：通过Flink Web UI查看任务的反压情况，如果只有个别Subtask呈现反压情况，有红有绿，可以推断出数据倾斜。 设置参数：开启MiniBatch，设置批量输出的间隔时间，设置每个批次最多缓存数据的条数（可以设置为两万条）。如果通过Flink Web UI查看subtask的反压情况有红有绿 ----> 原因：数据倾斜。
2024-06-19 15:11:42
1888
原创 matplotlib学习笔记（数据可视化第三方库）
matplotlib学习笔记（一、matplotlib基本使用）1.pyplot子库2.plot（）函数3.pyplot中文显示import numpy as npimport matplotlib.pyplot as pltimport matplotlibmatplotlib.rcParams['font.family']='Kaiti'matplotlib.rcParams ['font.size']=20a =np.arange(0.0,5.0,0.02)pl
2021-02-24 21:11:48
266
原创 numpy学习笔记
numpy学习笔记（三、图形的ndarray数组处理）使用PIL库图像的手绘处理from PIL import Imageimport numpy as np#用数组a存储图片a = np.asarray(Image.open("./okli.jpg").convert('L')).astype('float')depth = 10. # (0-100)grad = np.gradient(a) #取图像灰度的梯度值grad_x, grad_y = grad
2021-02-22 20:46:27
85
原创 2021-02-21
numpy学习笔记（二、numpy相关存储及函数）1.一、二维数据的存储其中csv文件的分割字符串需指定为逗号（,）读入csv文件：一般要求读入csv文件的数据类型要和创建csv文件的类型相同，所以一般在读入csv文件时要已知原csv文件的数据类型。2.多维数据的存储该方法需要读取时知道存入文件时数组的维度和元素类型a.tofile()和np .fromfile()需要配合使用，可以通过元数据文件来存储额外信息3.numpy函数①随机数函数（random子库）斜体样式
2021-02-21 18:25:03
85
原创 numpy学习笔记
numpy学习笔记（一、ndarray数组）1.ndarray数组注意.shape()函数德返回值为元组类型。注意ndarray对象尽量要同质，其中x.shape返回值为（2，）为元组，单个元素作为元组时要在末尾加上逗号。2.创建ndarray数组注意，再不指定数组元素类型时（不指定dtype时），使用array()函数创建德默认为整数类型，其余函数默认为浮点数类型。import numpy as npnp.array(10)Out[2]: array(10)np.ones(
2021-02-17 18:39:35
103
原创 Python第三方库不是内部或外部命令，也不是可运行的程序 或批处理文件
首先使用python -m pip show （库名）查看是否已经安装相关第三方库。若已经安装，根据requires后面的安装地址找到相关库的.exe文件一般为（C:\Users…\AppData\Roaming\Python\Python38\Scripts）将该文件复制到cmd检索的目录下，一般为（C:\Program Files\Python38\Scripts）。即可解决相关问题...
2020-08-08 17:15:11
738
原创 2020-08-07
cmd下使用pip安装第三方库的注意“ python -m pip install --user （库名） pip -i https://pypi.douban.com/simple”其中“python -n”解决的是pip更新后出现的报错“–user”解决的是“ERROR: Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问”而最后面也是将下载地址更换，可以显著提升下载速度...
2020-08-07 22:46:48
99
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人