月与露西亚-优快云博客

原创部署Kubernetes时出现ImagePullBackOff或ErrImagePull情况

借鉴了下面这篇博客：https://www.cnblogs.com/sanduzxcvbnm/p/12973785.html部署Kubernetes时，输入命令：kubectl get pods -n kube-system可以看到有好几个pod都处于ImagePullBackOff先看一下其中一个的报错具体信息：kubectl describe pods/csi-cinder-nodeplugin-gvddz --namespace kube-systemPS:"csi-cinder-no

2020-12-23 22:02:32 3578

原创图像识别初探-简单神经网络识别图片

摘自B站一位up的视频，链接：https://www.bilibili.com/video/BV1ga4y1x7Ld?from=search&seid=4446784377654110608基础假如有一张图片，由32×32的颜色点组成，共1024个颜色点每个颜色点都是单一的一个颜色所有颜色都由三原色：RGB（红绿蓝）构成，这三种颜色每个都可以取0-255之间的一个数字例如RGB（255,0,0）表示为红色，RGB（0,0,0）表示为黑色所以每个颜色点都可以通过一个三位数字的矩阵表示

2020-12-04 20:53:33 1179

原创电商用户日志分析

先创建Log.java存数据package cn.tedu;import org.apache.kafka.common.protocol.types.Field;public class Log {// private String url; //访问地址 private String urlName; //资源名// private String uvid; //用户id（cookie）// private String ssid; //会话id（cooki

2020-11-15 16:20:15 300

原创连接kafka时报错：Caused by: java.lang.IllegalStateException: No entry found for connection 2147483647

想要收集流式数据，但是主机一直连不上虚拟机里的kafka。主机可以ping通虚拟机，但就是不停地报错Caused by: java.lang.IllegalStateException: No entry found for connection 2147483647 at org.apache.kafka.clients.ClusterConnectionStates.nodeState(ClusterConnectionStates.java:339) at org.apache.kafka.cl

2020-11-15 09:30:24 5120

原创 Flink第二次练习（含流式数据初试）

Flink的官网：https://flink.apache.org/使用的软件：IntelliJ IDEA Community EditionCoreAPI：DataSet:专门处理离线数据,给离线数据处理设计了更多有针对性的API. env:ExecutionEnvironmentDataStream:一般用于处理流式数据,也可以处理离线数据env:StreamExecutionEnvironment【这一次用的是DataStream】创建SourceTestpackage cn.tedu.

2020-11-15 09:11:10 240

原创由于数据格式问题导致无法索引的错误

使用join将两个列表加在一起，报错了，信息如下Caused by: java.lang.ArrayIndexOutOfBoundsException: 3 at cn.tedu.dataset.TransformationTest$1.map(TransformationTest.java:24) at cn.tedu.dataset.TransformationTest$1.map(TransformationTest.java:20) at org.apache.flink.runtime.o

2020-11-08 16:30:29 280

原创 Flink初次练习（Transformation）

Flink的官网：https://flink.apache.org/使用的软件：IntelliJ IDEA Community Edition创建TransformationTest文件练习一将输入的数字均乘10package cn.tedu.dataset;import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.java.ExecutionEnvironment;import

2020-11-08 11:41:45 216

原创 Flink初次练习（Source、Sink）

Flink的官网：https://flink.apache.org/使用的软件：IntelliJ IDEA Community Edition第一个练习：读取目录下的文件并打印输出package cn.tedu.dataset;import org.apache.flink.api.java.ExecutionEnvironment;import org.apache.flink.api.java.operators.DataSource;import org.apache.flink.st

2020-11-08 10:08:52 241

原创关于进程杀不掉的问题：Waiting for process with pid xxxxx to finish

在学习OpenStack时，安装ceph-common包输入代码：cephadm install ceph-common但是等了二十几分钟都没有反应，遂stop重新安装，如此重复了好多次，但一直不行后来根据网上的教程试着用yum来安装，包全都下下来了，但是说要等一个进程完成才能安装：不知道这个进程是什么，于是直接kill掉，但是重新yum时又出来了Orz根据“https://blog.youkuaiyun.com/zhou_438/article/details/84386955”中这位博主的方法，终于找

2020-11-02 20:32:41 11884 1

原创 flume由于关闭方式错误启动报错

flume使用命令启动../bin/flume-ng agent -c ./ -f ./flume.properties -n a1 -Dflume.root.logger=INFO,console报错了：2020-10-31 21:19:59,613 (lifecycleSupervisor-1-1) [ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleSupervisor.jav

2020-10-31 21:26:06 1038 1

原创集群环境准备

准备虚拟机克隆三个虚拟机hadoop01、hadoop02、hadoop03均为NAT模式，其中hadoop01内存设置为1G（16G内存以上建议设置为2G），hadoop02和hadoop03为512M。修改为静态IP修改配置文件cd /etc/sysconfig/network-scripts #进入网络配置目录 dir ifcfg* #找到网卡配置文件 ifcfg-ens33 #找到版本

2020-10-25 10:40:46 192

原创 Hadoop集群基础知识

Hadoop分布式的海量数据存储和离线处理框架。HDFS：数据存储Yarn：资源管理，任务调度MapReduce：离线数据处理（计算）Flume分布式的高可用可伸缩的日志收集系统。用于收集，聚合，移动大量日志数据。是一个简单的流式处理框架。重要概念：1.Event，{“headers”：“info”，“body”：“log”}，flume在接收到日志数据之后，就会将日志进行封装。【封装之后的文件叫Event】2.Source，数据源，负责接收日志数据，并将其封装3.Channel，缓存，

2020-10-25 09:21:24 153

曦玥Moonight的博客