- 博客(42)
- 收藏
- 关注
RSS订阅原创 TypeError: Cannot read properties of undefined (reading ‘container‘)
项目是由 webpack项目迁移为 vite项目。el-table的错误。删除el-table属性。
2023-08-21 10:10:30
583
原创 k8s 的 secret 配置
接到一个问题， 我们测试环境访问的域名证书有问题，导致在证书校验的环境不能正常访问。大佬告诉我说复制其他环境的secret 来就好。但我知道个鬼，从哪里下手呢？1，基于对k8s的一点点了解，服务是有namespace 区分的，当前系统中肯定是有部署好的，首先要找到secret，看看是什么样子。2，百度了一下，在k8s上配置ingress并启用HTTPS证书 - 走看看从这里了解到 配置证书 涉及两个地方secret,ingress3，开干a，查询服务器..
2022-05-12 19:19:25
972
原创 The connection to the server localhost:8080 was refused - did you specify the right host or port?
遇到如下问题：[root@k8s-node1 ~]# kubectl get podThe connection to the server localhost:8080 was refused - did you specify the right host or port?解决方式：cd /etc/kubernetes/查看到有个文件：kubelet.conf（你们的有可能是admin.conf）执行命令echo "export KUBECONFIG=/etc/ku..
2022-03-06 16:15:22
11847
原创 vue打包上传到阿里OSS
1, 引入ali-ossnpm i ali-oss --save2，在build文件下创建uploadOSS.jslet OSS = require('ali-oss')var fs = require('fs');var delList = []var bucket = '' if (process.env.env_config==='test') { ...
2019-11-15 16:31:59
1306
原创 vue打包上传到腾讯COS
1, 引入cos-nodejs-sdk-v5npm i cos-nodejs-sdk-v5 --save2，在build文件下创建uploadOSS.jslet COS = require('cos-nodejs-sdk-v5')var fs = require('fs');var delList = []var bucket = 'myBucket'var R...
2019-11-15 16:23:18
1081
原创 go get github.com/astaxie/beego 没有反应
看看网上的感觉都是复制的，修改host其实并没有什么用。。。但问题点大致是明确的：网络问题不能访问。通过命令 go env 发现，有一个GOPROXY，我们知道npm maven 等都可以设置国内镜像/库地址的，那这个能不能了？当然是可以的。https://github.com/goproxy/goproxy.cn/blob/master/README.zh-CN.md有介绍执...
2019-10-13 15:01:35
3360
原创 取消chrome打印预览流程
1，下载新版chrome浏览器 2，打开浏览器输入：chrome://flags/ 3，搜索框（Search flags）输入print 4，看到Enable New Print Preview UI Layout,选择Disabled，关闭浏览器 5，在桌面chrome图标右键--属性--目标，后面添加 --kiosk-printing,确定...
2019-10-11 23:09:12
5546
2
原创 Build step 'Execute shell' marked build as failure
项目合并后jenkins打包报错。code ELIFECYCLE npm ERR!errno 1 npm ERR!vue-element-admin@3.6.6 build:sit: `cross-env NODE_ENV=production env_config=sit node build/build.js` npm ERR! Exit status 1 npm ERR! npm...
2019-05-24 17:31:38
53473
12
原创 基于jtopo实现拖拽和连线
上代码：jtopoDemo.html 拓扑 拓扑测试 <canvas id='exchanger_icon' width='100' height='40' draggable="t
2016-04-29 11:32:15
16666
原创 neutron agent-list 没有任何输出 AMQP server on controller:5672 is unreachable:
neutron agent-list 没有任何输出检查 网络节点 /var/log/neutro/dhcp-agent.log 出现错误 ERROR oslo_messaging._drivers.impl_rabbit [req-6fb9a902-e113-4275-bda4-0d3b3266f3d1 ] AMQP server on controller:5
2016-04-10 12:54:22
7271
1
原创 An unexpected error prevented the server from fulfilling your request. (HTTP 500)
执行 keystone tenant-create --name admin --description "Admin Tenant"出现 An unexpected error prevented the server from fulfilling your request. (HTTP 500)查询了一下有的 说重启，不管用有的说 Inst
2016-03-27 17:43:36
30246
原创 IOException: Type mismatch in key from map的处理
一、错误描述 执行MR出现如下错误，如执行命令是：bin/hadoop jar /xxx/jar.jar错误如下： INFO mapreduce.Job: Task Id : attempt_1401948435703_0028_m_000000_0, Status : FAILEDError: java.io.IOException: Typ
2015-08-18 00:25:46
686
原创 httpFS访问
netstat -ant |grep 1400查看端口 编辑文件httpfs-env.sh (在etc/hadoop/下) 修改 export HTTPFS_HTTP_PORT=14000执行sbin/httpfs.sh 执行命令curl -i "http://hadoop261:14000/webhdfs/v1/?user.name=root&op=GETHO
2015-07-13 23:19:09
760
原创 dfsadmin命令
-setQuota [num] 限制文件夹下文件数量 -count -q 查看 quoto大小 -clrQuota 清空限制 -setSpaceQuota 限制空间大小 -clrSpaceQuota 清空限制
2015-07-13 23:18:00
854
原创 hdfs命令
bin/hdfs dfs命令appendToFileUsage: hdfs dfs -appendToFile ... 追加一个或者多个文件到hdfs制定文件中.也可以从命令行读取输入.· hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile· hdfs dfs -appendToFile localfile1 lo
2015-07-12 23:59:52
525
原创 hdfs 要注意的几个问题
1.分布式文件系统是位于操作系统之上的一层文件管理系统。2.HDFS中的数据存储，在用户看来，非常类似于linux的文件管理——树状的目录结。3.hdfs中的文件内容是可以追加的.4.启动HDFS进程的用户是超级用户，不受任何权限限制。(谁启动谁就是超级用户)5.NameNode包含文件与数据的映射 hadoop-2.6.0-src\hadoop-2.6.0-src\had
2015-07-12 23:57:32
817
原创 hadoop 2.4/6 伪分布安装
1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.8.0 子网掩码：255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性
2015-07-12 16:28:33
337
原创 hadoop启动命令
1，分别启动hdfs 和yarn先启动HDFS sbin/start-dfs.sh 或者 分别启动 sbin/hadoop-daemon.sh start namenodesbin/hadoop-daemon.sh start datanode jps中出现NameNodeDataNode 浏览器访问50070端口再启动YARN sbi
2015-07-12 16:09:24
947
原创 hadoop2基本概念
hadoop版本 Apache Cloudera Hortonworks MapR intel hadoop2通用 hdfs yarn MapReducehadoop1hdfs mapreducehadoop2hdfs2 yarn(资源管理平台)hdfs2 负责数据的分布式存储主节点 有2个 namendoe从节点 多个 dat
2015-06-24 22:59:14
478
原创 分布式计算基础
数据采集： flume NG kafka 数据存储： HDFS HBase Hive Solr Ealstic search 数据分析： MapReduce Storm Spark Hive Pig Mahout(数据挖掘) 数据展现： Excel R D3 ------------------
2015-06-24 22:21:24
613
转载 flume
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spooling d
2014-09-06 11:34:09
408
转载 SQOOP
SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中1.把数据从mysql导入到hdfs(默认是/user/)中 sqoop import --connect jdbc:mysql://hadoop3:3
2014-09-06 11:33:03
344
转载 hive
1.Hive1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。
2014-09-06 10:49:29
682
转载 Pig
1.Pig是基于hadoop的一个数据处理的框架。 MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。2.Pig的数据处理语言是数据流方式的，类似于初中做的数学题。3.Pig基本数据类型：int、long、float、double、chararry、bytearray 复合数据类型：Map、Tu
2014-09-06 10:45:19
382
转载 hbaes基础/集群搭建
1.5 存储的数据都是字节数组。1.6 表中的数据是按照行键的顺序物理存储的。2.HBase的物理模型2.1 HBase是适合海量数据(如20PB)的秒级简单查询的数据库。2.2 HBase表中的记录，按照行键进行拆分， 拆分成一个个的region。 许多个region存储在region server(单独的物理机器)中的。 这样，对表的操作转化为对多台re
2014-09-06 09:20:51
705
转载 Zookeeper
»Zookeeper 是 Google的Chubby一个开源的实现，是Hadoop的分布式协调服务»它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等
2014-09-05 17:41:36
456
转载 Shuffle
maper duan1.每个map有一个环形内存缓冲区，用于存储任务的输出。默认大小100MB（io.sort.mb属性），一旦达到阀值0.8（io.sort.spill.percent）,一个后台线程把内容写到(spill)磁盘的指定目录（mapred.local.dir）下的新建的一个溢出写文件。2.写磁盘前，要partition,sort。如果有combiner，combine排序后
2014-09-05 17:35:16
371
转载 JobTracker
问：在eclipse中的写的代码如何提交作业到JobTracker中的哪？答：(1)在eclipse中调用的job.waitForCompletion(true)实际上执行如下方法 connect(); info = jobClient.submitJobInternal(conf); (2)在connect()方法中，实际上创建了一个JobCli
2014-09-05 17:31:03
473
转载 MapReduce
MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。这两个函数的形参是key、value对，表示函数的输入信息。
2014-09-05 17:23:12
399
转载 rpc
RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调
2014-09-05 17:03:17
346
转载 hdfs命令
数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。容错。即使系统中有某些节点脱
2014-09-05 16:55:24
520
转载 hadoop集群搭建
计算机集群是一种计算机系统， 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。集群系统中的单个计算机通常称为节点，通常通过局域网连接。集群技术的特点：1.通过多台计算机完成同一个工作。达到更高的效率2.两机或多机内容、工作过程等完全一样。如果一台死机，另一台可以起作用。
2014-09-05 16:36:49
464
转载 hadoop的伪分布安装
1.hadoop的伪分布安装1.1 设置ip地址 执行命令 service network restart 验证: ifconfig1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status1.3 关闭防火墙的自动运行 执行命令
2014-09-05 16:14:38
426
转载 hadoop简介
Apache 官方版本(1.1.2) 现在到了2.5Cloudera 使用下载最多的版本，稳定，有商业支持，在Apache的基础上打上了一些patch。推荐使用。Yahoo Yahoo内部使用的版本，发布过两次，已有的版本都放到了Apache上，后续不在继续发布，而是集中在Apache的版本上。
2014-09-05 16:09:32
455
转载 linux 简单命令
1.通过远程工具登陆到linux后，所在的位置是当前登录用户的家目录(home directory)。2.家目录的符号用~表示。3.linux的文件系统是一个树结构。 linux文件系统的树根成为根目录，使用符号"/"表示。 linux文件系统中使用符号".."表示上级目录。 linux文件系统中使用符号"."表示当前目录。 linux文件系统中，如果文件使用“.”
2014-09-05 15:59:32
345
转载 mapReduce求最大值
static class MyMapper extends Mapper{ long max = Long.MIN_VALUE; protected void map(LongWritable k1, Text v1, Context context) throws java.io.IOException ,InterruptedException { final long temp
2014-09-05 15:39:20
1095
转载 mapReduce分组
//1.4 分组job.setGroupingComparatorClass(MyGroupingComparator.class);
2014-09-05 11:49:56
561
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人