- 博客(43)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark安装出错问题
Spark安装出错问题1.环境1.centos 7.0版本2.jdk 1.83.hadoop 2.9.34.spark 2.4.3 spark-2.4.3-bin-without-hadoop.tgz2.出现的问题1.Spark-shell终端出错报错 Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintS
2022-04-07 20:45:18
3063
2
原创 pip下载出问题解决方案
解决办法：pip install keras -i http://pypi.douban.com/simple --trusted-host pypi.douban.com（其中的keras是你需要下载的，根据自己需求自行更改）
2021-10-25 14:03:42
238
转载 k8s-helm-v3版本使用
k8s-helm-v3版本使用一、Helm介绍二、Helmv3变化三、安装Helm四、Helm的基本使用五、创建自己的chart5.1使用命令创建自己的chart5.2在templates文件创建两个yaml文件5.3安装chart：5.4 chart升级六、实现yaml高效复用6.1在values.yaml定义变量和值6.2在具体yaml文件定义变量值6.3部署：一、Helm介绍Helm是一个Kubernetes的包管理工具，就像Linux下的包管
2021-02-04 16:51:27
631
原创 Kubernetes-DashBoard安装
之前在kubernetes中完成的所有操作都是通过命令行工具kubectl完成的。其实，为了提供更丰富的用户体验,kubernetes还开发了一个基于web的用户界面(Dashboard)。用户可以使用Dashboard部署容器化的应用，还可以监控应用的状态，执行故障排查以及管理kubernetes中各种资源。#下载wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.1.0/aio/deploy/recommended.yaml
2021-02-04 10:54:52
306
原创 kong的介绍与使用
版本说明本次学习安装kong在2.1.4版本,konga版本0.14.9此文档地址获取地址: https://gitee.com/PengFei-io/introduction-and-use-of-kong.git一、简介 Kong是由Mashape公司开源的可扩展的Api GateWay项目。它运行在调用Api之前，以插件的扩展方式为Api提供了管理。比如，鉴权、限流、监控、健康检查等，Kong是基于lua语言、nginx以及openResty开发的，所有拥有动态路由、负载均衡、高可用、
2021-02-02 16:38:16
6104
转载 k8s创建pv&pvc
pv&pvc简介k8s提供了emptyDir,hostPath,rbd,cephfs等存储方式供容器使用,不过这些存储方式都有一个缺点:开发人员必须得知指定存储的相关配置信息,才能使用存储.例如要使用cephfs,Pod的配置信息就必须指明cephfs的monitor,user,selectFile等等,而这些应该是系统管理员的工作.对此,k8s提供了两个新的API资源:PersistentVolume,PersistentVolumeClaimPV(PersistentVolume)是管理员已
2021-02-02 09:57:29
585
1
原创 Kube-flannel.yaml
---apiVersion: policy/v1beta1kind: PodSecurityPolicymetadata: name: psp.flannel.unprivileged annotations: seccomp.security.alpha.kubernetes.io/allowedProfileNames: docker/default seccomp.security.alpha.kubernetes.io/defaultProfileName: docke
2021-01-04 18:09:30
425
转载 CentOS 7 yum 安装与配置 JDK
https://blog.youkuaiyun.com/github_38336924/article/details/82221258
2020-06-15 18:16:58
118
原创 修改docker仓库镜像位置[解决磁盘空间不足问题]
一、修改docker仓库镜像位置[解决磁盘空间不足问题]1.注意：本次是将多余的磁盘空间挂在到/var/lib/dockerdocker的镜像默bai认存放位置是 / var / lib / docker 下，要把这个挂到du数据盘下本身不是什么难zhi事，不过要平滑移动就麻了。于是先去分区，挂载。我把数据盘挂载到了 / data 下2.备份&文件同步首先，备份 fstab 文件，文件位于 /etc/fstabsudo cp /etc/fstab /etc/fstab.$(date +
2020-06-09 10:48:02
1410
1
原创 Docker安装Elasticsearch【单机】
一、Docker安装Elasticsearch【单机】1.docker安装esdocker pull elasticsearch:7.2.02.启动esdocker run --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -d elasticsearch:7.2.03.修改配置，解决跨域访问问题首先进入到容器中，然后进入到指定目录修改elasticsearch.yml文件。dock
2020-06-07 21:43:46
315
转载 hadoop常见端口配置
hadoop常见端口配置常用的端口配置1. HDFS端口参数描述默认配置文件例子值fs.default.name namenodenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.addressNameNode web管理端口50070hdfs- site.xml0.0.0.0:50070dfs.datanode.addressdatanode 控制端口50010hdfs
2020-05-18 17:38:40
860
原创 数据同步工具datax
一、DataX 概述DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源
2020-05-16 23:24:15
2833
原创 第三代大数据处理方案Flink
Apache FlinkFlink作为第三代流计算引擎，同采取了DAG Stage拆分的思想构建了存粹的流计算框架。被人们称为第三代大数据处理方案。该计算框架和Spark设计理念出发点恰好相反。Spark: 底层计算引擎 批处理模型，在批处理之上构建流 - 流计算实时性较低Flink:底层计算就是连续的流计算模型，在流计算上模拟批处理 - 既保证流的实时性，有可以实现批处理。第一代：2006年 Hadoop（HDFS、MapReduce
2020-05-16 23:14:55
1771
原创 Structured Streaming使用
Structured Streaming简介Structured Streaming 构建在SparkSQL之上的流处理引擎。可以使用户继续使用DataSet/dataFrame操作流数据。并且提供了多种计算模型可供选择，默认情况下，使用的依然是Spark的marco batch这种计算模型能够到100ms左右的end-to-end的精准一次的容错计算。除此之外也提供了基于EventTime 语义的窗口计算（DStream 基于Processor Time不同）。同时在spark-2.3版本又提出新的计
2020-05-16 23:04:19
927
原创 spark相关参数解释
Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系和Application，Driver，Job，Task，Stage理解梳理一下Spark中关于并发度涉及的几个概念File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的关系。输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat
2020-05-16 23:01:35
1242
原创 spark Streaming的使用
Spark StreamingSpark Streaming是构建在Spark 批处理之上一款流处理框架。与批处理不同的是，流处理计算的数据是无界数据流，输出也是持续的。Spark Streaming底层将Spark RDD Batch 拆分成 Macro RDD Batch实现类似流处理的功能。因此spark Streaming在微观上依旧是批处理框架。批处理 VS 流处理区别 数据形式
2020-05-16 23:00:53
337
原创 Standalone集群构建
Standalone集群构建基础环境准备物理资源：CentOSA/B/C-6.10 64bit 内存2GB主机名IPCentOSA192.168.221.136CentOSB192.168.221.137CentOSC192.168.221.138节点与主机映射关系主机节点服务CentOSANameNode、ZKFC、Zookeeper、journalnode、DataNode、master、worker、broker
2020-05-16 22:57:20
147
原创 sparkSql的使用
Apache Spark SQLSpark SQL是构建在RDD之上的ETL（Extract Transform Load）工具。SparkSQL在RDD之上抽象出来Dataset/Dataframe这两个类提供了类似RDD的功能，也就意味用户可以使用map、faltMap、filter等高阶算子，同时也通过了基于列的命名查询，也就是说Dataset/DataFrame提供了两套操作数据的API，这些API可以给Saprk引擎要提供更多信息，系统可可以根据这些信息对计算实现一定的优化。目前Spark SQ
2020-05-16 22:56:09
290
原创 spark的使用
Apache Spark什么是Spark？Spark是Lightning-fast unified analytics engine- 快如闪电的统一的分析引擎（不参与数据持久化）。快（1）Spark基于内存的计算引擎，相比于MapReduce磁盘计算，速度自然快- 大众认知（2）Spark使用先进的DAG（矢量计算）计算模型，将一个复杂的任务拆分成若干个stage（阶段），这样复杂的任务Spark只需要一个job即可完成。（如果使用MapReduce计算模型可能需要串连若干个Job）（3）
2020-05-16 22:54:04
1759
原创 sqoop初步使用
一、概述Sqoop是一款开源的数据导入导出工具，可以将传统的关系型数据库导出至HDFS，也可以将HDFS中的数据导出至关系型数据库。官网： http://sqoop.apache.org/原理：在Hadoop生态体系中，计算基本依赖于MR，那么Sqoop也是如此，Sqoop就是将Sqoop语句翻译成MR程序，来实现一个数据导入和导出的操作。那就不难理解到Sqoop就是一个对于InpuFormat和OutputFormat进行特殊定制的MR程序。二、Sqoop安装2.1 下载官方下载地址：htt
2020-05-16 22:44:32
423
1
原创 消息队列Kafka初步使用
一、概述1.1 消息队列-Message Queue1.1.1 消息：消息是系统间通信载体，是分布式应用不可或缺一部分。目前系统间发送消息的方式有两种。1.1.1.1 同步消息即使消息：打电话、表单提交、WebService（SOAP）、Dubbo/SpringCloud要求消息发送方和接收方必须同时在线，一般都需要和接收方建立会话。1.1.1.2 异步消息发动方不接受对象是否在线，一般不需要和接收方建立会话，在接收方上线后，一般会自获取发送方发送的消息。离线消息：发短信、发邮件、写信—
2020-05-16 22:39:45
513
原创 HBase的初步使用
**HBase一、概述Hbase全称Hadoop database(基于HDFS的数据库),该设计源于goole 的bigtable论文,hbase仿照bigtable设计(bigtable时google filesystem之上NoSQL数据库)基于HDFS之上构建一款数据库.(HDFS和Hbase关系|区别?)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-76Zb4dPf-1589638532038)(assets/hdfs&hbase.png)]1.1
2020-05-16 22:26:55
433
原创 Mysql 5.7.17 离线版安装和数据迁移（centos 7）
centos7 安装mysql第一步、前往mysql官网下载所需的版本Mysql5.7的rpm包下载地址为https://dev.mysql.com/downloads/mysql/ ，最好使用迅雷复制链接地址下载，具体方法：点击download，页面下方会显示 No thanks, just start my download.，一定要在此处右键，复制链接，在迅雷中下载。下载完成后就上传的CentOS系统上。第二步、解压安装//创建目录cd /optmkdir softwarecd sof
2020-05-10 17:22:20
190
原创 MongoDB基本使用
一、MongoDB介绍MongoDB是一个NoSQL数据库，它是跨平台的，基于分布式文件存储的数据库，由C++语言编写的（这点很重要，则表示在Linux下需要安装gcc环境）。MongoDB是以文档的形式存储数据，数据结构由键值(key:value)对组成，类似JSON。 MongoDB结构，最小的单位为文档（类似MySQL的行），每一个文档用的是BSON形式来存储（类似JSON），文...
2020-02-26 12:35:11
640
原创 idea远程debug项目jar包
idea是一个功能强大的java开发工具，可以很方便的帮助开发人员进行开发工作。1、有时我们通过使用java -jar xxx.jar方式启动可执行jar时，我们可以通过idea进行debug操作。示例如下：我们先通过 mvn clean install 构建可执行的jar包（此处使用springboot打包插件进行打包），之后打开控制台，通过java -jar方式启动jarC:\Users\...
2020-02-14 16:35:58
411
原创 springboot集成redis做缓存
一、什么是缓存缓存就是数据交换的缓冲区（称作：Cache），他把一些外存上的数据保存在内存上，为什么保存在内存上，我们运行的所有程序里面的变量都是存放在内存中的，所以如果想将值放入内存上，可以通过变量的方式存储。在JAVA中一些缓存一般都是通过Map集合来实现的。缓存在不同的场景下，作用是不一样的具体举例说明： ✔ 操作系统磁盘缓存 ——> 减少磁盘机械操作。 ✔ 数据库缓存——>...
2020-02-02 15:26:18
340
原创 flume的初步使用
一、概述1.1 日志分类1.1.1 业务操作日志存储到RDBMS,多用于出现在后台管理系统,记录管理员操作行为 (数据量不大)1.1.2 系统运行日志采集运行日志,进行系统监测(运维).1.1.3 用户行为日志点击(商品/广告栏位)/收藏/加入购物车/下订单等行为日志1.2 Flume[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WbVHZJnj...
2020-01-16 22:21:41
284
原创 hive的初步使用
Apache Hive一、概述由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的HiveQL 语...
2020-01-16 22:20:01
2412
原创 ElasticSearch初步教程
ElasticSearch1. 什么是RestFulREST : 表现层状态转化(Representational State Transfer)，如果一个架构符合REST原则，就称它为 RESTful 架构风格。资源: 所谓"资源"，就是网络上的一个实体，或者说是网络上的一个具体信息表现层 :我们把"资源"具体呈现出来的形式，叫做它的"表现层"(Representation)。状态转...
2020-01-16 22:14:51
595
原创 centos 7 时间与网络同步
centos 7 时间与网络同步1.安装ntpdate工具yum -y install ntp ntpdate2.设置系统时间与网络时间同步ntpdate cn.pool.ntp.org3.将系统时间写入硬件时间hwclock --systohc4.查看系统时间timedatectl#得到 Local time: 四 2017-09-21 13:54:09 CS...
2019-12-27 14:33:08
148
原创 数据库索引（Oracle和Mysql）学习总结
索引概念：索引是关系数据库中用于存放每一条记录的一种对象，主要目的是加快数据的读取速度和完整性检查。建立索引是一项技术性要求高的工作。一般在数据库设计阶段的与数据库结构一道考虑。应用系统的性能直接与索引的合理直接有关。一、Oracle索引1、索引类型列出常见常用的几种索引类型，如下：非唯一索引（最常用） NonUnique 唯一索引 Unique 位图索引 Bitmap ...
2019-10-07 21:58:00
151
原创 Hadoop生态圈初步认识
Hadoop一、概述1.1 大数据概念大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。——来自研究机构Gartner[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f63hZpLh-1569943019406)(assets/u=398268955,4066448055&fm=27&g...
2019-10-07 21:52:54
795
原创 java多线程关键字volatile、lock、synchronized
一、volatilevolatile写和volatile读的内存语义：线程A写一个volatile变量，实质上是线程A向接下来将要读这个volatile变量的某个线程发出了（其对共享变量所在修改的）消息。线程B读一个volatile变量，实质上是线程B接收了之前某个线程发出的（在写这个volatile变量之前对共享变量所做修改的）消息。线程A写一个volatile变量，随后线程B读这个...
2019-10-07 21:51:23
201
原创 java并发编程小结
线程简介：线程是操作系统调度的最先单元，进程：线程=1：N 关系，也就是说一个进程可以创建多个线程，至少包含一个线程。多线程可以最大限度的使用CPU和维护各线程之间的并发进行关系等。一、concurrent并发包locks部分：显式锁(互斥锁和速写锁)相关；atomic部分：原子变量类相关，是构建非阻塞算法的基础；executor部分：线程池相关；collections部分：并发容器相...
2019-10-07 21:50:26
110
原创 java多线程高并发
“高并发和多线程”总是被一起提起，给人感觉两者好像相等，实则 高并发 ≠ 多线程多线程是完成任务的一种方法，高并发是系统运行的一种状态，通过多线程有助于系统承受高并发状态的实现一,高并发与多线程1,高并发:高并发不是JAVA的专有的东西，是语言无关的广义的，为提供更好互联网服务而提出的概念。高并发想让服务器（tomcat）能接受处理多用户多请求。2,多线程:多线程只是为了达到高并发目的（首...
2019-10-07 21:48:26
175
原创 Hadoop-HDFS
Hadoop一、概述1.1 大数据概念大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。——来自研究机构Gartner1.2 大数据面临问题存储：单机存储有限，如何解决海量数据存储？分析：如何在合理时间范围内对数据完成成本运算？1.3 大数据的特点4V 特性 Volume 数量Velocity多样 Variety 时效...
2019-10-01 23:23:34
684
原创 zookeeper的使用与发现
一、概述ZooKeeper是一个分布式应用所涉及的分布式的、开源的协调服务。是Google的Chubby的开源实现Zookeeper最早起源于雅虎的研究院的一个研究小组。在当时，研究人员发现，在雅虎内部很多大型的系统需要依赖一个类似的系统进行分布式协调，但是这些系统往往存在分布式单点问题。所以雅虎的开发人员就试图开发一个通用的无单点问题的分布式协调框架。在立项初期，考虑到很多项目都是用动物的...
2019-10-01 23:16:22
754
1
原创 springboot的pom文件
<?xml version="1.0" encoding="UTF-8"?>4.0.0<groupId>com.baidu</groupId><artifactId>boot</artifactId><version>1.0-SNAPSHOT</version><name>boot<...
2019-10-01 23:12:32
120
原创 springboot的入门配置
Springboot1.springboot引言Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。sp...
2019-10-01 23:10:54
174
原创 spring的AOP场景
说起spring，我们知道其最核心的两个功能就是AOP（面向切面）和IOC（控制反转），这边文章来总结一下SpringBoot如何整合使用AOP。一、示例应用场景：对所有的web请求做切面来记录日志。1、pom中引入SpringBoot的web模块和使用AOP相关的依赖：其中：cglib包是用来动态代理用的,基于类的代理；aspectjrt和aspectjweaver是与aspec...
2019-10-01 23:09:49
147
Redis的常用命令和原理
2019-10-01
linux_day3.doc
2019-10-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人