
大数据
tanxinji
站在巨人的肩膀上
展开
-
Docker中mysql8容器的创建
官网: https://hub.docker.com/_/mysql 如果docker没有mysql镜像,就输入指令docker pull mysql:8下载,需要一段时间。 示例:创建镜像为mysql8,密码为aaaa,端口映射为3309->3306,名为tmysql的容器: docker run -p 3309:3306 --name tmysql -e MYSQL_ROOT_PASSWORD=aaaa -d mysql:8 --character-set-server=utf8mb4 --原创 2022-03-20 09:31:10 · 1804 阅读 · 0 评论 -
Docker network常用命令
bridge网络可以使处于同一个网段的容器相互通信。 1.创建一个bridge网络docker network create -d bridge 自定义网络名 2.查看所有网络docker network ls 3.查看某网络信息docker network inspect 网络名 4.将某容器加入到某网络docker network connect 网络名 容器名...原创 2022-03-19 20:23:06 · 1469 阅读 · 1 评论 -
windows下docker的安装
官网下载链接:点击此处进入https://hub.docker.com 进入之后,如果是第一次进入,需要注册。注册之后就可以用了。 点击如下DownLoad for windows 400多MB,下载完之后,安装直接next下一步下一步就行。最后一步的时候,需要重启电脑。 重启电脑之后,会自动跳转docker启动界面,勾选accpet,点击Accept。如果遇到...原创 2022-03-15 07:00:00 · 513 阅读 · 0 评论 -
Docker基本命令
项目打包好放在docker部署成为一个镜像,镜像启动后的一个实例为一个容器。 1.查看所有镜像docker images 2.查看所有容器docker ps -a原创 2022-03-21 07:00:00 · 232 阅读 · 0 评论 -
windows下用docker下载安装zookeeper
官网链接: https://hub.docker.com/_/zookeeper 1.将zookeeper镜像下载到docker 打开cmd输入docker pull zeekeeper 。回车之后等待几分钟下载 检查镜像是否下载成功docker images 2.将镜像变成一个容器 在cmd中输入 docker run --name zookeeper -p 2181:2181 --restart always -d zookeeper 容器名为zookeeper 3.运行容器 以原创 2022-05-07 21:13:35 · 1788 阅读 · 0 评论 -
Java使用ZooKeeper和节点的增删改查
1.导入依赖 <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.6</version> </dependency> 2.创建ZooKeeper对象...原创 2022-05-17 20:19:03 · 455 阅读 · 0 评论 -
ZooKeeper常用指令
/为根路径 1.创建节点 创建持久节点: create /节点路径 值 创建持久序列化节点: create -s /节点路径 值 创建临时节点: create -e /节点路径 值 创建临时顺序化节点: create -e -s /节点路径 值 临时节点,客户端关闭就会消失,不能有子节点 示例:create /node1 "hello"create -s /node1/n "he"create -s /node1/a "h"create -e /node1/b "原创 2022-05-08 09:05:46 · 3819 阅读 · 0 评论 -
fatal: unable to access ‘https://github.com/azkaban/azkaban.git/‘: Encountered end of file
【代码】fatal: unable to access ‘https://github.com/azkaban/azkaban.git/‘: Encountered end of file。原创 2023-04-19 08:53:29 · 423 阅读 · 1 评论 -
腾讯云centos7安装jdk有java没有javac -bash: javac: 未找到命令
最后跑spark的时候,发现javac -version无法执行。搞了很久,最后决定重新安装jdk。一开始自动安装jdk的时候,输入java -version是有版本的,并且也执行了。首先删除现有的jdk。原创 2023-04-08 08:00:00 · 1214 阅读 · 0 评论 -
腾讯云安装docker
如果系统中没有 Docker,则直接进入下一步。卸载旧版本的 Docker。安装最新版的 Docker。原创 2023-04-07 13:39:37 · 718 阅读 · 0 评论 -
Error: JAVA_HOME is incorrectly set. Please update D:\Env\hadoop-3.3.2\hadoop-3.3.2\etc\hadoo
要么修改JAVA_HOME里的路径使其没有空格,要么在路径上加 “”‘-Xmx512m’ 不是内部或外部命令,也不是可运行的程序。后面发现,我的jdk路径有空格。原创 2023-04-05 19:36:11 · 748 阅读 · 0 评论 -
IDEA鼠标右键创建没有scala文件
然后选择scala。我已经选了,没有这个选项了。原创 2023-04-04 08:00:00 · 594 阅读 · 0 评论 -
下载安装scala
安装一直下一步。我的安装路径为。原创 2023-04-03 16:09:18 · 180 阅读 · 1 评论 -
解决azkaban登录网页失败,出现报错javax.net.ssl.SSLHandshakeException: Received fatal alert: certificate_unknown
登录网页出现 web报错2022/06/30 10:54:02.741 +0800 WARN [log] [Azkaban] EXCEPTIONjavax.net.ssl.SSLHandshakeException: Received fatal alert: certificate_unknownat sun.security.ssl.Alerts.getSSLException(Alerts.java:192)at sun.security.ssl.Alerts.getSSLException(原创 2022-07-02 07:00:00 · 1620 阅读 · 0 评论 -
linux如何下载安装sqoop
sqoop可以采集关系型数据库中的数据到hdfs 等官网链接 https://sqoop.apache.org/官网使用链接 https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html下载链接 http://archive.apache.org/dist/sqoop/ 放在任意位置,解压到 目录下 在压缩包的目录下输入 重命名 sqoop的安装目录二、配置环境变量三、其他配置 记住hadoop的安装目录 向sqoop配置文件中原创 2022-06-30 07:00:00 · 1543 阅读 · 0 评论 -
解决sqoop出现 ERROR manager.SqlManager: Generic SqlManager.listDatabases() not implemented
使用sqoop报错ERROR manager.SqlManager: Generic SqlManager.listDatabases() not implemented.Could not retrieve database list from server22/06/28 15:26:15 ERROR tool.ListDatabasesTool: manager.listDatabases() returned null 解决: 在sqoop的lib目录添加mysql的jar包 jar包可原创 2022-06-28 15:38:08 · 769 阅读 · 0 评论 -
解决flume监听文件夹,上传文件时出现java.nio.charset.MalformedInputException: Input length = 1
使用flume监听文件夹报错:java.nio.charset.MalformedInputException: Input length = 1at java.nio.charset.CoderResult.throwException(CoderResult.java:281) ~[?:1.8.0_151]at org.apache.flume.serialization.ResettableFileInputStream.readChar(ResettableFileInputStream.j原创 2022-06-27 07:00:00 · 784 阅读 · 0 评论 -
下载安装Flume
进入Flume官网 https://flume.apache.org/download.html 下载之后放在linux里的任意目录 我把压缩包放在了/tmp目录下 在/tmp目录下解压该压缩包,并且指定解压后放置在/opt目录下 重命名 先找到安装jdk路径 复制 ,你的可能不一样 修改Flume配置 修改flume-env.sh文件 在flume-env.sh添加 配置环境变量 刷新环境变量 测试,输入...原创 2022-06-25 07:00:00 · 2648 阅读 · 0 评论 -
解决执行MapReduce程序控制台没有日志信息WARN Please initialize the log4j system properly
1.在resource目录下创建一个log4j.properties文件2.添加如下信息:原创 2022-06-24 07:00:00 · 1084 阅读 · 0 评论 -
Windows下载Hadoop,本地执行MapReduce
官网链接 https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html 单词计算代码官网链接 https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Example:_W原创 2022-06-17 14:40:52 · 2505 阅读 · 1 评论