
系统化学习hadoop
直接上传的md有问题
github链接:https://github.com/chenzj-tanpp/BigData
廾匸_Tpp
这个作者很懒,什么都没留下…
展开
-
sqoop从mysql到hdfs导入时找不到QueryResult
解决方法:在提示信息里找到将这个jar包移动到sqoop的lib包下即可。原创 2021-09-18 16:14:42 · 369 阅读 · 0 评论 -
重要笔记(hadoop重点)
一、常用端口号hadoop3.xHDFS NameNode 内部通常端口:8020/ 9000/ 9820HDFS NameNode 对用户的查询端口:9870Yarn查看任务运行情况的:8088历史服务器:19888hadoop2.xHDFS NameNode内部通常端口:8020/ 9000HDFS NameNode 对用户的查询端口: 50070Yarn查看任务运行情况的:8088历史服务器:19888二、常用的配置文件3.x core-site.xml hdfs-si原创 2021-09-13 16:04:04 · 154 阅读 · 0 评论 -
常用小知识(一直更新)
hadoop参数优先级(1)客户端代码中设置的值 >(2)ClassPath 下的用户自定义配置文件 >(3)然后是服务器的自定义配置(xxx-site.xml) >(4)服务器的默认配置(xxx-default.xml)idea小技巧双击shift搜索想要查看的类,ctrl+h查看实现的类,ctrl+f12查看实现的方法ctrl+shift+f 将方法中的变量升级为类中的量方法参数copyFromLocalFilecopyFromLocalFile(是否删除源文件,是否覆原创 2021-09-13 16:03:23 · 84 阅读 · 0 评论 -
常用技巧一
Ubuntu设置root用户密码sudo passwdUbuntu无密码使用sudovim /etc/sudoerswq! #强制修改保存ssh无密码登录用户名一致时ssh-keygen -t rsassh-copy-id hostname用户名不一致时首先在”~/.ssh/“下创建一个config文件vim confighost hostname #主机名user username #用户名chmod 664 config...原创 2021-09-13 16:01:00 · 85 阅读 · 0 评论 -
hadoop集群配置
文件:要获取的默认文件文件存放在 Hadoop 的 jar 包中的位置[core-default.xml]hadoop-common-3.1.3.jar/core-default.xml[hdfs-default.xml]hadoop-hdfs-3.1.3.jar/hdfs-default.xml[yarn-default.xml]hadoop-yarn-common-3.1.3.jar/yarn-default.xml[mapred-default.xml]原创 2021-08-31 09:54:26 · 134 阅读 · 0 评论 -
集群分发脚本
scp:复制#推送scp -r 文件路径 目的用户@主机:目的路径/#拉取scp -r 用户名@主机:目的路径/ 目标地址#scp -r 用户名@主机:目的路径/ 目的用户@主机:目的路径/rsync:同步rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。-a 归档拷贝-v 显示复制过程集群分发shell#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not Enough A原创 2021-08-31 09:48:51 · 82 阅读 · 0 评论 -
ssh相关
ssh-keygen -t rsa生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥)ssh-copy-id #分发.ssh文件下的解释known_hosts记录 ssh 访问过计算机的公钥(public key)id_rsa生成的私钥id_rsa.pub生成的公钥authorized_keys存放授权过的无密登录服务器公钥...原创 2021-08-31 09:46:14 · 79 阅读 · 0 评论