weixin_44704605的博客

hhh

的的的

Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio

dependency爆红 解决方式

1.查看日志：ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection while in state: CONNECTING at kafka.zookeeper.ZooKeeperClient$$an

报错：Exception in thread "main" java.lang.RuntimeException: No new data sinks have been defined since the last execution. The last execution refers to the latest call to 'execute()', 'count()', 'collect()', or 'print()'. at org.apache.flink.api.java.Exe

1.计算公式CPU总核数 = 物理CPU个数 * 每颗物理CPU的核数总逻辑CPU数 = 物理CPU个数 * 每颗物理CPU的核数 * 超线程数注意： 应用最大有效计算并行度即为所在机器的逻辑cpu个数，top然后输入1可显示所有逻辑cpu具体的消耗2.查询命令#查询CPU的型号[root@node1 bin]# cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c16 Intel® Xeon® CPU E5-2630 v2 @ 2.60

Hadoopb 设置时间同步报错：name server cannot be used, reason: Temporary failure in name resolution

SecureCRT无法连接虚拟机解决方案声明：亲测有效主要原因是本机主机的IP地址发生了变化，把vmnet-8设置为固定的IP地址就可以了。具体步骤如下：1.首先进行查看虚拟机中的IP地址、网关等相关信息vi /etc/sysconfig/network-scripts/ifcfg-eth0如图：2.根据虚拟机的状态进行修改本机信息：打开本机网络和共享中心—>更改适配器 配置---->VMnet8—>IPV4–>设置固定IP地址（此时的IP地址要与虚拟机的GETEW

2. Shell 编程2.1 简介Shell 是一个用 C 语言编写的程序，通过 Shell 用户可以访问操作系统内核服务。Shell 既是一种命令语言，又是一种程序设计语言。Shell script 是一种为 shell 编写的脚本程序。Shell 编程一般指 shell脚本编程，不是指开发 shell 自身。Shell 编程跟 java、php 编程一样，只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了。Linux 的 Shell 解释器 种类众多，一个系统可以存在多个

Linux sftp 支持哪些命令：可用命令：cd 路径 更改远程目录到“路径”lcd 路径 更改本地目录到“路径”chgrp group path 将文件“path”的组更改为“group”chmod mode path 将文件“path”的权限更改为“mode”chown owner path 将文件“path”的属主

https://blog.youkuaiyun.com/weinierzui/article/details/56278788?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160540980219724835864764%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=160540980219724835864764&

cpu和core的信息都在/proc/cpuinfo中：1. 查物理CPU的个数#cat /proc/cpuinfo |grep “physical id”|sort |uniq|wc -l2. 查逻辑CPU的个数#cat /proc/cpuinfo |grep “processor”|wc -l3. 查CPU的主频#cat /proc/cpuinfo |grep MHz|uniq4. 查CPU核数量：#cat /proc/cpuinfo |grep “cores”|uniq...

Mapreduce数据处理过程作业（job）是Mapreduce数据处理单元，分为两大过程：map和reduce；首先作业提交集群中被分成若干小的任务（task）执行具体操作步骤，二job和task是被jobtracker和tasktracker分别控制执行的，前者是管理job后者管理task。在数据操作过程中，jobtracker通过调用tasktracker中任务（task）集协调整个流程。Tasktracker收到jobtracker调度命令后执行其任务集同事向jobtracker发送任务的状态

在hadoop中运行hadoop jar MapReduce-1.0-SNAPSHOT.jar SexAndAge.AvgDriver时出现：20/11/02 20:21:18 INFO client.RMProxy: Connecting to ResourceManager at node01/192.168.10.111:803220/11/02 20:21:20 INFO ipc.Client: Retrying connect to server: node01/192.168.10.111:

方法一：以管理员的方式，重启虚拟机方法二：重装虚拟机

（1）-help：输出这个命令参数bin/hdfs dfs -help rm（2）-ls: 显示目录信息hdfs dfs -ls /（3）-mkdir：在hdfs上创建目录hdfs dfs -mkdir -p /aaa/bbb/cc/dd（4）-moveFromLocal从本地剪切粘贴到hdfshdfs dfs -moveFromLocal /home/Hadoop/a.txt /aaa/bbb/cc/dd（5）-moveToLocal：从hdfs剪切粘贴到本地hdfs dfs

什么是MapReduce？Mapreduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分析 应用”的核心框架。Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个hadoop 集群上Hadoop的四个组件HDFS：分布式存储系统MapReduce：分布式计算系统YARN： hadoop 的资源调度系统Common： 以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等为什么需要 MapR

Raid0Raid0是所有raid中存储性能最强的阵列形式。其工作原理就是在多个磁盘上分散存取连续的数据,这样,当需要存取数据是多个磁盘可以并排执行,每个磁盘执行属于它自己的那部分数据请求,显著提高磁盘整体存取性能。但是不具备容错能力,适用于低成本、低可靠性的台式系统。Raid1又称镜像盘,把一个磁盘的数据镜像到另一个磁盘上,采用镜像容错来提高可靠性,具有raid中最高的数据冗余能力。存数据时会将数据同时写入镜像盘内,读取数据则只从工作盘读出。发生故障时,系统将从镜像盘读取数据,然后再恢复工作盘正确

数据集主要特点Volume（大量）: 数据量巨大，从TB到PB级别。Velocity（高速）: 数据量在持续增加(两位数的年增长率)。Variety（多样）: 数据类型复杂，超过80%的数据是非结构化的。Value（低密度高价值）: 低成本创造高价值。其他特征数据来自大量源，需要做相关性分析。需要实时或者准实时的流式采集，有些应用90%写vs.10%读。数据需要长时间存储，非热点数据也会被随机访问。...

传统 系统硬盘（与数据硬盘100%隔离） 两块硬盘做一个RAID1 引导分区 200M 交换分区 内存的两倍 根分区 /（所有的空间） 数据硬盘 多个硬盘制作一个逻辑卷，即将多个物理硬盘制作成一个大的逻辑硬盘大数据 系统硬盘 两块硬盘做一个RAID1 引导分区 200M 交换分区 可以不设置或设置的很小。因为在大数据中需要将其关闭 根分区 /（所有的空间） 数据硬盘 多个硬盘，每个硬盘独立挂载，有多少个硬盘，挂载多少个目录 数据硬盘优先不

1、服务器主机名和IP配置（三台）2、修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台）3、管理节点到从节点配置无密码登录4、配置jdk 1.8（三台）5、关闭防火墙（三台）6、关闭selinux（三台）vi /etc/selinux/configSELINUX=enforcing SELINUX=disabled重启系统安装流程1、上传软件包到管理节点，在管理节点解压并配置2、将修改完的解压包，远程拷贝到所有的从节点3、启动软件Hado

配置(或修改)网络：vi /etc/sysconfig/network-scripts/ifcfg-eth0重启网络(网卡)：/etc/init.d/network restartservice network restart设置网卡：setup修改 mv编辑 vi重启系统 reboot查看当前所在文件夹： /pwd查询系统运行内存 df -h查看 ls创建有内容的文本文档 ：echo 123456789 > 123.txt拷贝 cp 11.txt 22.txt返回上

1、部署多台服务器（linux系统）2、修改每个节点的主机名 /etc/sysconfig/network注意：重启后生效3、配置ip [动态或者静态]4、配置每个主机的 主机名和IP的对应关系 /etc/hosts5、验证远程拷贝命令scp [-r] 文件/文件夹 目标节点：/目标路径scp /export/aaa/01.txt root@192.168.100.202:/exportscp /export/aaa/02.txt root@hadoop0

原文： http://blog.youkuaiyun.com/huangjin0507/article/details/46004241有两种办法：1：把mount 的命令放到/etc/rc.d/rc.local 里面去，vi /etc/rc.d/rc.local ，然后把 mount -t nfs dl1:/home/users /home/users 这个命令写进去。保存退出就好了。2：修改/etc/fstab文档[root@node12 ~]# cat /etc/fstab/etc/fstabCre