微电子学与固体电子学-俞驰

好久没有配置过hadoop了Desktop: ERROR: Cannot set priority of namenode process 35122查看log如下:$HADOOP_HOME/logs/hadoop-appleyuchi-namenode-Desktop.out得到:org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /home/appleyuchi/d...

测试hive on tez,启动顺序如下:启动hadoophive --service metastorehiveserver2starthisyarn timelineserverhivetimelineserver所在的终端出现报错6月 29, 2020 11:15:08 下午 com.sun.jersey.server.wadl.generators.AbstractWadlGeneratorGrammarGenerator attachTypes資訊: Cou.

$HADOOP_HOME/bin/yarn application -kill application_1608616037544_0004

环境:组件 版本 Hadoop 3.1.2 Hive 2.3.4 故障复现操作:hive中尝试drop table卡死，然后去hadoop的yarn界面发现如下报错完整报错:org.apache.hadoop.service.ServiceStateException: java.lang.NoSuchMethodError: org.apache.commons.lang3.StringUtils.isAnyBlank([Ljava/lang/Char.

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.HadoopKerberosName.setRuleMechanism(Ljava/lang/String;)V at org.apache.hadoop.security.HadoopKerberosName.setConfiguration(HadoopKerberosName.java:84) at org.apache....

因为需要编译superset的关系。编译过程中需要用到node的yarn先把~/.bashrc中的下面这句话注释掉:export PATH=$PATH:$HADOOP_HOME:$HADOOP_HOME/bin即可。

数据仓库设计方案一.概述 数据仓库的特征在于面向主题、集成性、稳定性和时变性，用于支持管理决策。数据仓库的存在的意义在于对企业的所有数据进行汇总，为企业各个部门提供统一的、规范的数据出口。数据仓库在构建过程中通常都需要进行分层处理。业务不同，分层的技术处理手段也不同。数仓分层的主要原因：清晰数据结构  每一个数据分层都有它的作用域，这样在使用表的时候能更方便的定位和理解。 数据血缘追踪  由于最终给业务呈现的是一个能直接使用的业务表，但是表的数据来源有很多，如果有一张来源表出问题了，我们希

路径 实际路径 sc.textFile("code/test.csv") /<hive.metastore.warehouse.dir>/code/test.csvon HDFS. sc.textFile("hdfs:///<hive.metastore.warehouse.dir>/code/test.csv") /<hive.metastore.warehouse.dir>/code/test.csvon HDFS...

昨晚思考了实时数仓的问题，对下列案例进行了如下思考.--------------------------------------------------------------------------------------------------------------------------例如：网易云音乐的音乐推荐，都是每天早上六点刷新。这个肯定不是实时推荐。----------------------------------------------------------------

hadoop的HA主要是两部分，一部分是namenode的备份，一部分是datanode备份．namenode和datanode一般尽量不在一个节点上，这样namenode挂掉一个，还会有另外一个datanode挂掉的话，那就看数据备份了，如果机房着火了，那是肯定不能用了．所以hadoop的高可用并不是万能．...

完整警告如下 :WARNING: YARN_ROOT_LOGGER has been replaced by HADOOP_ROOT_LOGGER. Using value of YARN_ROOT_LOGGER配置文件路径:$HADOOP_HOME/etc/hadoop配置文件 环境变量 yarn-env.sh export YARN_ROOT_LOGGER="DEBUG,console" hadoop-env.sh export HADOOP_ROOT_..

datanode适合放在性能不好的机器上，只要磁盘大就行但是namenode适合放在性能比较好的机器。resourcemanager的话就要放在大内存的机器上面。同样的，kafka,flink和spark也是放在性能好的机器上。机器可以重复使用。...

yarn-site.xml中的参数 yarn web UI上的参数 yarn.scheduler.minimum-allocation-vcores Minimum Allocation-vCores yarn.scheduler.maximum-allocation-vcores/2 Maximum Allocation-vCores yarn.scheduler.minimum-allocation-mb Minimum Allocatio...

命令复现如下:javac HBaseDataGenerator.java报错如下:HBaseDataGenerator.java:1: error: package org.apache.hadoop.conf does not existimport org.apache.hadoop.conf.Configuration;解决方案:javac HBaseDataGenerator.java -cp $(hadoop classpath)...

grep -ri Exception得到如下信息:/home/appleyuchi/bigdata/hadoop-3.2.1/logs/hadoop-appleyuchi-secondarynamenode-Desktop.log2020-05-17 21:23:32,070 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint解决方案：①去core-site.xml

WARNING: HADOOP_MAPRED_ROOT_LOGGER has been replaced by HADOOP_ROOT_LOGGER. Using value of HADOOP_MAPRED_ROOT_LOGGER编辑mapred-env.sh注释掉export HADOOP_MAPRED_ROOT_LOGGER=WARN,RFA

昨晚从spark-2.3.1-bin-hadoop2.7升级到spark-3.0.0-preview2-bin-hadoop3.2基本结论是:/etc/hosts不用修改~/.bashrc中路径改下(就是和spark相关的，spark-2.3.1-bin-hadoop2.7改成spark-3.0.0-preview2-bin-hadoop3.2)export SPARK_LOCAL...

这篇博客主要是利用[1]中的流程来尝试估算自己在运行spark on yarn模式时申请的内存数值。一个spark任务会产生几个Container？count = ExecutorNum + 1也就是说最后申请的Container数量为Executor的数量加上driver即为spark任务在yarn上执行最终需要的Container数量。spark的配置参考...

截图如下:那么这两个队列什么区别呢？[2]All queues are children of the root queue首先default或者root都是Queue的一个名字。default queue是root queue的子节点。这里的队列queue其实是服务于CapacityScheduler呢，就是多个任务共享集群。capacity-schedule...

启动集群后，打开master:8088/cluster/nodes界面参数 yarn-site.xml中的参数 Memory Total 集群中每台电脑中yarn.nodemanager.resource.memory-mb的取值累加后的和 VCores Total 集群中每台电脑中yarn.nodemanager.resource.cpu-vcores的取...

环境:台式机的hostname是:Desktop笔记本的hostname是:Laptop#-----------------------------------------------------------------------------------------------------------------------网上各种教程都是说你弄几台机子，一台的配置拷贝到另外一台...

转载自:https://docs.cloudera.com/HDPDocuments/HDP2/HDP-2.6.5/bk_reference/content/yarn-ports.htmlTable1.22.YARN Service Ports Service Servers Default Ports Used Protocol Description...

解决方案:①确保$HADOOP_HOME/etc/hadoop/mapred-site.xml包含下列设置 <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value></pro...

首先jps看下，得到:25013 Master8599 SecondaryNameNode8200 NameNode8377 DataNode9902 Jps可以发现没有resourcemanager,也就是说yarn没有启动．log路径:/home/appleyuchi/bigdata/hadoop-2.7.7/logs/yarn-appleyuchi-resourc...

Hadoop的三大核心组件之HDFS和YARNHadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。（1）HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNode/SecondaryNameNode。（2）YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager...

环境:台式机和笔记本搭建的真实集群故障：笔记本和台式机组建的集群，在仔细核对各种教程后，发现master的jps中总是没有datanode排查思路:/home/appleyuchi/bigdata/hadoop-2.7.7/sbin/start-all.sh内容为:提到了start-all.sh#!/usr/bin/env bash# Licensed to...

$ hdfs dfs -cat hdfs://Desktop:9000/user/ds/hello.txtcat: `hdfs://Desktop:9000/user/ds/hello.txt': No such file or directory解决方案:不要使用这种命令hdfs dfs -mkdir -p不存在这种命令！...

The VM will try to fix the stack guard now.It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z解决方案是：apt installexecstackexecstack -c /home/...

[2]"main"org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException):Zero blocklocations for /user/ds/hello.txt. Name node is in safe mode.解决方案[1]:hdfs dfs...

STARTUP_MSG: host = java.net.UnknownHostException: appleyuchi: appleyuchi: 未知的名稱或服務解决方案:1.ubuntu的hostname改为localhost2.在/etc/hosts中首行增加127.0.0.1 localhost...

begin() is called when transaction is OPEN 解决方案:把$FLUME_HOME/bin文件夹下面的flume-ng里面的内容修改为:JAVA_OPTS="-Xmx2048m" 

 解决方案: pom.xml中加入: &lt;dependency&gt; &lt;groupId&gt;org.scala-lang&lt;/groupId&gt; &lt;artifactId&gt;scala-xml&lt;/artifactId&gt; &lt;version&gt;2...

原因很简单因为localhost≠127.0.0.1也就是说,$FLUME_HOME/conf中的.conf文件用的localhost那么启动agent的时候你就不能用127.0.0.1否则认为两者是不相等的. ...

首先我们都知道jps查看节点是否起来了,如果namenode或者datanode没有起来,那么cd~/bigdata/hadoop-2.7.7/logsrm *然后重新复现之前的问题,./dfs-start.sh--------------------------namenode故障---------------------------------------------...

环境：ubuntu-linux 16.04spark-2.3.1-bin-hadoop2.7hadoop-2.7.7可能的原因：１．so文件版本不对查看命令：file libhadoop.so.1.0.0libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically ...

-----------------------环境-----------------------ubuntu16.04系统 64位apache-hive-3.0.0-bin          spark-2.3.1-bin-hadoop2.7scala2.11JDK版本:jdk1.8.0_131hadoop-3.0.3       笔记本y460            ---...

只有namenode需要format,secondarynamenode和datanode不需要format。类似于硬盘分区后以及新买的u盘需要格式化的问题,因为硬盘,u盘以及hdfs一样都是一个文件系统,所以使用前要格式化....

(python2.7) appleyuchi@ubuntu:~$ ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/home/appleyuchi/.ssh/id_rsa): /home/appleyuchi/.ssh/id_rsa already exists.Ov...