hadoop源码剖析--$HADOOP_HOME/bin/hadoop脚本文件分析

dgit3228 dgit3228 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 500+累计阅读 504平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄12年
关注
转载 最新推荐文章于 2026-02-18 00:45:31 发布 504 阅读 AI 写同款· GEO 优化 ›

1. $HADOOP_HOME/bin/ hadoop 

 

#!/usr/bin/env bash# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements.  See the NOTICE file distributed with# this work for additional information regarding copyright ownership.# The ASF licenses this file to You under the Apache License, Version 2.0# (the "License"); you may not use this file except in compliance with# the License.  You may obtain a copy of the License at##     http://www.apache.org/licenses/LICENSE-2.0## Unless required by applicable law or agreed to in writing, software# distributed under the License is distributed on an "AS IS" BASIS,# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.# See the License for the specific language governing permissions and# limitations under the License.# The Hadoop command script## Environment Variables##   JAVA_HOME        The java implementation to use.  Overrides JAVA_HOME.##   HADOOP_CLASSPATH Extra Java CLASSPATH entries.##   HADOOP_USER_CLASSPATH_FIRST      When defined, the HADOOP_CLASSPATH is #                                    added in the beginning of the global#                                    classpath. Can be defined, for example,#                                    by doing #                                    export HADOOP_USER_CLASSPATH_FIRST=true##   HADOOP_HEAPSIZE  The maximum amount of heap to use, in MB. #                    Default is 1000.##   HADOOP_OPTS      Extra Java runtime options.#   #   HADOOP_NAMENODE_OPTS       These options are added to HADOOP_OPTS  #   HADOOP_CLIENT_OPTS         when the respective command is run.#   HADOOP_{COMMAND}_OPTS etc  HADOOP_JT_OPTS applies to JobTracker #                              for e.g.  HADOOP_CLIENT_OPTS applies to #                              more than one command (fs, dfs, fsck, #                              dfsadmin etc)  ##   HADOOP_CONF_DIR  Alternate conf dir. Default is ${HADOOP_HOME}/conf.##   HADOOP_ROOT_LOGGER The root appender. Default is INFO,console#

bin=`dirname "$0"`//（1）获取$HADOOP_HOME/hadoop/bin所在目录
bin=`cd "$bin"; pwd`//（2）进入到$HADOOP_HOME/bin/hadoop/bin目录if[-e "$bin"/../libexec/hadoop-config.sh ];then//（3）执行hadoop-config.sh进行，进行配置设置."$bin"/../libexec/hadoop-config.sh
else."$bin"/hadoop-config.sh
fi

cygwin=falsecase"`uname`"in
CYGWIN*) cygwin=true;;esac# if no args specified, show usageif[ $# = 0 ]; then
  echo "Usage: hadoop [--config confdir] COMMAND"
  echo "where COMMAND is one of:"
  echo "  namenode -format     format the DFS filesystem"
  echo "  secondarynamenode    run the DFS secondary namenode"
  echo "  namenode             run the DFS namenode"
  echo "  datanode             run a DFS datanode"
  echo "  dfsadmin             run a DFS admin client"
  echo "  mradmin              run a Map-Reduce admin client"
  echo "  fsck                 run a DFS filesystem checking utility"
  echo "  fs                   run a generic filesystem user client"
  echo "  balancer             run a cluster balancing utility"
  echo "  fetchdt              fetch a delegation token from the NameNode"
  echo "  jobtracker           run the MapReduce job Tracker node" 
  echo "  pipes                run a Pipes job"
  echo "  tasktracker          run a MapReduce task Tracker node" 
  echo "  historyserver        run job history servers as a standalone daemon"
  echo "  job                  manipulate MapReduce jobs"
  echo "  queue                get information regarding JobQueues" 
  echo "  version              print the version"
  echo "  jar <jar>            run a jar file"
  echo "  distcp <srcurl> <desturl> copy file or directories recursively"
  echo "  archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive"
  echo "  classpath            prints the class path needed to get the"
  echo "                       Hadoop jar and the required libraries"
  echo "  daemonlog            get/set the log level for each daemon"
  echo " or"
  echo "  CLASSNAME            run the class named CLASSNAME"
  echo "Most commands print help when invoked w/o parameters."exit1fi# get arguments
COMMAND=$1
shift

# Determine if we're starting a secure datanode, and if so, redefine appropriate variablesif["$COMMAND"=="datanode"]&&["$EUID"-eq 0]&&[-n "$HADOOP_SECURE_DN_USER"];then
  HADOOP_PID_DIR=$HADOOP_SECURE_DN_PID_DIR
  HADOOP_LOG_DIR=$HADOOP_SECURE_DN_LOG_DIR
  HADOOP_IDENT_STRING=$HADOOP_SECURE_DN_USER
  starting_secure_dn="true"fi# some Java parametersif["$JAVA_HOME"!=""];then#echo "run java in $JAVA_HOME"
  JAVA_HOME=$JAVA_HOME
fiif["$JAVA_HOME"=""];then
  echo "Error: JAVA_HOME is not set."exit1fi

JAVA=$JAVA_HOME/bin/java
JAVA_HEAP_MAX=-Xmx1000m# check envvars which might override default args	if["$HADOOP_HEAPSIZE"!=""];then#echo "run with heapsize $HADOOP_HEAPSIZE"
  JAVA_HEAP_MAX="-Xmx""$HADOOP_HEAPSIZE""m"#echo $JAVA_HEAP_MAXfi# CLASSPATH initially contains $HADOOP_CONF_DIR		//(3)设置CLASSPATH
CLASSPATH="${HADOOP_CONF_DIR}"if["$HADOOP_USER_CLASSPATH_FIRST"!=""]&&["$HADOOP_CLASSPATH"!=""];then
  CLASSPATH=${CLASSPATH}:${HADOOP_CLASSPATH}fi
CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar

# for developers, add Hadoop classes to CLASSPATHif[-d "$HADOOP_HOME/build/classes"];then
  CLASSPATH=${CLASSPATH}:$HADOOP_HOME/build/classes
fiif[-d "$HADOOP_HOME/build/webapps"];then
  CLASSPATH=${CLASSPATH}:$HADOOP_HOME/build
fiif[-d "$HADOOP_HOME/build/test/classes"];then
  CLASSPATH=${CLASSPATH}:$HADOOP_HOME/build/test/classes
fiif[-d "$HADOOP_HOME/build/tools"];then
  CLASSPATH=${CLASSPATH}:$HADOOP_HOME/build/tools
fi# so that filenames w/ spaces are handled correctly in loops below
IFS=# for releases, add core hadoop jar & webapps to CLASSPATHif[-e $HADOOP_PREFIX/share/hadoop/hadoop-core-*];then# binary layoutif[-d "$HADOOP_PREFIX/share/hadoop/webapps"];then
    CLASSPATH=${CLASSPATH}:$HADOOP_PREFIX/share/hadoop
  fifor f in $HADOOP_PREFIX/share/hadoop/hadoop-core-*.jar;do
    CLASSPATH=${CLASSPATH}:$f;done# add libs to CLASSPATHfor f in $HADOOP_PREFIX/share/hadoop/lib/*.jar; do
    CLASSPATH=${CLASSPATH}:$f;
  done

  for f in $HADOOP_PREFIX/share/hadoop/lib/jsp-2.1/*.jar; do
    CLASSPATH=${CLASSPATH}:$f;
  done

  for f in $HADOOP_PREFIX/share/hadoop/hadoop-tools-*.jar; do
    TOOL_PATH=${TOOL_PATH}:$f;
  done
else
  # tarball layout
  if [ -d "$HADOOP_HOME/webapps" ]; then
    CLASSPATH=${CLASSPATH}:$HADOOP_HOME
  fi
  for f in $HADOOP_HOME/hadoop-core-*.jar; do
    CLASSPATH=${CLASSPATH}:$f;
  done

  # add libs to CLASSPATH
  for f in $HADOOP_HOME/lib/*.jar; do
    CLASSPATH=${CLASSPATH}:$f;
  done

  if [ -d "$HADOOP_HOME/build/ivy/lib/Hadoop/common" ]; then
    for f in $HADOOP_HOME/build/ivy/lib/Hadoop/common/*.jar; do
      CLASSPATH=${CLASSPATH}:$f;
    done
  fi

  for f in $HADOOP_HOME/lib/jsp-2.1/*.jar; do
    CLASSPATH=${CLASSPATH}:$f;
  done

  for f in $HADOOP_HOME/hadoop-tools-*.jar; do
    TOOL_PATH=${TOOL_PATH}:$f;
  done
  for f in $HADOOP_HOME/build/hadoop-tools-*.jar; do
    TOOL_PATH=${TOOL_PATH}:$f;
  done
fi

# add user-specified CLASSPATH last
if [ "$HADOOP_USER_CLASSPATH_FIRST" = "" ] && [ "$HADOOP_CLASSPATH" != "" ]; then
  CLASSPATH=${CLASSPATH}:${HADOOP_CLASSPATH}
fi

# default log directory & file
if [ "$HADOOP_LOG_DIR" = "" ]; then
  HADOOP_LOG_DIR="$HADOOP_HOME/logs"
fi
if [ "$HADOOP_LOGFILE" = "" ]; then
  HADOOP_LOGFILE='hadoop.log'
fi

# default policy file for service-level authorization
if [ "$HADOOP_POLICYFILE" = "" ]; then
  HADOOP_POLICYFILE="hadoop-policy.xml"
fi

# restore ordinary behaviour
unset IFS

# figure out which class to run		//（4）根据不同命令确定CLASS
if [ "$COMMAND" = "classpath" ] ; then
  if $cygwin; then
    CLASSPATH=`cygpath -p -w "$CLASSPATH"`
  fi
  echo $CLASSPATH
  exit
elif [ "$COMMAND" = "namenode" ] ; then
  CLASS='org.apache.hadoop.hdfs.server.namenode.NameNode'
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_NAMENODE_OPTS"
elif [ "$COMMAND" = "secondarynamenode" ] ; then
  CLASS='org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode'
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_SECONDARYNAMENODE_OPTS"
elif [ "$COMMAND" = "datanode" ] ; then
  CLASS='org.apache.hadoop.hdfs.server.datanode.DataNode'
  if [ "$starting_secure_dn" = "true" ]; then
    HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"
  else
    HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"
  fi
elif [ "$COMMAND" = "fs" ] ; then
  CLASS=org.apache.hadoop.fs.FsShell
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "dfs" ] ; then
  CLASS=org.apache.hadoop.fs.FsShell
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "dfsadmin" ] ; then
  CLASS=org.apache.hadoop.hdfs.tools.DFSAdmin
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "mradmin" ] ; then
  CLASS=org.apache.hadoop.mapred.tools.MRAdmin
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "fsck" ] ; then
  CLASS=org.apache.hadoop.hdfs.tools.DFSck
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "balancer" ] ; then
  CLASS=org.apache.hadoop.hdfs.server.balancer.Balancer
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_BALANCER_OPTS"
elif [ "$COMMAND" = "fetchdt" ] ; then
  CLASS=org.apache.hadoop.hdfs.tools.DelegationTokenFetcher
elif [ "$COMMAND" = "jobtracker" ] ; then
  CLASS=org.apache.hadoop.mapred.JobTracker
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_JOBTRACKER_OPTS"
elif [ "$COMMAND" = "historyserver" ] ; then
  CLASS=org.apache.hadoop.mapred.JobHistoryServer
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_JOB_HISTORYSERVER_OPTS"
elif [ "$COMMAND" = "tasktracker" ] ; then
  CLASS=org.apache.hadoop.mapred.TaskTracker
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_TASKTRACKER_OPTS"
elif [ "$COMMAND" = "job" ] ; then
  CLASS=org.apache.hadoop.mapred.JobClient
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "queue" ] ; then
  CLASS=org.apache.hadoop.mapred.JobQueueClient
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "pipes" ] ; then
  CLASS=org.apache.hadoop.mapred.pipes.Submitter
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "version" ] ; then
  CLASS=org.apache.hadoop.util.VersionInfo
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "jar" ] ; then
  CLASS=org.apache.hadoop.util.RunJar
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "distcp" ] ; then
  CLASS=org.apache.hadoop.tools.DistCp
  CLASSPATH=${CLASSPATH}:${TOOL_PATH}
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "daemonlog" ] ; then
  CLASS=org.apache.hadoop.log.LogLevel
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "archive" ] ; then
  CLASS=org.apache.hadoop.tools.HadoopArchives
  CLASSPATH=${CLASSPATH}:${TOOL_PATH}
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
elif [ "$COMMAND" = "sampler" ] ; then
  CLASS=org.apache.hadoop.mapred.lib.InputSampler
  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"
else
  CLASS=$COMMAND
fi

# cygwin path translation
if $cygwin; then
  CLASSPATH=`cygpath -p -w "$CLASSPATH"`
  HADOOP_HOME=`cygpath -w "$HADOOP_HOME"`
  HADOOP_LOG_DIR=`cygpath -w "$HADOOP_LOG_DIR"`
  TOOL_PATH=`cygpath -p -w "$TOOL_PATH"`
fi

#Determine the JAVA_PLATFORM		//（5）获取系统平台
JAVA_PLATFORM=`CLASSPATH=${CLASSPATH} ${JAVA} -Xmx32m ${HADOOP_JAVA_PLATFORM_OPTS} org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"`
  
if [ "$JAVA_PLATFORM" = "Linux-amd64-64" ]; then
  JSVC_ARCH="amd64"
else
  JSVC_ARCH="i386"
fi

# setup 'java.library.path' for native-hadoop code if necessary
JAVA_LIBRARY_PATH=''
if [ -d "${HADOOP_HOME}/build/native" -o -d "${HADOOP_HOME}/lib/native" -o -e "${HADOOP_PREFIX}/lib/libhadoop.a" ]; then

  if [ -d "$HADOOP_HOME/build/native" ]; then
    JAVA_LIBRARY_PATH=${HADOOP_HOME}/build/native/${JAVA_PLATFORM}/lib
  fi
  
  if [ -d "${HADOOP_HOME}/lib/native" ]; then
    if [ "x$JAVA_LIBRARY_PATH" != "x" ]; then
      JAVA_LIBRARY_PATH=${JAVA_LIBRARY_PATH}:${HADOOP_HOME}/lib/native/${JAVA_PLATFORM}
    else
      JAVA_LIBRARY_PATH=${HADOOP_HOME}/lib/native/${JAVA_PLATFORM}
    fi
  fi

  if [ -e "${HADOOP_PREFIX}/lib/libhadoop.a" ]; then
    JAVA_LIBRARY_PATH=${HADOOP_PREFIX}/lib
  fi
fi

# cygwin path translation
if $cygwin; then
  JAVA_LIBRARY_PATH=`cygpath -p "$JAVA_LIBRARY_PATH"`
fi

HADOOP_OPTS="$HADOOP_OPTS -Dhadoop.log.dir=$HADOOP_LOG_DIR"
HADOOP_OPTS="$HADOOP_OPTS -Dhadoop.log.file=$HADOOP_LOGFILE"
HADOOP_OPTS="$HADOOP_OPTS -Dhadoop.home.dir=$HADOOP_HOME"
HADOOP_OPTS="$HADOOP_OPTS -Dhadoop.id.str=$HADOOP_IDENT_STRING"
HADOOP_OPTS="$HADOOP_OPTS -Dhadoop.root.logger=${HADOOP_ROOT_LOGGER:-INFO,console}"

#turn security logger on the namenode and jobtracker only
if [ $COMMAND = "namenode" ] || [ $COMMAND = "jobtracker" ]; then
  HADOOP_OPTS="$HADOOP_OPTS -Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,DRFAS}"
else
  HADOOP_OPTS="$HADOOP_OPTS -Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,NullAppender}"
fi

if [ "x$JAVA_LIBRARY_PATH" != "x" ]; then
  HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$JAVA_LIBRARY_PATH"		//（6）设定使用hadoop本地库
fi  
HADOOP_OPTS="$HADOOP_OPTS -Dhadoop.policy.file=$HADOOP_POLICYFILE"

# Check to see if we should start a secure datanode
if [ "$starting_secure_dn" = "true" ]; then
  if [ "$HADOOP_PID_DIR" = "" ]; then
    HADOOP_SECURE_DN_PID="/tmp/hadoop_secure_dn.pid"
  else
    HADOOP_SECURE_DN_PID="$HADOOP_PID_DIR/hadoop_secure_dn.pid"
  fi

  exec "$HADOOP_HOME/libexec/jsvc.${JSVC_ARCH}" -Dproc_$COMMAND -outfile "$HADOOP_LOG_DIR/jsvc.out" \
                                                -errfile "$HADOOP_LOG_DIR/jsvc.err" \
                                                -pidfile "$HADOOP_SECURE_DN_PID" \
                                                -nodetach \
                                                -user "$HADOOP_SECURE_DN_USER" \
                                                -cp "$CLASSPATH" \
                                                $JAVA_HEAP_MAX $HADOOP_OPTS \
                                                org.apache.hadoop.hdfs.server.datanode.SecureDataNodeStarter "$@"
else
  # run it
  exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"		//运行具体的java class
  
fi

2. $HADOOP_HOME/bin/ hadoop-config.sh

 

 

# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements.  See the NOTICE file distributed with# this work for additional information regarding copyright ownership.# The ASF licenses this file to You under the Apache License, Version 2.0# (the "License"); you may not use this file except in compliance with# the License.  You may obtain a copy of the License at##     http://www.apache.org/licenses/LICENSE-2.0## Unless required by applicable law or agreed to in writing, software# distributed under the License is distributed on an "AS IS" BASIS,# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.# See the License for the specific language governing permissions and# limitations under the License.# included in all the hadoop scripts with source command# should not be executable directly# also should not be passed any arguments, since we need original $*# resolve links - $0 may be a softlinkthis="${BASH_SOURCE-$0}"
common_bin=$(cd -P --"$(dirname -- "$this")"&& pwd -P)
script="$(basename -- "$this")"this="$common_bin/$script"# convert relative path to absolute path
config_bin=`dirname "$this"`
script=`basename "$this"`
config_bin=`cd "$config_bin"; pwd`this="$config_bin/$script"# the root of the Hadoop installationexport HADOOP_PREFIX=`dirname "$this"`/..#check to see if the conf dir is given as an optional argumentif[ $# -gt 1 ]thenif["--config"="$1"]then
	      shift
	      confdir=$1
	      shift
	      HADOOP_CONF_DIR=$confdir
    fifi# Allow alternate conf dir location.if[-e "${HADOOP_PREFIX}/conf/hadoop-env.sh"];then
  DEFAULT_CONF_DIR="conf"else
  DEFAULT_CONF_DIR="etc/hadoop"fi
HADOOP_CONF_DIR="${HADOOP_CONF_DIR:-$HADOOP_PREFIX/$DEFAULT_CONF_DIR}"#check to see it is specified whether to use the slaves or the# masters fileif[ $# -gt 1 ]thenif["--hosts"="$1"]then
        shift
        slavesfile=$1
        shift
        export HADOOP_SLAVES="${HADOOP_CONF_DIR}/$slavesfile"fifiif[-f "${HADOOP_CONF_DIR}/hadoop-env.sh"];then."${HADOOP_CONF_DIR}/hadoop-env.sh"//(2)执行hadoop-env.sh，进行配置设置fiif["$HADOOP_HOME_WARN_SUPPRESS"=""]&&["$HADOOP_HOME"!=""];then
  echo "Warning: \$HADOOP_HOME is deprecated."1>&2
  echo 1>&2fi# Newer versions of glibc use an arena memory allocator that causes virtual# memory usage to explode. This interacts badly with the many threads that# we use in Hadoop. Tune the variable down to prevent vmem explosion.export MALLOC_ARENA_MAX=${MALLOC_ARENA_MAX:-4}export HADOOP_HOME=${HADOOP_PREFIX}export HADOOP_HOME_WARN_SUPPRESS=1

3. $HADOOP_HOME/conf/hadoop-env.sh

 


总结，hadoop命令在运行时一次分别执行hadoop-config.sh 和 hadoop-env.sh来设置配置和参数。最后将设置的配置和参数交给java类来运行，根据不同的参数定位不同的执行类和行为。

 

转载于:https://www.cnblogs.com/jerryshao2015/p/4419628.html

标签
#大数据 #java #c/c++
原文链接：http://www.cnblogs.com/jerryshao2015/p/4419628.html>
大模型和任务型对话系统如何结合 三种方法都是基于prompt1.prompt中定义大量可分类的domain标签，每种标签含有的样例。走对话系统nlu常规步骤，domain分类，意图分类，slot提取等。缺点：需要很复杂的prompt，写的未必完善。需要多次调用llm2.prompt中定义每种query下可以调用的functioncall。3.也是基于prompt，可以管理对话主题，实现更丰富的话题流转。面向某个具体领域，没有细分的domain类别。 阅读详情

相关推荐

基于51单片机语音识别智能台灯设计

智能台灯；语音识别；STC89C52RC单片机

Benso_H的博客 5842

Hadoop常见命令总结

注意：使用hadoop命令时，/ 代表是$HADOOP_HOME的目录（即HDFS文件系统的根目录），要和本地主机的/区分开。1.上传文件到hdfs系统的根目录下：    hadoop fs -put filename /     查看：hadoop fs -ls /            进入到自己设置的存放data的目录，输入 ls -lrt   可以看到Block的列表信息         ...

叶小刀 635

深度学习、图像分类入门，从VGG16卷积神经网络开始

刚开始接触深度学习、卷积神经网络的时候非常懵逼，不知道从何入手，我觉得应该有一个进阶的过程，也就是说，理应有一些基本概念作为奠基石，让你有底气去完全理解一个庞大的卷积神经网络： 本文思路： 一、我认为学习卷积神经网络必须知道的几个概念： 1、卷积过程：   我们经常说卷积神经网络卷积神经网络，到底什么才是卷积？网络层卷积过程到底怎么实现？我们在这里借鉴了另一位博客大牛的动态图来给大

Errors_In_Life的博客 16万+

Hadoop入门进阶步步高（二）-目录介绍

二、Hadoop目录结构这里重点介绍几个目录bin、conf及lib目录。1、$HADOOP_HOME/bin目录文件名称说明hadoop用于执行hadoop脚本命令，被hadoop-daemon.sh调用执行，也可以单独执行，一切命令的核心hadoop-config.shHadoop的配置文件hadoop-daemon.sh通过执行hadoop命令来启动/停止一个守护进程(daemon)。该命令

冯立彬的博客 1万+

YF-S401水流量传感器在STM32上的精准计量实现

本文详细介绍了YF-S401水流量传感器与STM32微控制器的集成应用，实现精准水流计量。通过外部中断和外部时钟两种脉冲计数方案，结合硬件配置、软件滤波和校准技巧，确保高精度流量测量。适用于智能家居和工业自动化中的水控系统，提升系统稳定性和测量准确性。

rainy的博客 896

金融数据自动化：从同花顺API到Excel的智能转换之旅

本文详细介绍了如何利用同花顺API实现金融数据自动化处理，并将其智能转换为Excel格式的全流程。通过Python编程和Excel高级技巧，读者可以掌握从数据获取、清洗到输出的完整解决方案，大幅提升金融数据分析的效率和准确性。文章特别强调了同花顺API的使用技巧和Excel自动化输出的最佳实践。

sql99的博客 461

hadoop查看默认的配置文件

一、默认配置文件 默认的配置文件在 $HADOOP_HOME/share/hadoop（$HADOOP_HOME是取环境变量中hadoop的路径） 进入到该目录下： cd $HADOOP_HOME/share/hadoop 有以下几个目录： 默认配置文件就在红框中（common、hdfs、mapreduce、yarn） 补充知识： 配置文件介绍 cores-site.xml : 负责全局的配置（common） hdfs-site.xml：负责hdfs的配置 mapred-site.xml: 负责

Andy86666的博客 4916

MATLAB App Designer 实现多窗口交互与数据传递实战

本文详细介绍了如何使用MATLAB App Designer实现多窗口交互与数据传递的实战技巧。从基础的多窗口应用设计到高级的动态窗口创建，涵盖了窗口调用控制、数据传递方法、状态管理及用户体验优化等核心内容，帮助开发者高效构建复杂的MATLAB GUI应用。

milk5的博客 664

指定HADOOP_HOME位置的三种方法

Hadoop安装时需要指定HADOOP_HOME位置。可以使用如下三种export方法：1、直接使用export命令#export HADOOP_HOME=/home/sj/hadoop-x#export JAVA_HOME=/home/sj/java.x#export PATH=$HADOOP_HOME/bin:$PATH:$JAVA_HOME\bin#看是否已经设好，可用命令export查看：...

weixin_30486037的博客 1631

SpeedyBee F405 V3 50A飞塔装机全攻略：从开箱到首飞避坑指南

本文提供SpeedyBee F405 V3 50A飞塔的详细装机指南，涵盖从开箱检查、硬件焊接、软件配置到安全首飞的全流程。重点剖析了电源连接、固件刷写等高频故障点，帮助FPV新手避开常见陷阱，确保一次成功组装并安全起飞。

weixin_29179311的博客 416

RapidScada在windows下的安装（详细）

1.下载地址：RapidScada官网 2.版本说明 有Linux版本和Windows版本，看自己的需求下载，推荐下载最新稳定版本。 3.系统要求 4.安装前的准备(windows10) 首先打开Windows功能： 先关闭 Microsoft .NET Framework3.5的 Windows Communication Foundation 子组件。如下图： Microsoft .NET Framework配置按下图勾选： iis安装的功能： 5.安装 解压..

m0_51275803的博客 4262

解决：nice: ‘$HADOOP_HOME/bin/hdfs’: No such file or directory

环境：ubuntu server 16.04 + jdk1.8 + hadoop2.7.6初学者，总会遇到问题。搭建伪分布式集群的时候，在格式化namenode没有问题，配置文件也没有问题，环境变量的路径也没有问题的情况下：因为之前搭建伪分布式的时候，环境变量也是配置在/etc/environment这个文件中，所以这次还是直接配置在该文件中。出现这个问题之后，jps以后看不到任何进程，日志里面也...

tiankong_12345的博客 8334

3. LangGraph快速入门

本示例中，我们将使用 Claude Sonnet 4.5 模型，并定义加法、乘法、除法工具。# 定义工具@toolArgs:"""@toolArgs:"""@toolArgs:"""# 为大模型绑定工具图的状态用于存储消息和大模型调用次数。LangGraph 中的状态在整个智能体执行过程中保持持久化。使用带的Annotated类型可以确保新消息追加到现有列表，而不是替换列表。模型节点用于调用大模型，并决定是否调用工具。return {],

Long_像风一样自由 842

Hadoop的shell脚本分析

Hadoop的shell脚本分析前记：这些天一直学习hadoop,学习中也遇到了许多的问题，主要是对hadoop的shell脚本和hadoop的源码概念不够清楚，所以我就对hadoop的bin目录下的shell脚本进行了研究，有一些成果想记录下来，也希望大家前来批评指正。分析原因：很多hado...

chuanjiaoye5017的博客 186

C# WinForm 基于DirectShow.dll编写的程序，可边预览边保存视频，音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择（默认选中第一个）2.可录制wmv和avi两种格式的视频并且都带有音频，avi可以录制的分辨率和帧数进行选择，wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照，也可边录制视频边拍照4.添加了视频和音频的压缩功能（酌情使用）这次二次开发发现C#对DirectShow的相关信息太少，这次做完也不敢藏私共享出来，还望大家指正

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf：最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版，包括SDIO 接口的外设，SDIO 接口官方协议等。

Hadoop作业提交分析

Hadoop作业提交分析（一） bin/hadoop jar xxx.jar mainclass args …… 这样的命令，各位玩Hadoop的估计已经调用过NN次了，每次写好一个 Project或对Project做修改后，都必须打个Jar包，然后再用上面的命令提交到Hadoop Cluster上去运行，在开发阶段那是极其繁琐的。程序员是“最懒”的，既然麻烦肯定是要想些法子减少无谓

pinuo的专栏 1168

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Hadoop作业提交分析（一）

<br /> bin/hadoop jar xxx.jar mainclass args<br /> ……<br />　　这样的命令，各位玩Hadoop的估计已经调用过NN次了，每次写好一个Project或对Project做修改后，都必须打个Jar包，然后 再用上面的命令提交到Hadoop Cluster上去运行，在开发阶段那是极其繁琐的。程序员是“最懒”的，既然麻烦肯定是要想些法子减少无谓的键盘敲击，顺带延长键盘寿命。比如有的人就 写了些Shell脚本来自动编译、打包，然后提交到Hadoop。但

性格决定命运，专注影响成败 739

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

最新Hadoop集群的启动脚本整理及守护线程源码_(1)，2024年最新阿里+头条+腾讯等大厂网络安全面试题分享

在hadoop-daemon.sh脚本中，同样读取了环境变量，然后依据传入的参数（上一个脚本中）来判断要启动的hadoop的守护线程command)，最后调用bin/hdfs指令 读取配置信息 并启动hadoop的守护线程。

2401_84264662的博客 742

/bin/bash: line 0: fg: no job control一般解决方法

测试版本：CDH5.0,（Hadoop2.3）在使用windows调用Hadoop yarn平台的时候，一般都会遇到如下的错误：2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception from container-launch with co

fansy1990的专栏 2万+

Hahoop源码分析（一）-----------job提交过程分析（1）

源码分析基于hadoop-2.4.0版本，只是一个学习过程，希望自己能清楚理解这部分内容； bin/hadoop jar xxx.jar mainclass args …… 　　每次写好一个Project或对Project做修改后，都必须打个Jar包，然后再用上面的命令提交到HadoopCluster上去运行，在开发阶段那是极其繁琐的。程序员是“最懒”的，既然麻烦肯定是要想些法子减少无谓的键

小玉歌 750

【hadoop二次开发】查看NameNode的启动脚本

002-hadoop二次开发NameNode是什么，有哪些职责NameNode如何启动的（通过脚本） NameNode是什么，有哪些职责 首先namenode是一个服务中心，管理文件系统命名空间的，比如当前文件名叫什么，以及管理的元数据，blockID，block大小，块池列表，在哪些机器上。 在WEB-UI界面50070端口，Utilities下Browse Directory查看hdfs文件信息。 当在客户端输入hadoop fs -ls /命令后，通过rpc发送给namenode，执行操作，返回结果到

一梦 524
上一篇： ${varname:-defaultvalue}
下一篇： Runtime.getRuntime().addShutdownHook(Thread)
点赞 0
评论 0
书签 书签 0
dgit3228
dgit3228
博客等级 码龄12年 2粉丝 0原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值