IDEA 本地运行mapreduce程序不打印日志问题

如何在IDEA编译器中连接HDFS,运行MapReduce程序 首先是感觉自己的基础还是不够吧,大厂好像都喜欢问这些底层原理。之前的准备只涉及了Java、Android、计网、数据结构与算法这些方面,面对面试官对其他基础课程的考察显得捉襟见肘。下一步还是要查漏补缺,进行针对性复习。最后的最后,那套资料这次一定要全部看完,是真的太全面了,各个知识点都涵盖了,几乎我面试遇到的所有问题的知识点这里面都有!希望大家不要犯和我一样的错误呀!!!一定要看完!《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》,点击传送门即可获取!2)] 阅读详情

一、问题描述

使用idea运行mapreduce程序后,虽然程序运行成功,但在控制台不打印相关的日志信息,而是出现如下的log4j警告

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

二、产生原因

进入提示的网站,看到相关问题及解答
在这里插入图片描述
翻译一下大概意思是:

1.产生的原因是没有找到log4j.properties或log4j.xml配置文件
2.log4j不提供默认配置,因为在某些环境中可能会禁止输出到控制台或文件系统
3.log4j用Thread().getContextClassLoader().getResource()加载配置文件

三、解决办法

看到官网的解释其实就很明白了,只需要在项目的resources目录下面创建一个配置文件log4j.properties即可。

# log4j.rootLogger日志输出类别和级别:只输出不低于该级别的日志信息DEBUG < INFO < WARN < ERROR < FATAL
# A1是一个“形参”代表输出位置,具体的值在下面
log4j.rootLogger=DEBUG, A1

# 配置A1输出到控制台
lo
IDEA集成Hadoop教程 介绍如何在Intellij Idea中通过创建maven工程配置MapReduce的编程环境。 一、软件环境 我使用的软件版本如下: Intellij Idea 2017 Maven 3.3.9 Hadoop 因为我们保证maven的纯净性,所以,这里我并没有整两套settings,而是重新开辟了一个maven环境,maven 阅读详情

相关推荐

【Hadoop入门二】编写并运行WordCount

本文基于IDEA编写WordCount示例,并在Hadoop上运行。 一、前提 安装并配置好Java、Maven和Hadoop。 二、创建Maven项目 1. 创建项目 File -> New -> Project -> Maven,不用勾选archetype,点击next,填写项目名称,点击Finish。 2. 修改pom.xml 1)引入Hadoop依赖包 主要包括hadoop-common、hadoop-hdfs、hadoop-mapreduce-client-c

1438

MapReduce编程入门:从WordCount到数据去重与JOIN实战

分布式计算是处理海量数据的核心技术,其核心思想是将大规模任务分解为多个可并行处理的子任务,最后合并结果。MapReduce作为经典的分布式编程模型,通过Map(映射)和Reduce(归约)两个阶段实现这一思想,框架自动处理复杂的Shuffle(洗牌)过程。该模型的价值在于将分布式计算的复杂性封装,使开发者只需关注业务逻辑,从而高效处理TB/PB级数据,广泛应用于日志分析、数据清洗、搜索引擎索引构建等场景。本文以词频统计(WordCount)和数据去重为例,结合Shuffle机制和性能优化技巧,手把手带你完成

weixin_34242819的博客 394

Flink部署模式全解析:从本地单机到YARN集群的实战指南

实时计算作为大数据处理的核心技术,其核心在于高效、低延迟地处理无界数据流。Apache Flink作为业界领先的流处理框架,其部署模式的选择直接决定了系统的资源利用率、运维复杂度和扩展性。理解其部署原理,对于构建稳定可靠的实时数据管道至关重要。从最基础的本地单机模式入手,开发者可以快速验证业务逻辑;而Standalone集群模式则为中小规模场景提供了独立可控的部署方案。在生产环境中,基于YARN的部署模式能够无缝融入现有Hadoop生态,实现资源的弹性调度与高效管理,这是构建企业级实时计算平台的关键技术实践

weixin_30859423的博客 467

Hadoop单机模式入门:Ubuntu 18.04 + Java 8 零基础实战

Hadoop单机模式是理解分布式计算框架本质的基石,它剥离了集群复杂性,聚焦于MapReduce工作流程、HDFS抽象模型与YARN资源调度的核心原理。作为最轻量级运行态,它以本地文件系统模拟HDFS、单JVM内执行MapReduce任务,实现可调试、可断点、可日志追踪的确定性计算。其技术价值在于降低学习门槛、强化概念认知、加速故障定位,并为伪分布式及生产集群部署提供可靠验证基线。典型应用场景包括WordCount验证、电信数据清洗、招聘薪资分位统计等MapReduce综合应用案例。本文基于Ubuntu 1

weixin_33834137的博客 413

Spark Java版WordCount实战:从pom.xml到JVM调优的全链路解析

Word Count作为分布式计算的入门范式,本质是理解RDD、Shuffle与序列化机制的实践入口。其底层依托JVM内存模型与Java编译生态,涉及Scala二进制兼容性、Hadoop客户端集成、Lombok注解处理等关键环节。技术价值在于以轻量任务暴露集群环境一致性(如JDK版本对齐)、资源调度瓶颈(Executor内存与GC行为)及构建链路风险(Maven依赖冲突)。典型应用场景覆盖本地调试、YARN生产验证与面试能力评估,尤其适用于Java工程师切入大数据工程——本文聚焦Spark 3.5+与JDK

weixin_30632883的博客 389

SpringBoot校园二手交易平台:从环境搭建到多技术栈集成的毕设实战指南

在Java Web开发领域,SpringBoot凭借其约定大于配置的理念和强大的自动装配能力,已成为构建企业级应用的主流框架。其核心原理在于通过Starter依赖简化了传统Spring应用的繁琐配置,使开发者能快速搭建可独立运行的、生产级的应用程序。这一技术价值在于极大地提升了开发效率,降低了微服务架构的入门门槛,广泛应用于电商、社交、管理等各类业务系统。本文聚焦于一个典型的应用场景——校园二手物品交易平台,深入解析如何基于SpringBoot快速构建项目核心,并探讨其与Python爬虫、Redis缓存、J

chuannaoxuan4674的博客 382

Java EE工程师实战能力地图:环境配置、JVM调优与云原生落地

Java EE是企业级Java应用开发的核心技术体系,其本质是规范、运行时与工程实践的深度协同。理解JDK版本演进与字节码兼容性,是规避'不支持发行版本'等编译错误的前提;掌握JVM内存模型与GC机制,则能精准诊断OutOfMemoryError七类场景并实施G1调优;而Servlet容器选型、HikariCP连接池配置及Jakarta EE 9+迁移,直接决定系统在云原生环境中的稳定性与扩展性。本文聚焦真实工程现场高频痛点,融合java环境变量配置、java: outofmemoryerror等典型问题,

weixin_33696822的博客 460

嵌入式开发路径选择:裸机与Linux对比分析及学习路线

嵌入式系统开发是连接硬件与软件的关键技术领域,其核心在于实现对特定设备的智能化控制。从技术原理上看,嵌入式开发主要分为直接操作硬件的裸机开发和基于操作系统的开发两种模式。裸机开发更贴近硬件底层,能提供极致的实时性和资源控制,而基于Linux等操作系统的开发则能利用丰富的软件生态和高级抽象,适用于复杂功能场景。在工程实践中,选择合适的技术路径直接影响产品的成本、功耗和开发效率。对于物联网终端、工业控制等场景,裸机开发在实时性和低功耗方面具有不可替代的价值;而对于智能网关、多媒体设备等需要复杂网络连接和图形界面

weixin_33850015的博客 837

数据库之Redis运维手册(私人整理)

1、redis配置文件 #cat 8000.conf daemonize no #[yes/no]默认值no,该参数用于定制redis服务是否以守护模式运行。 pidfile /var/run/redis.pid #默认值/var/run/redis.pid,指定redis服务的进程号文件路径,以守护模式运行时需要配置本参数; port 8000 #默认值6379,指定redis服务...

企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com 8638

PCIe链路训练与LTSSM状态机:11个状态详解与调试实战

PCIe链路训练是高速接口物理层协议的核心机制,通过LTSSM状态机实现链路建立、速率协商与错误恢复。其原理基于有序集交换与状态跳转,确保链路从Detect到L0的可靠训练。掌握LTSSM对硬件设计、FPGA开发和驱动调试具有重要技术价值,广泛应用于SSD、加速卡、网卡等设备。实际调试中常遇到降速、不识别等问题,需结合协议分析仪与状态寄存器定位卡点。本文深入拆解LTSSM的11个状态及跳转关系,分享Polling、Configuration、Recovery等阶段的实操经验与排查思路。

weixin_33769125的博客 383

Hadoop【使用篇】05:MapReduce任务日志查看

MapReduce任务日志查看

weixin_40612128的博客 4962

【异常】为啥我的IDEA的控制台中没有打印SQL日志?原来是SQL监控(p6spy)被我禁用了!

P6Spy是一个开源项目P6Spy是针对数据库访问操作的动态监测框架。P6Spy是一个用于拦截和修改数据库访问操作数据的开源框架。P6Spy的最新版本为1.3,可以从其官方网站(www.p6spy.com)下载。P6Spy是一个强大的数据库访问性能监测和分析工具。

奶爸的编程之路,也就一周冷个三天 6760

大数据之-Hadoop3.x_MapReduce_WordCount案例环境准备---大数据之hadoop3.x工作笔记0088

然后我们再来看看,在写这个wordCount的,MapReduce程序之前,我们先来,创建一个maven项目,用idea创建就可以了 根据自己的情况,放到本地目录中 这里我改一下,maven的仓库,不配做的话,是用的idea默认的 然后添加对应的依赖可以看到,hadoop-client主要是 我们把依赖添加进来. 然后,配置一下log4j,到时候可以打印日志方便查看. 我们把log4j的配置内容,复制过来. 然后我们再去,创建一个包 而已看到这里用的是...

添柴程序猿的专栏 556

2024年全国大学生信息安全竞赛安徽省赛网络系统建设与运维赛项-网络构建真题

该网络工程方案主要包含基础配置、有线网络、无线网络、出口网络、运维配置和SDN网络六个部分。基础配置包括设备接口设置、SSH服务开启和SNMP功能配置。有线网络部分重点部署VLAN、MSTP、VRRP和OSPF协议,实现网络冗余和负载均衡。无线网络规划了AP点位、信号覆盖和用户接入策略,包括SSID配置、频段优化和安全认证。出口网络配置了NAT转换、VPN隧道和流量审计功能。运维方面搭建了监控平台实时监测设备状态。SDN网络部分通过控制器实现流量管控。整个方案实现了多业务隔离、高可用性网络架构和

weixin_42221934的博客 1174

别再只盯着DDR5了!聊聊3D DRAM:它凭什么能解决AI算力的内存墙难题?

本文深入探讨了3D DRAM技术如何突破AI算力的内存墙限制。通过立体堆叠架构,3D DRAM在存储密度、带宽和延迟方面实现显著提升,有效解决AI训练和推理中的内存瓶颈问题。文章还分析了三星、SK海力士等巨头的技术路线图,并指出商业化面临的挑战与机遇。

weixin_42685438的博客 189

STM32H743 ADC多通道采样实战:CubeMX配置+DMA传输避坑指南

本文详细介绍了STM32H743 ADC多通道采样的实战配置,包括CubeMX参数设置、DMA传输优化及常见问题解决方案。重点解析了ADC模块的核心特性、多通道采样序列配置、Cache一致性处理等关键技术,帮助开发者高效实现稳定可靠的模拟信号采集系统。

weixin_29175469的博客 612

TBtools的序列提取步骤

本教程详细介绍了如何使用TBtools软件从原来的FASTA序列中提取特定的DNA序列。

weixin_47509995的博客 1万+

用Simulink复现Hopf振荡器:从数学公式到稳定极限环的保姆级仿真教程

本文详细介绍了如何在Simulink中实现Hopf振荡器,从数学原理到仿真建模的全过程。通过参数调试和波形分析,帮助读者掌握Hopf振荡器的核心特性及其在机器人控制等领域的应用。特别强调了自适应调节技巧,提升系统稳定性和鲁棒性。

weixin_29261711的博客 446

Vc出现不能连接到一个或多个 vCenter server 系统:http://vcenter-vx.utibet.edu.cn:443/sdk

问题描述: 解决办法: esxi6.7的bug 第一种通过升级系统来解决问题 第二种是通过删除数据来解决 第一步:进入到esxi的shell 第二步查看其中的服务开启状态 第二步 df -h 第三步 /opt/vmware/vpostgres/current/bin/psql -d VCDB -U postgres 第四步 SELECT nspname || '.' || relname AS "relation", pg_size_pretty(pg_total_relation_size(C.oi

m0_49328536的博客 9901

偏最小二乘结构方程(PLS-SEM)_TomatoSCI分析日记

①模型整体拟合指标(Goodness-of-Fit, GOF),这个可以看做整体的R方了,上限是1;②指标载荷的具体值;然而,当数据中包含潜变量(即由多个观测指标组合而成的综合概念)时,贝叶斯结构方程不太适用。指标过少(1-2 个)会削弱潜变量的解释力,而指标过多可能增加噪声,影响模型稳定性。如果指标较多,可考虑进一步划分潜变量,但应确保每个指标有意义。掌握这两类方法后,在处理多变量、因果或路径分析研究时,可以根据数据特点与研究需求灵活选择。对于一般的多变量研究,这两类结构方程均为常用且有效的分析方案。

qq_44684643的博客 2011

【嵌入式 – GD32开发实战指南(ARM版本)】第1部分 基础篇 - 第1章 开发环境搭建

开发环境: MDK:Keil 5.30 MCU:GD32F207IK 1.1 GD32F207I-EVAL开发板简介 笔者使用的开发板是兆易创新设计的GD32F207I-EVAL开发板。 GD32F207I-EVAL开发板使用 GD32F207IK作为主控制器,主频120MHz、集成3MB Flash、256KB SRAM、通用定时器*10、Adv. TM*2、Basic TM*2、系统时钟*1、看门狗*2、RTC*1、USART*4、UART*4、I2C*3、SPI*3、I2S*1、SDIO*1、CAN

不问归期的博客 9991

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

上一篇: 使用jps命令报错:-bash: jps: 未找到命令
下一篇: JAVA 解决:获取泛型的类型,即T.class
宫懋鸡丁
博客等级 码龄8年 3粉丝 10原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值