小菜鸟 望大神多多指教

本文分享了大数据岗位三面、四面的面试经历与经验总结。三面项目经理重点考察技术支持能力，求职者通过具体案例展示问题处理流程和沟通技巧；四面HR涉及个人隐私、家庭情况等敏感问题。作者建议面试时保持理智，根据面试官角色调整回答重点，强调实战经验的重要性。最后鼓励全职宝妈勇敢重返职场，认为职场是双向选择，不应因身份标签而自我否定。文章既提供了实用的面试技巧，也传递了积极的人生态度。

本文分享了大数据岗位二面面试经验，重点介绍了技术问题的应对策略。面试围绕大数据技术栈展开，涉及JAVA基础、Scala、Shell、Hadoop、Kafka和Spark等技术点。最后提醒面试者保持良好心态，通过反问环节了解岗位详情。整体呈现了一个完整的大数据技术面试过程，为求职者提供了实用参考。

本地上传文件到hdfs使用javaApi上传文件本地上传文件到hdfs使用javaApi上传文件import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class PutHdfsFile { public static void main(String[] args) throws E

Spark程序读取hdfs中数据 java.io.IOException: Premature EOF reading from

import org.apache.spark.{HashPartitioner, Partitioner, SparkConf, SparkContext}/** * Created by Administrator on 2018/7/3. */object test { def main(args: Array[String]): Unit = { v...

背景：能看到这篇博客的伙计儿，应该是充分理解了[理想是丰满的 现实是骨感]  这句名言了吧。为啥子这么说呢，那就是 不就是个SparkSql从hive导入到mysql吗 有什么技术含量，但是呢 不断地踩坑ing填坑ing。

spark-submit，日常错误整理。随时更新

spark-yarn模式 –master yarn-cluster （只需在spark-submit执行时，添加参数）速度慢： 提升cores数（提升并行执行的task）；使用spark-rdd，textFile基于本地系统，linux系统，路径格式简介： //hdfs单个文件夹 val onePath = "hdfs://100.38.101.2:9000//log/month=01

当你需要将项目打成jar在服务器上运行时， 当你需要动态的更改输入url时， 难道你还要每一次都去打包吗？ 不，如今你不需要这样做了，使用java时，你有Scanner可以控制台输入参数， 同样的在scala中，你也是可以的。 下面来跟我一起去看一下吧！首先第一步：object StrTest { def main(args: Array[String]): Unit = {

hiveserver2hive on tez 1，创建maven项目，就hive-site.xml，core-size.xml,hdfs-site.xml放到项目resources下面2.spark-hive连接：package com.people.item/** * Created by Administrator on 2017/8/2