<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[小菜鸟 望大神多多指教]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/demon_LL</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; demon_LL]]></copyright><item><title><![CDATA[深入理解Kafka Offset：消息消费的“进度条”核心解析]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/156364345</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/156364345</guid><author>demon_LL</author><pubDate>Mon, 29 Dec 2025 19:30:00 +0800</pubDate><description><![CDATA[Kafka中的Offset是消息消费进度的关键标识，具有三个核心特性：单调递增、分区独立和不可修改。它支持断点续传、消费回溯和进度监控，通过存储在Broker端的__consumer_offsets主题确保可靠性。Offset提交方式分为自动提交（简单但不可靠）和手动提交（同步更稳定，异步效率高）。当找不到历史Offset时，可通过latest、earliest或none策略重置。常见问题包括重复消费、消息丢失和消费滞后，可通过优化提交方式、处理失败消息和调整消费者数量解决。掌握Offset的存储机制、提交]]></description><category></category></item><item><title><![CDATA[面经：大数据岗位 三面四面 - 面试题（自我解析）PMP HR]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/156276114</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/156276114</guid><author>demon_LL</author><pubDate>Fri, 26 Dec 2025 11:00:00 +0800</pubDate><description><![CDATA[本文分享了大数据岗位三面、四面的面试经历与经验总结。三面项目经理重点考察技术支持能力，求职者通过具体案例展示问题处理流程和沟通技巧；四面HR涉及个人隐私、家庭情况等敏感问题。作者建议面试时保持理智，根据面试官角色调整回答重点，强调实战经验的重要性。最后鼓励全职宝妈勇敢重返职场，认为职场是双向选择，不应因身份标签而自我否定。文章既提供了实用的面试技巧，也传递了积极的人生态度。]]></description><category></category></item><item><title><![CDATA[面经：大数据岗位 二面-面试题（90分钟）-超长版拿下offer的关键]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/156235166</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/156235166</guid><author>demon_LL</author><pubDate>Thu, 25 Dec 2025 19:30:00 +0800</pubDate><description><![CDATA[本文分享了大数据岗位二面面试经验，重点介绍了技术问题的应对策略。面试围绕大数据技术栈展开，涉及JAVA基础、Scala、Shell、Hadoop、Kafka和Spark等技术点。最后提醒面试者保持良好心态，通过反问环节了解岗位详情。整体呈现了一个完整的大数据技术面试过程，为求职者提供了实用参考。]]></description><category></category></item><item><title><![CDATA[面经：大数据开发岗-初面 面试题（40分钟）]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/156225567</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/156225567</guid><author>demon_LL</author><pubDate>Wed, 24 Dec 2025 19:45:00 +0800</pubDate><description><![CDATA[本文分享了一位大数据开发岗求职者的面试经验。面试重点考察了项目经验java、Hadoop组件等技术点。作者建议：1）自我介绍突出项目经验和个人优势；2）针对JD重点准备相关技术；3）回答问题时注意场景化分析；4）反问环节把握机会了解岗位详情。面试过程强调技术基础与实战经验并重，展现问题解决能力和技术深度。]]></description><category></category></item><item><title><![CDATA[linux “＜“ 会引发血案]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/127096427</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/127096427</guid><author>demon_LL</author><pubDate>Wed, 28 Sep 2022 20:33:05 +0800</pubDate><description><![CDATA[关于Linux命令 ]]></description><category></category></item><item><title><![CDATA[本地上传文件到hdfs]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/120184443</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/120184443</guid><author>demon_LL</author><pubDate>Wed, 08 Sep 2021 17:14:06 +0800</pubDate><description><![CDATA[本地上传文件到hdfs

使用javaApi上传文件



本地上传文件到hdfs
使用javaApi上传文件

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class PutHdfsFile {
    public static void main(String[] args) throws E]]></description><category></category></item><item><title><![CDATA[Linux 实现远程ssh服务节点操作]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/120056269</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/120056269</guid><author>demon_LL</author><pubDate>Thu, 02 Sep 2021 10:51:24 +0800</pubDate><description><![CDATA[背景：当我们拥有集群时，需要操作每台服务节点，用到shell脚本自动化去执行某些命令是程序员的第一选择。简单、快捷、方便。



shell脚本实现，实现去每一台节点去安装python服务依赖的jar包。


 cat scp_servicelib.sh
#!/bin/bash


nodes=$(cat ./other_nodes)
        for node in $nodes
        do
                echo $node ":"
                ss]]></description><category></category></item><item><title><![CDATA[HIVE2-hiveserver2 ConnectException 问题解决]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/109743537</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/109743537</guid><author>demon_LL</author><pubDate>Tue, 17 Nov 2020 15:53:46 +0800</pubDate><description><![CDATA[背景：使用hive2本地生成excel文件，提供给项目经理；读取hive中的数据，生成excel文件该小程序一直在使用，但是由于服务器迁移，要更换链接serviceIp，以至于该问题的出现；


异常Exception

Caused by: org.apache.thrift.transport.TTransportException: java.net.ConnectException: Connection refused: connect
	at org.apache.thrift.transpo.]]></description><category></category></item><item><title><![CDATA[spark-hdfs问题解析]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/99976262</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/99976262</guid><author>demon_LL</author><pubDate>Wed, 21 Aug 2019 17:09:34 +0800</pubDate><description><![CDATA[Spark程序读取hdfs中数据
	
java.io.IOException: Premature EOF reading from ]]></description><category></category></item><item><title><![CDATA[linux 脚本 获取以某字符结尾的文件名]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/86238044</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/86238044</guid><author>demon_LL</author><pubDate>Thu, 10 Jan 2019 16:10:50 +0800</pubDate><description><![CDATA[以系统当前时间为文件名

获取当前文件夹下以“csv”结尾的文件名

如果相同，则继续

如不同，则将文件夹下的文件mv为系统命名的文件名


#!/bin/bash
//获取系统前一小时的时间
currentime=`date -d -1hour +%Y%m%d_%H`
echo $currentime
filename=${currentime}&quot;.csv&quot;
echo $filename
//...]]></description><category></category></item><item><title><![CDATA[【scala】获取当前时间的上一个自然周以及自然周集合；获取当前时间的上一个自然月以及自然月的第一天与最后一天]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/85120878</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/85120878</guid><author>demon_LL</author><pubDate>Thu, 20 Dec 2018 14:18:11 +0800</pubDate><description><![CDATA[ 获取当前时间的上一个自然周的开始时间：


import java.text.SimpleDateFormat
import java.util.{Calendar, Date}
   
def getLastWeek():String={
      var list=List((&quot;&quot;,&quot;&quot;,&quot;&quot;))
      list = list.init
      var num = 7
     ...]]></description><category></category></item><item><title><![CDATA[java过滤非汉字的utf8的字符]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/84762786</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/84762786</guid><author>demon_LL</author><pubDate>Mon, 03 Dec 2018 14:18:55 +0800</pubDate><description><![CDATA[java过滤非汉字的utf8的字符
java将字符串转换为二进制]]></description><category></category></item><item><title><![CDATA[combineByKey之Spark中一个比较核心高级函数]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/84336052</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/84336052</guid><author>demon_LL</author><pubDate>Thu, 22 Nov 2018 11:17:47 +0800</pubDate><description><![CDATA[
import org.apache.spark.{HashPartitioner, Partitioner, SparkConf, SparkContext}


/**
  * Created by Administrator on 2018/7/3.
  */
object test {


   def main(args: Array[String]): Unit = {
      v...]]></description><category></category></item><item><title><![CDATA[SparkSql将数据源Hive中数据导入MySql实例]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/83892576</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/83892576</guid><author>demon_LL</author><pubDate>Fri, 09 Nov 2018 09:55:41 +0800</pubDate><description><![CDATA[背景：能看到这篇博客的伙计儿，应该是充分理解了[理想是丰满的 现实是骨感]  这句名言了吧。为啥子这么说呢，那就是 不就是个SparkSql从hive导入到mysql吗 有什么技术含量，但是呢 不断地踩坑ing填坑ing。
]]></description><category></category></item><item><title><![CDATA[java.lang.NoSuchMethodError: org.apache.thrift.protocol.TProtocol.getScheme()Ljava/lang/Class;]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/83502836</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/83502836</guid><author>demon_LL</author><pubDate>Mon, 29 Oct 2018 11:11:21 +0800</pubDate><description><![CDATA[背景：

  java程序读取hive数据

异常： 

 应该是包冲突


Exception in thread &quot;main&quot; java.lang.NoSuchMethodError: org.apache.thrift.protocol.TProtocol.getScheme()Ljava/lang/Class;
	at org.apache.hive.service.cli.thrift....]]></description><category></category></item><item><title><![CDATA[Linux 定时脚本crontab 中文乱码 编码格式转换]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/79160892</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/79160892</guid><author>demon_LL</author><pubDate>Thu, 25 Jan 2018 13:44:52 +0800</pubDate><description><![CDATA[在linux下，利用定时脚本跑一个xx.jar，把结果输出到文件中。结果里面有中文，输出到文件后，显示为乱码。测试的时候发现，手动运行jar输出正常；用shell脚本运行输出正常；当使用定时脚本去跑的时候，输出就是乱码了。




原因：因为Unix/Linux下使用crontab时的运行环境已经不是用户环境了，因此原本用户下的一些环境变量的设置就失效了。

解决方法：只需要在脚本最]]></description><category></category></item><item><title><![CDATA[【java】获取当前时间currentTimeMillis（）]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/78731711</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/78731711</guid><author>demon_LL</author><pubDate>Wed, 06 Dec 2017 16:06:57 +0800</pubDate><description><![CDATA[现在小编要分享的是，获取当前时间，并且时间格式为yyyy-MM-dd HH:mm:ss。]]></description><category></category></item><item><title><![CDATA[【java】org.xml.sax.SAXParseException;在实体引用中, 实体名称必须紧跟在 '&' 后面。解决方法]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/78542356</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/78542356</guid><author>demon_LL</author><pubDate>Wed, 15 Nov 2017 16:45:27 +0800</pubDate><description><![CDATA[【java】org.xml.sax.SAXParseException;在实体引用中, 实体名称必须紧跟在 '&' 后面。解决方法]]></description><category></category></item><item><title><![CDATA[scala正则表达式获取url的host]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/78364143</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/78364143</guid><author>demon_LL</author><pubDate>Fri, 27 Oct 2017 13:54:54 +0800</pubDate><description><![CDATA[小编今天要分享的是，通过正则表达式获取url中的host， 
在实际开发中这是很常用的，大家收好了。 
代码：import java.util.regex.Pattern/**
 * Created by Administrator on 2017/9/26.
 */
object UrlGeyHostTest {
  def main(args: Array[String]): Unit = {]]></description><category></category></item><item><title><![CDATA[Jave将数据导出成ecxel表格]]></title><link>https://blog.youkuaiyun.com/demon_LL/article/details/78354585</link><guid>https://blog.youkuaiyun.com/demon_LL/article/details/78354585</guid><author>demon_LL</author><pubDate>Thu, 26 Oct 2017 15:38:31 +0800</pubDate><description><![CDATA[java-将数据导入到excel表格中]]></description><category></category></item></channel></rss>