- 博客(23)
- 收藏
- 关注
RSS订阅原创 关于windows 安装java环境失效解决
首先第一行显示的就是：C:\ProgramData\Oracle\Java\javapath，这个路径是使用安装版本的java时安装程序创建的，它排在第一位，优先于环境变量起作用，所以改变环境变量还是不能生效。首先第一行显示的就是：C:\ProgramData\Oracle\Java\javapath，这个路径是使用安装版本的java时安装程序创建的，它排在第一位，优先于环境变量起作用，所以改变环境变量还是不能生效。我重新配置了java的环境 java -verison不显示。之后重新配置环境变量。
2024-05-17 10:04:44
614
原创 学习笔记 集群安装
---------Scp ~/eclipse-workspace/SparkWordcount/target/Sparkwordcount-1.0-SNAPsHoT.jar root@xxx.xx: /root2.输入密码 运行并登录sshroot@xxx.xxx.xxx.xxx 输入密码。Window->Preferences->Java->|nstalledJREs->Add->standard VM->Next->配置->Finish->勾选新增 jdk->Apply3.//请在此处编写代码。
2024-03-12 22:40:16
876
原创 面试八股文这件事情？ 2
第二个就是即便你有经验呢，然后问一些八股文呢，其实也从侧面反映出你对这些你使用过的技术，它在理论层面你就没有花心思去做一些理解。看一个人面试的时候，八股文问的多少，就看你的经验的深浅，经验越多，肯定问的就越少，甚至不问，怎么看待八股文的 实际上工作八股文用不到 但是经验方面 比如您肯定遇到过各种难以解决的问题 架构之类的。八股文很多时候是，比如你经验比较浅，没有什么好问的，你说你没有项目经验对吧？即使我spark的调参 都是自己写的 我也没记住！但是你实际经验越浅，那没有别人问的，那就只能问八股文。
2023-12-19 00:53:50
478
原创 脱离工作环境 我们能学习吗？
但是本身 我是缺乏java的历练的 不能和专业的java相比较 无论是八股文 还是运用和思考的程度。而且本身学习是依靠自觉性的 工作通常是被动的 本身就是缺乏一个动力的问题。也缺乏运用的过程 所以虽然知识度达到了 但是掌握和理解的能力是不够的。就像学java 大数据的场景和学习 本身就要付出更多的学习代价来成长。而且生产存在的各种问题 比如网络 资源等等的使用 复杂的udf函数。我觉得不太行 学习往往局限于学习的场景 没有自己的思考和理解。而学习往往是单一的 没有解决和面对问题的场景 这是很重要的)
2023-12-17 18:58:29
437
1
原创 面试八股文这件事情？
而且我的压力 不比任何一个人差 也就是说我的工作难度还是蛮高的[1]而且我也敢说 面试官也用不到这些 那我确实不记得了 我又不是天天看。我一个人完成了公司整个大数据的构建 先不说合不合理这些观点的问题。一方面是大数据面试官自身的局限 没有办法衡量我全面的知识。我不差 甚至在长达半年的时间里 我都是在加班中度过的。所以面试的时候 我是比较“痛恨”八股文的 大数据方面。就网上的那些知识 散落的知识点是远远不够的[2]八股文我又没背 我又觉得八股文显示不出来我的能力。
2023-12-13 01:02:19
424
1
原创 java操作数据计算和spark操作数据计算有什么区别吗
这样数据一致并行处理的概念 屏蔽了变量本身(包括语言中更多的概念 反射 流处理等复杂支持) 更倾向于一致性处理 rdd只是一致性数据操作的抽象函数 这是已经写好的。在我看来没什么不同 都是jvm体系的 从代码方向上 都是代码的执行逻辑。也不涉及什么 分布式的机制 封装的机制 都只是java集合的代码处理的话。各个任务处理的逻辑往往是相同的 并行处理嘛 任务发布的都是加法。如果每个数据都有自己的逻辑 并行一致性的处理就失去了作用。但是计算逻辑本质上走的都是一样的代码 一样的编译器。
2023-12-09 23:15:59
511
原创 创业和技术之间的关系(小白)
技术并不是强关系需求 这句话的意思是 技术好不一定你就比人家强。而诺基亚三星这样的电子大厂 也没有在智能手机时代占据一定的优势。很大一部分来着公司自身的战略 和风口的交织 团队的能力有关。其实相信 拥有技术的 有能力的 远远比创业成功的人多。微软这么强的芯片制造技术 也没有拿到手机芯片的风口。就像雷军所说 有能力 聪明的人 努力的人多了去了。但是更重要的 如同知乎里说的 有一个idea。机会很重要 新东方的成功是有留学热潮的背景。什么都没有肯定是不行的 有技术当然是好的。
2023-12-09 22:24:52
416
原创 如果 java 大数据 运维都会怎么办(普通开发)？
公司招一个大数据 一个运维 一个java 比招一个会大数据+java+运维的能力代价低得多。工作上 只是面对应专业的能力而已 面试官也是希望用过往的工作职位来评定你的能力。所以面试的时候 面试官问你 你之前是主要是开发 还是运维 你说我都干过？你的价值和运维的价值是相同 都可以把工作拿下来 因为公司就缺运维。所以通常 对于一个成体系的状态 往往是根据所作的内容区分方向的。就像问你之前主要是前端还是后端 你说都是 都干 都我干。而通常衡量一个人的能力的方式 就是过往的工作经验。
2023-12-07 00:09:23
503
原创 为什么要面向简历编程(工作)
日常的东西可能操作并不是那么多 面试官也不能一眼看出来。尤其是冲面试的时候 形成自己第一套坚固的简历和面试说辞。所以面向简历编程 更是可以找到一个好的工作的衡量标杆。当然维度跃升很强除外(你真的做了很有用的东西)而且没有八股文一类的东西 难以体现出自己的能力。往往我们只是当时记得 只做过一次的事情就都忘了。工作是用不到的 那么本身就会有遗忘的可能性。所以 尤其在这个时候 体现记忆的重要性。简历尽可能的第一眼体现了 自己的优势。那么就最好 形成自己的笔记本。自身偏向于工作记忆为准。毕竟不是天天记这些东西。
2023-12-06 12:39:35
484
1
原创 大数据开发 学java的加成有多大？
运维也不太care java开发的能力(做的东西就不一样)(虽然也可以说 大数据当中有java源码)对一个招后端的来说 公司希望这个人java可以搞得定 完成的了工作 会一些前端很好了。总体来说： 大数据会java是有加成的 但是面试还是以大数据的技术栈 经验和项目为主。你只要能完成 java任务上完成的 或者大数据任务上的 你就是合格的员工。其实这个标题本身就是有问题的(加成的概念) 首先多学一些东西 总是好的。也不能强调运维的经验是不 （即使你 运维也可以拿下 前端 什么什么的）
2023-12-03 23:36:38
393
1
原创 面试八股文 大数据难还是java难 ？
数仓的构建，而且大数据的框架，其实相当于工具，我们只是使用工具。框架也不如大数据那么多 (像大数据工具很多 代码就一套体系是比较友好的)或者刚刚接触的宝子们 的一些看法 如果比教深入的话 那就有的说了。因为本身代码化 代码不能速通 面试更倾向于问题场景的代码和。简历上的描述 也是大数据组件和数据处理流程 框架的要点。java虽然本身也是 通用的框架体系 代码实现层面。大数据的简历内容 八股文 对比java是有不同的。本身数仓作为一个工具 其实是缺少变化和应对场景的。简历上 更多的体现是模块和业务的实现。
2023-12-03 22:57:26
563
1
原创 spark 读取lzo 环境依赖
bug:由于lzo压缩本身不属于hadoop体系自带压缩方式以及spark自带的解析方式，所以往往需要额外配置，idea 本地环境想要读取lzo文件，就要使本地环境支持lzo依赖出于开发的便利，需要idea中读取到lzo压缩的数据
2022-09-26 12:29:58
1077
原创 hive中 collect 行转列 用limit遇到的问题
可以看到hive 中 limit后 使用collect_list 列出的内容 并非是 limit 限制的内容
2022-02-18 10:26:44
984
原创 flume 概念及要点
1、Flume概述 1、flume是什么? flume是海量日志收集、聚合、传输系统 2、flume基础架构 Agent: JVM进程,启动flume采集数据的时候启动的就是agent进程 Source: 定义从哪里采集数据 Channel: Source和sink之间的缓冲区，解耦 Memory channel: 数据保存在内存 ...
2021-08-29 21:52:59
456
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人