- 博客(8)
- 收藏
- 关注
RSS订阅原创 通俗易懂的认识 —— ’云‘ 技术
现在有电厂统一供电（云计算），按需使用，手机/电脑连上网就能用电！掌握三个核心模型（IaaS/PaaS/SaaS）和部署模式，就能理解90%的云场景。：1头大象（大任务）让100只蚂蚁（服务器）一起搬，速度快且不怕个别蚂蚁累倒。看视频：B站搜索“云计算通俗讲解”（推荐《10分钟看懂云计算》）。免费资源：用阿里云/腾讯云免费试用版，创建一台云服务器（ECS）。开发方向：掌握云数据库、Serverless（无服务器架构）。：处理海量数据、高并发访问（比如双11抢购）。：直接可用的软件（邮箱、网盘、OA系统）。
2025-02-08 10:56:57
818
原创 Shell 脚本学习小纲 ~
想说能点进来的朋友肯定是想学习和练习shell脚本。但学习一个东西，最好是系统性从基础去学，否则会导致地基打不稳，后边遇到问题也会花费大量时间找补。接下来我根据个人经验以及统合网上的现成的资源在这里为大家梳理一下shell脚本学习的路径与新手容易犯的错误。不管是想做自动化任务，或者准备面试，希望都能对你们有用。一、Shell 脚本学习路径。
2025-02-05 17:57:48
720
原创 云在天边水在瓶
在《大明王朝1566》中，这一短语被用来象征掌权者（云）高高在上、不可触碰，而普通人（水）则处于被控制的状态。2、心理调适的方法，面对压力和困境时，保持一种平和的心态，像水一样适应环境的变化，而不是被外界的束缚所困扰。如云在青天中潇洒自如，水在瓶中安逸自在，人也应顺应环境，保持内心的平静与自由。万物都遵循自然规律，云和水虽然本质上是一样，但形态各异，强调了顺应自然的重要性。即一切事物的本质是统一的，只是因环境和条件的不同而呈现出不同的形态。无论是云还是水，它们的本质都是相同的——都是水的不同形态。
2025-02-05 14:47:07
341
原创 C3P0开发常用参数
##配置除user,password,minpoolsize,maxpoolsize的参数##[注意] 整数值不能有空格#连接设置driverClassName=com.mysql.jdbc.Driverurl=jdbc:mysql://127.0.0.1:3306/imooc?useUnicode=true&characterEncoding=utf-8username...
2018-08-27 23:49:01
705
原创 记一次Strom任务失败导致的大量重复数据
问题：大量的failed，导致storm大量重复数据。原因：spout的消息队列过大，bolt处理不过来，产生大量堆积。加上每条消息处理完成的最大默认时间是30S，如果30S没有处理完成就会认为失败。ack机制，不停的重复发送。解决：修改两个参数：topology.message.timeout.secs: 30topology.max.spout.pending:null ...
2018-08-26 23:52:50
909
原创 HIVE动态分区
使用分区是为了提高，对数据的查询，分析效率。一，动态分区hive有动态分区和静态分区，选用什么分区要根据是数据来决定。比如： 你有一份业务数据而且每天都有很多增量，那么怎么保证长时间积累下来的大量数据，对此就要用分区来提高查询。这是你的数据中有时间字段，那么你就可以按时间分区，此时开启动态分区载入数据，hive会帮你按照设置好的分区自动划分数据，而不需要你再像静态分区一样手动...
2018-08-12 00:00:57
1157
原创 总结——spark调优之代码调优
参考博客：https://www.cnblogs.com/LHWorldBlog/p/8490357.html总结spark代码调优的几个方面一、代码调优1，避免创建重复的RDD val rdd1 = sc.textFile(path1) val rdd2 = sc.textFile(path1) 虽然在执行效率上没区别，但是代码混乱2、对于可以在多个job上复用的RDD要使用持...
2018-04-11 11:29:46
424
原创 Spark浅析之stage，宽窄依赖和shuffle的关系
新手上路，如有不对的地方，请多多指导 前言 stage作为是Spark应用程序的调度任务划分模块，对它的理解有助你提高编写Spark代码的编写，说到底想要玩好Spark，就要玩好RDD。 宽窄依赖 宽依赖：1.父类RDD的一个分区上的数据对应承接给同一个子类RDD的多个分区——即RDD是1对1，但分区是1对多。 2.父类RDD的一个分区上...
2018-04-01 23:58:45
2294
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人