- 博客(7)
- 收藏
- 关注
原创 Redis实战篇【黑马点评项目】
这一块我们会使用redis共享session来实现通过本章节,我们会理解缓存击穿,缓存穿透,缓存雪崩等问题,让小伙伴的对于这些概念的理解不仅仅是停留在概念上,更是能在代码中看到对应的内容通过本章节,我们可以学会Redis的计数器功能, 结合Lua完成高性能的redis操作,同时学会Redis分布式锁的原理,包括Redis的三种消息队列我们利用Redis的GEOHash来完成对于地理坐标的操作主要是使用Redis来完成统计功能使用Redis的BitMap数据统计功能基于Set集合的关注、取消关注,共同关注等等
2025-05-08 16:51:39
910
原创 学习hadoop-streaming组件,并使用它运行一个mapreduce任务
mapper和reducer会从标准输入中读取用户数据,一行一行处理后发送给标准输出。Streaming工具会创建MapReduce作业,发送给各个task tracker,同时监控整个作业的执行过程。这个工具通过标准输入和标准输出与Hadoop的MapReduce框架进行交互,使得非Java程序员也能方便地利用Hadoop进行大规模数据处理。一共2个reduce,map和reduce都是用,进行分隔,reduce用前四列进行排序,用前两列进行分区,分成了1,3和1,2两个区在两个reduce里。
2025-02-28 17:21:20
453
原创 学习hdfs权限类型和规则,并在sit环境完成相应的授权操作
必须包含用户、组和其他条目以与权限位兼容。规范仅包含访问条目,则保留现有的默认条目。规范仅包含默认条目,则保留现有的访问条目。规范同时包含访问和默认条目,则两者都会被替换。:递归地对所有文件和目录应用操作。条目之外的所有条目。条目是为了与权限位兼容。,而现有条目会保留。,丢弃所有现有条目。:要修改的文件或目录。添加新的权限来使用此。
2025-02-26 15:50:59
708
原创 完成hdfs操作相关的命令学习,并用程序来向hdfs中写入数据(语言不限,可以是shell, java,python)
【代码】完成hdfs操作相关的命令学习,并用程序来向hdfs中写入数据(语言不限,可以是shell, java,python)
2025-02-26 15:07:28
165
原创 理解hadoop的核心组件,描述每个组件的作用,并在sit环境查看各组件的部署位置
【代码】理解hadoop的核心组件,描述每个组件的作用,并在sit环境查看各组件的部署位置。
2025-02-25 09:26:17
653
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人