
大数据学习
文章平均质量分 87
荩辞
这个作者很懒,什么都没留下…
展开
-
大数据高频面试题——linux&shell-详解
1.1 Linux&Shell 1.1.1 Linux常用高级命令 序号 命令 命令解释 1 top 查看内存 2 df -h 查看磁盘存储情况 3 iotop 查看磁盘IO读写(yum install iotop安装) 4 iotop -o 直接查看比较高的磁盘读写程序 5 netstat -tunlp | grep 端口号 查看端口占用情况 6 uptime 查看报告系统运行时长及平均负载 7 ps -aux 查看进程 1.1.2 Shell常用工具及写过的脚本 1)awk、sed、cut、so原创 2021-02-20 16:31:30 · 263 阅读 · 0 评论 -
2-19号学习笔记
Spark 和 scala 相关 数仓项目 和 采集项目有关 大数据 3件事 采集 存储 计算和分析 采存算 hadoop 历史 1和 2区别 面试 hadoop2 支持高可用 常驻进程 container 是 yarn-child AM在yarnchild !为什么spark有standalong 面试 9:17 Spark历史 面试 container 容器机制 可用使得 其他程序也能使用 通过调用的方式 api mapreduce阶段 有3次落盘过程中 迭代计算 还有落盘过程 中间状原创 2021-02-19 19:59:58 · 97 阅读 · 0 评论