bigdata

1.常用linux命令top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况ps-ef |grep redis查看进程状态 ps aux|grep redisdf -h查看磁盘的使用情况find / -name a.txt查找a.txt文件位置netstat显示网络状态tar -zxvf a.gzip解压文件2.脚本模板启停脚本#!/bin/bashcase $1 inecho "启动集群""start")ssh hadoop10..

export HADOOP_COMMON_LIB_NATIVE_DIR=/opt/ha/hadoop-3.1.3/lib/nativeexport HADOOP_OPTS="-Djava.library.path=/opt/ha/hadoop-3.1.3/lib"running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.export HADOOP_CONF_.

作者：huashiou链接：https://segmentfault.com/a/11900000186261631、概述本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。2、基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍。1）什么是分布式？系统中的多个模块在不同服务器上部署，即可称为分.

参考文章：Flink学习路线 - 知乎

maven 项目查看jar源码

0）停止Standalone模式下的spark集群[atguigu@hadoop102 spark-standalone]$ sbin/stop-all.sh[atguigu@hadoop102 spark-standalone]$ zk.sh stop[atguigu@hadoop103spark-standalone]$ sbin/stop-master.sh1）为了防止和Standalone模式冲突，再单独解压一份spark[atguigu@hadoop102 software].

增加yarn-site.xml <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

字节跳动大数据开发面试题-附答案_yuan_more的博客-优快云博客_字节跳动大数据面试题

IntelliJ IDEA 2021.3 为开发者打造最高效智能的开发工具DataGrip 2021.2.2非常实用专业的数据库管理编程软件Navicat 15 for MySQL针对MySQL数据库而开发的第三方mysql管理工具Xshell7是一款最好用的Linux远程连接工具Xftp7是一种灵活且轻量级的SFFT/FTP客户端Sublime Text 3一款跨平台代码编辑器DBeaver是知名的通用数据库管理客户端VMware Workstation Pro是一个“虚...

Linux选择Centenos7Download Linux | Linux.orgJdk选择 jdk1.8Java Downloads | OracleHadoop选择Hadoop3.1.3Apache Hadoopzookeeper选择apache-zookeeper-3.5.7-bin.tar.gzApache ZooKeeperHive选择apache-hive-3.1.2-bin.tar.gzDownloadsFlume选择apache-flume-1...