qq_42248663的博客

1.启动和停止完整集群的步骤#启动完整集群的步骤#第一步：启动zookeeper./ssh_all_zookeeper.sh /usr/local/zookeeper/bin/zkServer.sh start#第二步：在nn1上启动所有start-all.sh#第三步：在nn1上启动yarn日志代理服务yarn-daemon.sh start proxyserver#第四步：在n...

北京尚学堂旗下优效学院《Tomcat性能优化与集群session共享》公开课文档版本 视频版本wx:Nancy007001  备注：优快云   免费获取tomcat 运行模式优化Tomcat Connector(Tomcat 连接器) 有 bio、nio、apr 三种运行模式BIO模式bio(blocking I/O)，顾名思义，即阻塞式 I/O 操作，表示 Tomcat...

1、tcp和udp的区别 TCP：是面向连接的流传输控制协议，具有高可靠性，确保传输数据的正确性，有验证重发机制，因此不会出现丢失或乱序。UDP：是无连接的数据报服务，不对数据报进行检查与修改，无须等待对方的应答，会出现分组丢失、重复、乱序，但具有较好的实时性，UDP段结构比TCP的段结构简单，因此网络开销也小。2、tcp连接建立的时候3次握手，断开连接的4次握手的具体过程1.建立...

通过真实企业项目，JAVA高并发、Hadoop、Hive、Scala、Spark、Python、机器学习等大数据技能，实现年薪翻番。4大核心项目让你快速掌握架构体系以及处理架构方案。 第一部分 Linux 基础1. Linux 的介绍，Linux 的安装：VMware Workstation 虚拟软件安装过程、CentOS 虚拟机安装过程2. 了解机架服务器，采用真实机架服务器...

HDFS集群有两类节点，并以管理者-工作者模式运行，即一个NameNode(管理者)和多个DataNode(工作者)。一、NameNode（NN）——基于内存存储 ：不会和磁盘发生交换·只存在内存中·持久化——NameNode主要功能·接受客户端的读写服务·收集DataNode汇报的Block列表信息——NameNode保存metadata信息包括·文件ow...

一、什么是PageRank？—— PageRank是Google提出的算法，用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。—— 是Google创始人拉里·佩奇和谢尔盖·布林于1997年创造的—— PageRank实现了将链接价值概念作为排名因素。二、计算环境—— Hadoop-2.5.2—— 四台主机—— 两台NN的HA—— 两台RM的HA—— ...

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目...

一、HDFS架构 二、HDFS设计思想  三、HDFS写流程 ---Client：·切分文件Block·按Block线性和NN获取DN列表（副本数）·验证DN列表后以更小的单位流式传输数据---各节点，两两通信确定可用·Block传输结束后：---DN向NN汇报Block信息---DN向Client汇报完成---Clien...

一、Hadoop创始人介绍Hadoop作者Doug cutting，就职Yahoo期间开发了Hadoop项目，目前在Cloudera 公司从事架构工作。二、Hadoop简介Hadoop名字来源于Doug Cutting儿子的玩具大象。2003-2004年，Google公开了部分GFS和Mapreduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了...

首先，跟大家简单说一下什么是大数据，没有百度的复杂，就是我自己总结的，有什么不对的地方，请大家指教！1、何为大数据？大数据就是短时间内，快速产生大量的多种多样的有价值的数据。2、Spark是什么？Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬...

一、NettyNetty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。也就是说，Netty 是一个基于NIO的客户、服务器端编程框架，使用Netty 可以确保你快速和简单的开发出一个网络应用，例如实现了某种协议的客户、服务端应用。Netty相当于简化和流线化了网络应用的编程开发过程，例...

一、Spring Boot 介绍Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。二、Spring B...

程序员是个很光彩的职业，很多人都觉得程序员聪明、智商高，整天做在电脑面前敲着各种密密麻麻的代码。当然也有人会自嘲，说自己是码农、程序猿，貌似猿一般。很多的职业特性加起来，让许多外行人对程序员形成了一种普遍内秀的刻板印象，难道程序员真的都不善言谈，只擅长和计算机打交道，甚至木讷吗？实际上，这种对程序员性格的认知是有失偏颇的，在小尚和众多程序员的接触中，程序员的性格并不像外界想象的那般，很大程度上是由...

情景引入很早之前，Java就火起来了，是因为它善于开发和处理网络方面的应用。Java有一个爱好，就是喜欢制定规范标准，但自己又不善于去实现。反倒是一些服务提供商使用它的规范标准来制造应用服务器而赚的盆满钵满。企业用户因要使用这些应用服务器而向提供商支付高额费用，而且也不是特别好用。一个青年才俊为了打破这种局面而奔走呼号、奋发图强。自我介绍显然，这个青年才俊就是后来的Sp...