大数据

大数据的处理

 

1、 我理解的大数据和想到的解决办法

如果数据量比较大的情况下，系统访问速度肯定会很慢，打开一个页面需要1分钟，用户体验会很不好。我在开发中遇到数据量相对较大的时候，一般都会尽量减少程序与数据库的交互次数，如果能一条语句查询出来的就用一条语句，尽量简洁。Jsp页面在取数据的时候循环次数也不要太多，否则会很慢，就像上次育种中有一个页面就是因为循环太多导致太慢，后来进行了优化。我觉得如果能在后台Action中做的操作就尽量不要去在jsp页面中循环，能用sql语句查询出来数据的就尽量不要在后台写循环，如果数据库有10万条数据，后台循环处理10次，前台页面循环5次来取值，那么加起来就是500万条数据，一定会很慢。

 

 

2、 网上找资料的一些解决办法

1、HTML静态化

   纯静态化的html页面效率最高、消耗最小所以一般尽可能使网站上的页面采用静态页面来实现，但是对于大量内容并且频繁更新的网站，一般无法全部手动去挨个实现，于是出现了常见的信息发布系统CMS，信息发布系统可以实现最简单的信息录入自动生成静态页面，还能具备频道管理、权限管理、自动抓取等功能，对于一个大型网站来说，拥有一套高效、可管理的CMS是必不可少的。为了避免了大量的数据库访问请求，一般可以将前台更新频率小的数据信息进行静态化。

         优点：1、效率最高、消耗最小。

               2、使用CMS方便管理。

         缺点：1、占用大量磁盘空间。

              

 

 

2、图片服务器分离

对于Web服务器来说，不管是Apache、IIS还是其他容器，图片是最消耗资源的，于是我们有必要将图片与页面进行分离，这是基本上大型网站都会采用的策略，他们都有独立的图片服务器，甚至很多台图片服务器。

优点：1、这样的架构可以降低提供页面访问请求的服务器系统压力，并且可以保证系统不会因为图片问题而崩溃。

2、在应用服务器和图片服务器上，可以进行不同的配置优化，比如apache在配置ContentType的时候可以尽量少支持，尽可能少的LoadModule，保证更高的系统消耗和执行效率。

缺点：1、是在硬件资源上投入可能会比较大，需要购买多条服务器。

 

 

3、数据库集群和库表散列

大型网站都有复杂的应用，这些应用必须使用数据库，那么在面对大量访问的时候，数据库的瓶颈很快就能显现出来，这时一台数据库将很快无法满足应用，于是我们需要使用数据库集群或者库表散列。

优点：1、是这样就能够低成本的提升系统的性能并且有很好的扩展性。

       2、进行简单的配置便能让系统随时增加一台低成本的数据库进来补充系统性能。

  缺点：1、需要准备多台数据库服务器进行配置，硬件花费较大。

 

 

4、缓存

网站架构和网站开发中的缓存也是非常重要。架构方面的缓存，对Apache比较熟悉的人都能知道Apache提供了自己的缓存模块，也可以使用外加的Squid模块进行缓存，这两种方式均可以有效的提高Apache的访问响应能力。网站程序开发方面的缓存，Linux上提供的Memory Cache是常用的缓存接口，可以在web开发中使用，比如用Java开发的时候就可以调用MemoryCache对一些数据进行缓存和通讯共享，一些大型社区使用了这样的架构。另外，在使用web语言开发的时候，各种语言基本都有自己的缓存模块和方法，PHP有Pear的Cache模块，Java就更多了。

优点：1、在缓存承受的范围内，从数据库读取的数据放到缓存，再次取数据时可以直接从缓存拿，大大提高效率。

      2、hibernate封装了jdbc带来的就是数据访问效率的降低,和性能的下降,而缓存就是弥补这一缺点的重要方法.

缺点：1、缓存就是牺牲内存用来提高系统性能，如果内存太小或者数据量太大会导致内存溢出，系统崩溃。

 

5、镜像

镜像是大型网站常采用的提高性能和数据安全性的方式，镜像的技术可以解决不同网络接入商和地域带来的用户访问速度差异，比如ChinaNet和EduNet之间的差异就促使了很多网站在教育网内搭建镜像站点，数据进行定时更新或者实时更新。

优点：1、分流作用：当一个网站的流量过高，服务器不能承受的时候，那么这时候就能起到给服务器减压分流的作用。

缺点：容易被搜索引擎识别为作弊手法，导致自己的站点受到影响。来回的切换比较麻烦。一旦自己的网站被镜像,www.xiambill.com，网站的品牌形象就会受损。

 

6、负载均衡

负载均衡将是大型网站解决高负荷访问和大量并发请求采用的终极解决办法。一个典型的使用负载均衡的策略就是，在软件或者硬件四层交换的基础上搭建squid集群，这种思路在很多大型网站包括搜索引擎上被采用，这样的架构低成本、高性能还有很强的扩张性，随时往架构里面增减节点都非常容易。

 

优点1、技术实现比较灵活､方便,简单易行,成本低,适用于大多数TCP/IP应用｡不需要网络专家来对之进行设定,或在出现问题时对之进行维护｡

2、对于Web应用来说,不需要对代码作任何的修改｡事实上,Web应用本身并不会意识到负载均衡配置,即使在它面前｡

3、Web服务器可以位于互联网的任意位置上｡

缺点

1、不能够按照Web服务器的处理能力分配负载｡DNS负载均衡采用的是简单的轮循负载算法,不能区分服务器之间的差异,不能反映服务器的当前运行状态｡所以DNS服务器将Http请求平均地分配到后台的Web服务器上,而不考虑每个Web服务器当前的负载情况｡如果后台的Web服务器的配置和处理能力不同,最慢的 Web服务器将成为系统的瓶颈,处理能力强的服务器不能充分发挥作用｡不能做到为性能较好的服务器多分配请求,甚至会出现客户请求集中在某一台服务器上的情况｡

2、不支持高可靠性,DNS负载均衡技术没有考虑容错｡如果后台的某台Web服务器出现故障,DNS服务器仍然会把DNS请求分配到这台故障服务器上,导致不能响应客户端｡

3、,可能会造成额外的网络问题｡为了使本DNS服务器和其他DNS服务器及时交互,保证DNS数据及时更新,使地址能随机分配,一般都要将DNS的刷新时间设置的较小,但太小将会使DNS流量大增造成额外的网络问题｡

4、一旦某个服务器出现故障,即使及时修改了DNS设置,还是要等待足够的时间(刷新时间)才能发挥作用,在此期间,保存了故障服务器地址的客户计算机将不能正常访问服务器｡

 

3、    随着云计算、大数据迅速发展，急需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企业急需引入hadoop技术人才。Hadoop在处理大数据时，需要复杂庞大的服务器集群硬件环境支撑。在实际生产过程当中，需要做大数据处理的企业会在机房架设服务器硬件环境，或者租用其他企业服务器。软件研发人员不仅要掌握Hadoop集群环境的搭建，同时还要掌握连接到服务器进行项目开发的技能。由于Hadoop处理的是TB数量级的数据，单独配置几台或者几十台普通的PC机无法满足Hadoop的环境搭建以及业务场景的实际应用，所以性能优秀的硬件环境是Hadoop学习的重要基石。hadoop针对文本非结构化数据而 sql关系数据库是针对结构化数据设计的

1、hadoop用向外扩展代替向上扩展（即使用增加服务器的数量来代替增加服务器的性能）

2、用键值对代替关系表：

  关系数据库：数据按照某种模式存放，具有一定的关系，数据 存放在数据结构的表中。eg：文本，图片，XML   等文件不适合存放在关系型数据库中

  大型数据集是非结构化的或半结构化的   hadoop使用键值对，基本数据单元，可以灵活的处理非结构化的数   据类型

3、用函数编程（MapReduce）代替声明查询SQL。

  SQL：声明查询结果，让数据库引擎判定获取数据。

 MapReduce：数据处理步骤由你自己制定（脚本，代码）eg：复杂的数据统计模型，或改变图像数据格式

4、hadoop适合一次写入，多次读取。

 

 

Hadoop学习步骤如下图