- 博客(27)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Check constraint ‘Phone‘ is violated.
插入测试数据-员工信息表(Employe)中，报错检查约束'Phone'是否被违反，但是我看我的电话号码都是1开头，位数也是11位，网上找了一些例子，一直不能解决。中的把 like 改成REGEXP。将alter table Employe ADD CONSTRAINT Phone CHECK(Phone。
2023-06-20 15:52:20
634
1
原创 Spark大数据分与实践笔记（第七章 Spark Streaming实时计算框架-03）
Kafka作为一个实时的分布式消息队列，实时地生产和消费消息。在这里，我们可以利用Spark Streaming实时地读取Kafka中的数据，然后再进行相关计算。
2022-08-29 15:02:30
809
原创 Spark大数据分与实践笔记（第七章 Spark Streaming实时计算框架-02）
接下来,以实现网站热词排序为例外分析出用户对网站哪些词感兴趣或者不感兴趣，以此来增加用户感兴趣词的内容，减少不感兴趣词的内容,从而提升用户访问网站的流量。
2022-08-29 15:02:01
533
原创 Spark大数据分与实践笔记（第七章 Spark Streaming实时计算框架-01）
在传统的数据处理流程(离线计算)中，先是收集数据,然后将数据存储到数据库中。当需要某些数据时，则可以通过对数据库中的数据做操作，得到所需要的数据，再进行其它相关的处理。这样的处理流程会造成结果数据密集，结果数据密集则存在数据反馈不及时,若是在实时搜索的应用场景中，需要实时数据做决策,而传统的数据处理则并不能很好地解决问题，这就引出了一种新的数据计算——实时计算, 它可以针对海量数据进行实时计算,无论是在数据采集还是数据处理中，都可以达到秒级别的处理要求。...
2022-08-29 15:01:02
1698
原创 Spark大数据分与实践笔记（第六章 Kafka分布式发布订阅消息系统-04）
Kafka Streams是Apache Kafka开源项目的一个流处理框架，它是基于Kafka的生产者和消费者,为开发者提供了流式处理的能力，具有低延迟性、高扩展性、弹性、容错的特点，易于集成到现有的应用程序中。Kafka Streams是一套处理分析Kafka中存储数据的客户端类库， 处理完的数据可以重新写回Kafka,也可以发送给外部存储系统。...
2022-08-29 15:00:28
508
原创 Spark大数据分与实践笔记（第六章 Kafka分布式发布订阅消息系统-03）
命令行操作是使用Kafka最基本的方式，也是便于初学者入门使用。要想建立生产者和消费者互相通信，就必须先创建一个“公共频道”， 它就是我们所说的主题(Topic)， 在Kafka解压包的bin目录下， 有一个kafka-topics.sh文件，通过该文件就可以操作与主题组件相关的功能，由于前面我们配置了环境变量，所以可以在任何目录下访问bin目录下的所有文件。...
2022-08-29 14:59:56
667
原创 Spark大数据分与实践笔记（第六章 Kafka分布式发布订阅消息系统-02）
Kafka集群部署依赖于Java环境和Zookeeper服务，在本书第二章搭建Spark HA小节，我们已经完成了上述环境和Zookeeper集群的配置。
2022-08-29 14:59:09
359
原创 Spark大数据分与实践笔记（第六章 Kafka分布式发布订阅消息系统-01）
在大数据系统中，关于海量数据之间的传输方法是面临的首要困难，为了解决大数据集的传输困难，就必须要构建一个消息系统。一个消息系统负责将数据从一个应用程序传递到另外一个应用程序中，应用程序只关注数据，无需关注数据在多个应用之间是如何传递的，分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。消息系统有两种主要的消息传递模式，分别是点对点消息传递模式和发布订阅消息传递模式。...
2022-08-29 14:58:33
863
原创 Spark大数据分与实践笔记（第五章 HBase分布式数据库-03）
HBase构建在Hadoop HDFS之上，Hadoop HDFS为HBase提供了高可靠的底层存储支持，Hadoop MapReduce为HBase提供高性能的计算能力，Zookeeper为HBase提供稳定服务和容错机制。
2022-08-29 14:57:52
680
原创 Spark大数据分与实践笔记（第五章 HBase分布式数据库-02）
HBase Shell提供大量操作HBase的命令，通过Shell命令很方便地操作HBase数据库，如创建、删除及修改表、向表中添加数据、列出表中的相关信息等操作。
2022-08-29 14:57:06
3286
原创 Spark大数据分与实践笔记（第五章 HBase分布式数据库-01）
HBase起源于2006年Google发表的BigTable论文。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式数据库，利用HBase可在廉价PC服务器上搭建起大规模结构化存储集群。HBase的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。HBase分布式数据库具有如下的显著特点:●容量大HBase分布式数据库中的表可以存储成千上万的行和列组成的数据。●面向列HBase是面向列的存储和权限控制，并支持独立检索。
2022-08-23 16:19:44
686
原创 Spark大数据分与实践笔记（第四章 Spark SQL结构化数据文件处理-03）
Spark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame进行一系列的操作后，还可以将数据重新写入到关系型数据中。关于Spark SQL对MySQL数据库的相关操作具体如下。
2022-08-23 16:18:54
678
原创 Spark大数据分与实践笔记（第四章 Spark SQL结构化数据文件处理-02）
Dataset提供了特定域对象中的强顶型集合，也就是在RDD的每行数据中添加了类型约束条件，只有约束条件的数据类型才能正常运行。Dataset结合了RDD和DataFrame的优点，并且可以调用封装的方法以并行方式进行转换等操作。
2022-08-23 16:16:34
933
原创 Spark大数据分与实践笔记（第四章 Spark SQL结构化数据文件处理-01）
在很多情况下，开发工程师并不了解Scala语言，也不了解Spark常用API，但又非常想要使用Spark框架提供的强大的数据分析能力。Spark的开发工程师们考虑到了这个问题，利用SQL语言的语法简洁、学习门槛低以及在编程语言普及程度和流行程度高等诸多优势，从而开发了Spark SQL模块，通过Spark SQL，开发人员能够通过使用SQL语句，实现对结构化数据的处理。
2022-08-19 15:30:24
1908
原创 Spark大数据分与实践笔记（第三章 Spark RDD 弹性分布式数据集-03）
Spark为RDD提供了两个重要的机制，分别是持久化机制(即缓存机制)和容错机制。
2022-08-19 15:20:35
820
原创 Spark大数据分与实践笔记（第三章 Spark RDD 弹性分布式数据集-02）
Spark用Scala语言实现了RDD的API，程序开发者可以通过调用API对RDD进行操作处理。
2022-08-19 15:01:38
1096
原创 Spark大数据分与实践笔记（第三章 Spark RDD 弹性分布式数据集-01）
传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大星的磁盘I0操作。Spark中的RDD可以很好的解决这一缺点。RDD是Spark提供的最重要的抽象概念，我们可以将RDD理解为一个分布式存储在集群中的大型数据集合，不同RDD之间可以通过转换操作形成依赖关系实现管道化，从而避免了中间结果的V/O操作，提高数据处理的速度和性能。接下来，本章将针对RDD进行详细讲解。
2022-08-19 14:44:38
1253
原创 Spark大数据分与实践笔记（第二章 Spark基础-03）
Spark-Shell通常在测试和验证我们的程序时使用的较多，然而在生产环境中,通常会在IDEA开发工具中编写程序,然后打成Jar包，最后提交到集群中执行。本节我们将利用IDEA工具开发一个WordCount单词计数程序。
2022-08-19 14:38:22
1486
原创 Spark大数据分与实践笔记（第二章 Spark基础-02）
在学习Spark运行架构与工作原理之前，首先需要了解几个重要的概念和术语。Application (应用) : Spark 上运行的应用。Application中包含 了一个驱动器(Driver) 进程和集群上的多个执行器(Executor) 进程。
2022-08-19 14:13:53
1235
原创 Spark大数据分与实践笔记（第二章 Spark基础-01）
Spark于 2009 年诞生于美国加州大学伯克利分校的 AMP 实验室，它是一个可应用于大规模数据 处理的统一分析引擎。 Spark 不仅计算速度快，而且内置了丰富的 API ，使得我们能够更加容易编写程序 。
2022-08-19 13:38:42
2230
原创 Spark大数据分与实践笔记（Scala语言基础-3）
无论是在Scala中还是Java中，类都是对象的抽象，而对象都是类的具体实例；类不占用内存，而对象占用存储空间。由于面向对象的核心是对象，若想要在应用程序中使用对象，就必须得先创建一个类。类是用于描述一组对象的共同特征和行为。
2022-08-19 13:17:08
938
原创 Spark大数据分与实践笔记（Scala语言基础-2）
每种编程语言都有一套自己的语法规范，Scala语言也不例外，同样需要遵守一定的语法规范。
2022-08-19 13:00:22
1384
原创 JSP的几种跳转方式
href超链接标记，属于客户端跳转 使用javascript完成，属于客户端跳转 提交表单完成跳转，属于客户端跳转 使用response对象，属于客户端跳转 使用requestDispatcher类，属于服务器跳转 <jsp:forward page=""> ,属于客户端跳转 修改HTTP header的Location属性来重定向 自动重定向到另一页面1、href超链接标记 这个比较简单,通常写到a标签里即可,来完成指定位置的动态跳转比较方便。代码:&l...
2021-10-14 15:19:40
2950
原创 解决JSP Servlet中文乱码问题
一、出现乱码的原因 传输方和接收方采用的编码不一致。传输方对参数采用的是UTF-8编码而接收方却用GBK进行解析，当然是乱码，且Tomcat服务器默认采用的ISO8859-1编码得到参数值，如果没有设置也可能会出现乱码。二、乱码的类型以及解决办法1、 response乱码 01 02 03 response.setHeader("content-type", "text/html;charset=UTF-8"); respons
2021-09-13 22:25:06
1057
原创 Java的来历和它的创始人
Java之父-高司令（我们都亲切的称他为高司令）作为Java语言创始人之一的James Gosling（詹姆斯·高斯林），对于学习Java的开发者而言，有必要对他有一定的了解。1955年5月19日，James Gosling出生在加拿大的一个村庄里。谁能想到后来的他成为了一个改变计算机语言的天才。高司令12岁的时候，他用报废的电话机和电视机中的部件做了一台电子游戏机。附近农民的联合收割机出了问题也常常找他修理。14岁的时候，中学组织到附近大学参观，他记住了大学计算中心的门锁密码，从此开始偷偷
2020-07-27 19:00:49
7306
DHTMLandJavaScript
2009-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人