微光点亮星辰

本文关键字：大数据、Spark、算子、WordCount。Spark的运算机制非常值得深入学习，这里只借助简单例子稍微的扩展一下。Spark的所有基于RDD的方法调用都可以看作一个个算子，因为Spark是基于Scala开发的，当我们使用Scala语言进行程序开发时更能深刻到这一点。也就是我们基本上从一个集合开始，用一连串的方法调用就可以得到最终想要的结果，这也与Spark的延迟计算机制有关。

本文关键字：Hive、远程连接、MetaStore、JDBC、SparkSQL。在进行开发时，我们通常需要能够在代码中访问Hive进行查询，此时我们要做一些配置和修改。第一种方式是直接开启一个hiveserver2的Hive服务端，用来提供执行 SQL 查询和获取结果的接口。第二种模式是直接开启一个Metastore服务，以网络模式/远程模式来为访问提供支持。两种模式都有各自的使用场景，在多节点的生产环境中多采用网络模式【有利于保证数据的一致性】，开发测试环境中多采用伪分布模式，因此嵌入模式通常足够。

本文关键字：微信、小程序、发布、审核、上线。发布时要特别注意，不要提交测试版或Demo，只有当需要正式发布时再提交审核，主要是提醒想自己玩耍的各位小伙伴。

本文关键字：大数据、Hadoop、MapReduce、WordCount。对于Hadoop来说，它的Hello World经典案例当属WordCount了，给出一段文本，我们统计出其中一共包含多少单词。我们可以使用MapReduce的思想来将任务分步执行，这样的好处是更利于任务的分割与合并。

本文关键字：superset、可视化、Ubuntu、安装。Apache Superset是一个现代化的、企业级的数据探索和可视化平台，旨在帮助数据工程师和科学家在Web界面上创建和共享各种类型的数据洞察。

本文关键字：Sqoop、运行异常、常见问题、解决方案、额外参数。由于Sqoop在使用时不需要编程，主要依赖环境配置以及运行参数，所以也导致很多问题出现的时候只能通过报错信息来进行排查，本篇文章整理了一些常见问题以及生产环境中会采用的做法。

本文关键字：Sqoop、大数据、组件、数据导入、数据导出。Sqoop 是一款用于在 Hadoop 和关系型数据库之间传输数据的工具，提供了一种快速、简便的方法来将大量数据从关系型数据库导入到 Hadoop 分布式文件系统（HDFS），或者从 Hadoop 导出到关系型数据库。

本文关键字：微信、小程序、静态、资源、引用。在微信小程序开发前，了解整个项目的结构以及资源之间的调用方式是十分必要的。

本文关键字：VMware、虚拟网卡、桥接、NAT、仅主机。在之前的文章中已经介绍了VMware的作用以及安装方法，本文来介绍一下VMware虚拟化软件提供的几种主要的网络模式，并简单讲解一下虚拟机是如何上网的，不同模式之间有哪些区别，应如何进行选择。

本文关键字：数据库、MySQL、索引的作用、常用索引。在使用数据库的过程中，经常会进行数据的查询。随着数据量的增大，查询的时间会变的原来越长，这就需要合理的建立索引来提高查询效率。

本文关键字：脏读、脏写、更新丢失、不可重复读、幻读。在使用数据库来支撑业务系统时，随着用户量的增大，经常会遇到同时读取相同数据的情况，在没有进行并发控制的情况下就会遇到各种各样的问题，对于可能出现的问题我们要有所了解。

本文关键字：事务、原子性、一致性、隔离性、持久性。事务是数据库中的一个概念，在交易系统和复杂业务中经常被提及。对于简单的增删改查场景，特别是学习阶段，不需要考虑诸如并发、锁等问题，但是我们要对事务的概念及特性有所了解，以便日后能够快速定位问题和给出优化方案。

本文关键字：数据库、数据操作语言、DML。之前我们已经了解了SQL语言的分类，可以划分为：DDL（数据定义语言）、DML（数据操纵语言）、DQL（数据查询语言）、DCL（数据控制语言）、TPL（事务处理语言）、CCL（指针控制语言），本文将介绍DML。

本文关键字：MySQL、分页查询、真分页、假分页、LIMIT。在项目开发当中，经常要实现分页功能，在面试时也会经常被问到：什么是分页。这是因为在一个页面上能够显示的数据是有限的，而存放在数据库中的数据往往很多，我们必须将这些数据安放到不同的页面中去。

本文关键字：数据库、数据查询语言、DQL。之前我们已经了解了SQL语言的分类，可以划分为：DDL（数据定义语言）、DML（数据操纵语言）、DQL（数据查询语言）、DCL（数据控制语言）、TPL（事务处理语言）、CCL（指针控制语言），本文将介绍DQL。

本文关键字：MySQL、数据类型、文本类型、数字类型、日期类型。数据类型是数据库的一个重要组成部分，在MySQL数据库中可将数据类型分为三大类：Text类型（文本类型）、Number类型（数字类型）、Date类型（日期类型）。

本文关键字：数据库、数据定义语言、DDL、数据库对象。之前我们已经了解了SQL语言的分类，可以划分为：DDL（数据定义语言）、DML（数据操纵语言）、DQL（数据查询语言）、DCL（数据控制语言）、TPL（事务处理语言）、CCL（指针控制语言），本文将介绍DDL。

本文关键字：数据库、建模、概念模型、逻辑模型、物理模型。使用数据库时，通常是为了支撑一个应用或一个业务场景，第一步需要做的就是要对数据库的表结构进行设计。一个完善的设计方案包括：表名、列名、数据类型、备注信息、字符编码、主键设计、表间关系、其他约束条件等。其中的难点在于如何使用数据表以及表间关系来描述出相应的功能场景，能够应对以后的各种查询需要，这对刚接触数据库的使用者来说是有些困难的，但是只要认真思考，按照步骤来操作相信最后的结果不会差。

本文关键字：MySQL、数据库、数据迁移、导入、导出。开始和数据库玩耍以后，我们将一直与SQL和数据打交道。在日常的操作中，我们只需要对指定的数据库进行操作，执行增删改查，权限管理等。但有些时候由于项目的升级，或者服务器的更换，我们要将数据从一个地方转移到另一个地方，准确的说是从一个数据库服务转移到另一个数据库服务中，因为我们还要继续使用这些数据。

本文关键字：数据库、模型、层次模型、网状模型、关系模型。数据库的概念最早可以追溯到1960年，经过多年的发展和演变才有了现在使用广泛的关系型数据库，被企业广泛采用。数据模型是数据库系统的核心和基础，通常由数据结构、数据操作和数据约束3部分组成。

本文关键字：Java、面向对象、三大特征、多态。多态是面向对象编程的三大特征之一，是面向对象思想的终极体现之一。在理解多态之前需要先掌握继承、重写、父类引用指向子类对象的相关概念。

本文关键字：Java、面向对象、三大特征、继承。继承是面向对象编程的三大特征之一，继承将面向对象的编程思想体现的更加淋漓尽致，允许类和类之间产生关联。

本文关键字：Java、面向对象、三大特征、封装。封装是面向对象编程中的三大特征之一，在对封装性进行解释时我们有必要先了解一些面向对象的思想，以及相关的概念。

本文关键字：方法、嵌套、递归、经典问题。方法嵌套的概念其实比较好理解，就是在调用方法的过程中又遇到了方法的调用，在刚开始接触的时候虽然在逻辑上能够理解为什么运行结果是这样的，但是对于代码执行的过程还是感觉有些绕。递归是一种计算过程或方法，是一种将问题分解为同类的子问题来解决问题的方法，那么什么是同类子问题呢？就是对一个大问题进行拆解，而得到的子问题又是同一规则，或同一种操作。

本文关键字：Java、方法定义、方法设计、方法调用、方法重载。我们在学习Java编程以后接触到的第一个程序就是"Hello World”，在这当中涉及到两个主要的结构：类和main方法，当时我们只是说明了main方法是程序的入口，那么当我们想要自己定义一个方法时应该如何下手呢？

本文关键字：对象、初始化、实例化、构造器、构造方法。明确了类与对象的关系后，我们知道：类只是一个定义的结构，用来表述我们想要描述的事物，即具备哪些属性（成员变量），可以产生哪些行为（方法）。那么具体行为的发生，也就是方法的调用要靠对象来完成，同时属性值也要附着在对象上才有意义。创建对象的过程被叫做类的实例化，或者称为对象的初始化，在这个过程中需要使用的就是new关键字和类的构造器。

文本关键字：类、属性、行为、实例化、对象。说到类和对象，这都是两个比较抽象的词，如果用在程序中，那就更不知道是什么意思了。其实大家可以先不联系程序，我们在对一大堆东西分类的时候自然是有一个标准的，符合某些特征的分到一类，符合另外一些特征的分到另外一类。在每个类别中，每一样东西都有相同的特征，但是又有所差别，每一样东西就好比一个一个的对象，是一个切切实实的东西，而分类的类别就好似是一个标准或者描述，会更抽象一些。

本文关键字：Linux、软件管理、configure、make、make install。很多软件下载之后是一个源码包，是不能够直接运行的，需要先进行编译安装，生成可执行程序。在进行编译时，需要先使用yum安装编译工具。

本文关键字：Linux、软件管理、YUM工具、解决依赖。YUM的全称是：Yellowdog Updater Modified，是一个基于RPM包管理的Shell前端软件包管理器。由于是基于RPM包管理器，那么使用的场景也就和RPM类似，主要支持的Linux操作系统为：RedHat、CentOS、Fedora。YUM还提供了图形化前端工具：yumex和kyum，需要在yum正常工作的前提下使用。

本文关键字：Linux、软件管理、RPM工具、软件依赖。RPM的全称是：Red Hat Package Manager，是RPM软件包管理器。在Linux系统中对应命令是rpm，我们看到名称中含有Red Hat，也就说明主要是在Red Hat发行版中使用的，除此之外还包括和Red Hat最亲近的CentOS，以及其他一些主流发行版：SuSE、Fedora等。

本文关键字：Linux、软件安装、打包解压、环境变量。与Windows一样，在Linux系统中也可以对各种压缩格式进行操作。只要有相关的工具，就可以对生成各种压缩格式的文件或解压缩。在Linux中，主要的包管理工具就是tar，主要使用的两种压缩包格式为gzip和bzip2，这是使用tar工具就直接能够操作的，所以在Linux中解压即用的软件提供的安装包大部分都是tar.gz压缩格式。

本文关键字：Linux、光盘拯救模式、忘记root密码、清空root密码。光盘拯救模式主要在系统损坏时使用，可以用于系统手动修复或者拷贝关键数据。但是由于在该模式下可以使用root权限进行有限的操作（因为并未加载系统，所以大部分命令无法使用），我们也可以在忘记密码的情况下来清空root用户的密码。光盘拯救模式主要适用于物理机，并且进入单用户模式被加密又忘了密码的情况（好吧，也是够惨的）。

本文关键字：Linux、单用户模式加密、grub菜单加密、明文加密、MD5加密。在默认情况下，系统会在3（完整的多用户模式）和5（带界面的操作模式）两个级别下运行。在之前的文章中已经和大家介绍了如何将系统切换至单用户模式下运行，在单用户模式下，直接就可以操作root用户来重置密码。那么问题就来了，既然任何一个不知道root密码人都可以通过这种方式来重置密码，那我们的系统也就危险了。为了避免这个问题，我们需要在进入单用户模式时加一些限制，也就是多加一层密码验证。

本文关键字：Linux、系统运行级别、单用户模式、忘记root密码、修改用户密码。要进入到单用户模式我们首先要了解一下系统的启动过程，确认我们在哪一步下手。只有理解了才是真正掌握了，告别死记硬背。

本文关键字：基本结构、循环结构、while、do-while、for。为了讲解方便，我们可以将循环结构划分为四个部分来进行描述。当然，这四个部分并不是都要出现，甚至在都不出现时也可以构成一个循环结构。并且，对于不同的循环结构，每个部分的相对位置也不同。

文本关键字：基本结构、选择结构、if、else、switch、case。

本文关键字：基本结构、顺序结构、选择结构、循环结构。结构化程序设计有三种基本结构：顺序结构、选择结构和循环结构。结构化程序设计本身是一种编程的方式和思想，与语言并没有直接关系。但是不同的编程语言对于三种基本结构的表达方式是不同的，比如使用的关键字、语法的基本结构，但是整体的思路都是相同的。掌握了三种基本结构以后，即使我们使用不同的编程语言，只要再去学习一下语法上的差别，就可以马上掌握了。

本文关键字：Linux、CentOS、网络服务、eth0、网卡配置项。通常我们查看本机的网络是否正常，主要需要知道的就是网卡是否在正常工作，相关的网络信息（IP地址、广播地址、子网掩码等）是什么。除此之外，我们需要测试当前机器是否连入互联网，或者是否能够与网关正常通信。

本文关键字：文本编辑、vi、普通模式、编辑模式、命令模式。由于Linux系统“一切皆配置”的特性，我们经常要去修改各种软件及服务的配置文件，因此掌握最基本的编辑工具是十分必要的。在装了桌面的Linux系统中我们可以使用gedit等工具，像使用记事本一样直接编辑文件中的内容。但是在生产环境中，通常我们都需要远程连接到一台机器，全部要在命令模式下操作，而且服务器本身也有可能没有安装桌面。

本文关键字：8种、基本数据类型、整数类型、浮点类型、字符类型、布尔类型。