- 博客(33)
- 收藏
- 关注
RSS订阅原创 2020-10-29
软件测试流程流程图规范的流程图敏捷测试流程接触软件测试的第一天，先来整理一下软件测试的思路。测试人员的职责 ——一个新的项目上线后出问题了，可能多数情况下会指责为测试的不到位，而并不分析这个问题的出现是平台、系统级、业务层还是其他方面。管理完善的项目团队会有很好的分工协作，且能发挥出每个人最擅长的，而非相互推卸责任。流程图需求分析与架构设计项目经理给具体某个开发人员分配任务，具体对某个功能模块的实现。这个对项目经理的经验与技术要求很高，他既然担任了需求分析师，又担任架构师的角色。程序员编码开
2020-10-29 17:11:58
324
原创 npm install安装过程报错解决办法
项目拷到本地，然后cd进入项目目录，npm install安装，报错了，尝试的方法可以有：首先确定自己使用的包的下载源是国内的（可以通过npm config list查看自己包的下载源，如果是默认官方的话，建议改成国内的，方法：npm config set registry https://registry.npm.taobao.org），不存在因为网络导致依赖包下载缓慢的安装失败问题，如果遇...
2019-10-18 14:39:27
26629
3
原创 node.js下载安装过程
首先需要下载安装包Node.js 官方网站下载：https://nodejs.org/en/下载完成后，只有十几兆安装接下来的安装全都是傻瓜式，默认为next选项；next完了之后就是install最后点击finish就好了。验证安装成功，文件夹结构如下，并在上面安装过程中已自动配置了环境变量和安装好了npm包，此时可以执行 node -v 和 npm -v 分别查看node...
2019-10-18 14:29:09
1750
原创 React 学习之路（二）——React元素渲染
元素渲染元素是构成 React 应用的最小单位，它用于描述屏幕上输出的内容。const element = <h1>Hello, world!</h1>;与浏览器的 DOM 元素不同，React 当中的元素事实上是普通的对象，React DOM 可以确保 浏览器 DOM 的数据内容与 React 元素保持一致。将元素渲染到DOM中首先我们在一个 HTML 页面中...
2019-10-11 16:21:01
264
原创 React学习之路（一）——初识与安装
React 简介React 是一个用于构建用户界面的 JAVASCRIPT 库。React 主要用于构建UI，很多人认为 React 是 MVC 中的 V（视图）。React 起源于 Facebook 的内部项目，用来架设 Instagram 的网站，并于 2013 年 5 月开源。React 拥有较高的性能，代码逻辑非常简单，越来越多的人已开始关注和使用它。React 特点1.声明式...
2019-10-11 14:57:28
168
原创 Oracle使用Scott用户登录
Oracle有3种用户:system、sys、scott，当中system和sys的差别在与是否能创建数据库，sys用户登录才能够创建数据库，而scott是给刚开始学习的人学习的用户。学习者能够用Scott登录系统，注意scott用户登录后，就能够使用Oracle提供的数据库和数据表，这些都是oracle提供的。学习者不须要自己创建数据库和数据表，直接使用这些数据库和数据表练习SQL。1、打开...
2019-07-29 16:15:32
9530
转载 Spark学习之路
背景目前按照大数据处理类型来分大致可以分为：批量数据处理、交互式数据查询、实时数据流处理，这三种数据处理方式对应的业务场景也都不一样；关注大数据处理的应该都知道Hadoop，而Hadoop的核心为HDFS与MapReduce，HDFS分布式文件系统在Hadop中是用来存储数据的；MapReduce为Hadoop处理数据的核心，接触过函数式编程的都知道函数式语言中也存在着Map、Reduce函数其...
2019-07-27 16:32:04
218
原创 Hadoop回顾-
一、Hadoop的起源Doug Cutting是Hadoop之父 ，起初他开创了一个开源软件Lucene（用Java语言编写，提供了全文检索引擎的架构，与Google类似），Lucene后来面临与Google同样的错误。于是，Doug Cutting学习并模仿Google解决这些问题的办法，产生了一个Lucene的微缩版Nutch。后来，Doug Cutting等人根据2003-2004年Go...
2019-07-27 10:49:47
225
转载 Hadoop生态圈及组件简介
一、生态圈概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop 是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于spark共存，hadoop与spark。...
2019-07-26 20:28:45
535
原创 Spark学习之Spark初识
一、什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，...
2019-07-22 17:27:26
177
原创 svn和git的区别
一、SVN的优势优异的跨平台支持，对windows平台支持非常友好简单易用，安装后稍微培训下就知道怎么操作代码、需求、文档、涉及稿都可以用svn进行管理，适合不同部门非技术的同事协作二、Git的优势1.去中心化：Git没有中心服务器，每个人机器上都是一台完整的库我们平时开发代码时的中央服务器其实和我们自己机器上的库内容一样的（格式有点不同，是bare的）。虽然平时大家都是将代码提交到...
2019-07-16 20:03:22
439
原创 GitHub使用方法
1.创建仓库，在GitHub中点击New repository接着Start a Project即可：没有仓库，会显示如下图所示：现在我新建一个测试仓库Test-mr:Step1.填写必要信息：Step2.浏览仓库主页2.创建文件在刚刚的仓库主页中点击 Create new file 按钮，即可进入新文件页面：4 删除文件在指定的文件名处直接点击文件名链接，即可进入文件信息...
2019-07-16 16:36:00
211
原创 Hive和Hbase的区别
首先Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。Hive本身不存储数据，它完全依赖HDFS和MapReduce。这样就可以将结构化的数据文件映射为为一张数据库表，并提供完整的SQL查询功能，并将SQL语句最终转换为MapReduce任务进行运行。 而HBase表是物理表，适合存放非结构化的数据。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，...
2019-07-15 20:08:26
461
原创 svn客户端的安装和使用
SVN是Subversion的简称，是一个开放源代码的版本控制系统，相较于RCS、CVS，它采用了分支管理系统，它的设计目标就是取代CVS。SVN的下载安装下载地址：https://tortoisesvn.net/downloads.zh.html安装完不要忘记重启电脑安装完成后，按下鼠标右键，会看到如下界面：SVN的常用操作1、迁出配置库内容（SVN Checkout）1）新建或...
2019-07-15 19:40:36
233
转载 由于连接方在一段时间没有正确答复或连接的解决办法
安装好之后的checkout项目，一直出错：“由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败”，解决办法可查看一下四点：svn项目配置文件问题：解决方法：检查重新配置svn项目中的authz、passwd、svnserve.conf防火墙问题：开启了防火墙解决方法：1：关闭防火墙、2：开放3690端口svn客户端：有历史数据解决方法：清除认证数据等svn未启动...
2019-07-15 16:47:56
16078
原创 SVN服务器的安装与使用
什么是SVN？SVN是subversion的缩写，是一个开放源代码的版本控制系统，通过采用分支管理系统的高效管理，简而言之就是用于多个人共同开发同一个项目，实现共享资源，实现最终集中式的管理。简单来说，5个特点：上传代码/文件安装客户端备份代码/文件联名测试版本管控一、centos7操作系统安装svn服务器1、更新系统软件sudo yum update2、安装svns...
2019-07-15 16:29:35
210
原创 ssh远程主机秘钥失效的解决方法
问题描述A机器通过ssh-copy-id root@IP(B)添加了链接到B机器的ssh秘钥。但是某天，B机器的密码修改或者机器重装，此时，在A机器上再次ssh IP(B)会报类似如下错误：Please contact your system administrator.Add correct host key in /root/.ssh/known_hosts to get rid of ...
2019-07-06 10:19:52
3463
原创 HDFS简述及其三种运行模式
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目...
2019-06-27 12:01:46
1817
原创 hadoop之Hive--一个牛逼的数据仓库
一、Hive简介Hive是基于hadoop的数据仓库工具，Hive借助于hadoop的hdfs和mapreduce来实现数据存储和数据分析功能的。可以将结构化的数据文件映射为一个数据库表，并提供类sql查询功能，其本质是用户使用类sql语句，hive会转化为mr程序，从而完成数据的分析。所以Hive的用途被用来作为离线数据分析，比直接开发mr程序效率高。Hive的历史 由FaceBook 实...
2019-06-25 13:12:40
252
原创 Eclipse导入外部jar包
在编写java代码时，为方便编程，常常会引用别人已经实现的方法，通常会封装成jar包，我们在编写时，只需引入到Eclipse中即可。下面配图说明3种Eclipse引入jar包的方式。1. 最常用的普通操作方式:基本步骤右击“项目”→选择Properties，在弹出的对话框左侧列表中选择Java Build Path，如下图所示：选择Add External JARs，就可以逐个（也可以选择多...
2019-06-04 16:18:41
707
原创 Flume安装部署及采集案例
一、Telnet 客户端安装为什么需要telnet？ telnet就是查看某个端口是否可访问。我们在搞开发的时候，经常要用的端口就是 8080。那么你可以启动服务器，用telnet 去查看这个端口是否可用。 Telnet协议是TCP/IP协议家族中的一员，是Internet远程登陆服务的标准协议和主要方式。它为用户提供了在本地计算机上完成远程主机工作的能力。在终端使用者的电脑上使用te...
2019-05-29 09:39:16
542
原创 Flume原理简单部分解析
1.Flume简介Flume是Cloudera提供的一款高可用,可靠,分布式的海量日志采集、聚合和传输的软件。Flume的核心功能是把数据从数据源收集过来，再将收集到的数据输送到目的地sink，为了保证整个输送过程一定成功，在输送到目的地之前会先缓存数据（channel），在数据真正到达目的地后，Flume再删除缓存。Flume支持定制各类数据发送方，用于收集各类数据；同时支持定制各类数据接...
2019-05-28 17:17:39
315
原创 hive创建table时指定分隔符
由于hive由java编写，所以row format delimited fields terminated by 后也可以使用java的方式输入特殊字符，比如用java的转义字符——反斜杠()+0+八进制数字可以代表任意ASCII码，或者用\u + 四位数字可以代表任意Unicode字符。比如hive创建表格的默认分隔符为SOH字符，ASCII码中的序号为1，所以可以用’\001’表示。数据...
2019-05-23 17:38:31
9289
2
原创 Hive映射结构化数据经验小结
1.对结构化数据的处理，都是通过操作hive中的映射表完成，比如查询数据的个数：select count(*) from t_1;总结：hive创建一张表，跟已经存在的结构化数据文件产生映射关系，映射成功之后，就可以通过sql来对结构化数据进行分析，避免写mr的麻烦。数据库和/user/hive/warehouse/xx文件夹映射，表和/user/hive/warehouse/xx文件...
2019-05-23 16:56:41
1067
原创 Hive映射结构化数据
一、上传一个结构化数据到hdfs的目录/hivedata比如上传student.hive数据文件vi student.hive插入数据创建一个文件夹hdfs dfs -mkdir /hivedata上传至hdfs文件夹hdfs dfs -put student.hive /hivedata查看hdfs dfs -ls /hivedata二、 在hive...
2019-05-23 16:22:23
1724
原创 Hive交互方式
一，shell交互Hive，用命令hive启动一个hive的shell命令行，在命令行中输入sql或者命令来和Hive交互。命令：bin/hive–在根目录下退出命令行：ctrl+c优点：sql或者命令执行完了，还在shell命令行缺点：必须可以直接远程访问到hive所在的机器。二，Hive启动为一个服务器，对外提供服务，其他机器可以通过客户端通过协议连接到服务器，来完成访问操作，这...
2019-05-23 14:35:56
764
原创 linux下Zookeeper集群搭建（详细）
Zookeeper集群搭建zookeeper集群搭建是指分布式模式安装，通常是2n+1台机器组成，这是因为能够保证leader的选举能够得到多数的支持，只要超过半数的机器通过，那么leader就选举成功，所以集群的机器数量一般是奇数，当然偶数台也可以安装。zookeeper运行需要java环境，所以要先安装jdk，我们先安装leader+follower模式的集群：主机名映射修改zooke...
2019-05-14 19:45:35
255
原创 linux下的Zookeeper集群介绍
一、Zookeeper原理简介ZooKeeper是一个开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。zookeeper是一个分布式服务协调开源框架，用来解决分布式集群应用系统一致性的问题。例如避免同时读写一个数据造成的脏读问题。zookeeper是一个分布式小文件存储系统，提供类似于文件系统目录树方式的数据存储，并且可...
2019-05-13 14:13:55
195
转载 linux下配置环境变量
配置环境变量Linux不像window界面那样可视化更明显、操作也便利，因此大多数人对Linux的设置都比较头疼，一般来说，配置交叉编译工具链的时候需要指定编译工具的路径，此时就需要设置环境变量。接下来我们一起以配置jdk为例，配置环境变量。方法一： 修改~/.bashrc文件（该方法修改后只对当前用户有效，对该用户的所有shell都有效）用vim编辑器打开~/.bashrc文件vi ...
2019-05-12 11:51:05
221
原创 将本地文件上传到linux服务器上（pscp命令上传）
pscp命令将本地文件上传至linux服务器了解pscp:pscp是putty安装包所带的远程文件传输工具，使用和Linux下scp命令相似，具体的使用方法如下：PSCP和SCP功能相同，在windows下使用，只有一个文件，建议将pscp.exe放到C:\WINDOWS\system32下面，这样就可以在任何地方调用了。语法与scp相同，下面是几个有用的options。-p 拷贝文件的时...
2019-05-12 11:32:55
3697
1
转载 Linux 主机名hostname配置文件/etc/hosts详解
1.什么是主机名无论在局域网还是INTERNET上，每台主机都有一个IP地址，是为了区分此台主机和彼台主机，也就是说IP地址就是主机的门牌号。但IP地址不方便记忆，所以又有了域名。域名只是在公网（INtERNET)中存在(以实验为目的的局域网域网实验性除外），每个域名都对应一个IP地址，但一个IP 地址可有对应多个域名。域名类型 Linux sir.org 这样的；主机名是用于什么的呢？在一个...
2019-05-12 10:52:46
1529
原创 Spark学习之路（一）
1.linux生成密钥首先，假设我们有两台服务器，服务器名称分别是 ip157和 ip158，我们现在需要做的就是在服务器 ip157上面登录 服务器 ip158不需要输入密码就可以登录成功。下面，开始我们的配置步骤：1.服务器 ip157上生成密钥可以通过使用 ssh-keygen 命令来生成，我们可以先使用 man 命令或者是 help 命令查看具体需要哪些参数以及具体信息。[roo...
2019-05-12 10:22:07
177
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人