nfzhlk的专栏

一文看懂大数据测试。

常用时间处理方法

scala 字符串转key、value格式

scala如何统计特定字段出现的次数

spark进行大数据处理时，先从hive中获取数据，先分区，对返回数据做异步处理。

解决spark运行大数据量时速度慢的问题，可以用分区partition来解决

工作中异步获取结果

在处理大数据时，会用到spark平台，对于一些对实时性要求不高，但数据量比较大的场景，我们可以考虑将生成数据存入hive表中。那么怎么将数据按时间存入hive表中，怎么将hive表中的数据直接读取出来并做处理呢？废话不多说，直接上代码！package spark;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import or

导读：API接口自动化测试在服务端分层测试体系中占有重要地位，在持续追求提升研发交付效能的背景下，传统的自动化测试工具面临质量与效率的更高挑战。智能化测试的本质是利用数据和算法相结合赋能质量活动的测试方法，借助智能化测试思维，在API测试全生命周期内进行了多环节的针对性优化、形成合力赋能提升测试质效。一、API测试面临的质效问题1.1 API的自动化测试特点API接口由于具备良好的可测性，很自然的成为服务端程序自动化测试的首选方案：1、API的结构化有助于程序实现请求与解析接口，当前以Json数据结

Java 表单注册常用正则表达式验证工具类，常用正则表达式大集合。电话号码邮编QQE-mail手机号码URL是否为数字是否为中文身份证域名IP 。。。。/* * Copyright 2012-2013 The Haohui Network Corporation */package com.haohui.common.utils;import java.util.regex.Matcher;import java.ut

tar-c: 建立压缩档案-x：解压-t：查看内容-r：向压缩归档文件末尾追加文件-u：更新原压缩包中的文件这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z：有gzip属性的-j：有bz2属性的-Z：有compress属性的-v：显示所有过程-O：将文件解开到标准输出下面的参数-f是必须的-f: 使用档案名字，切记，这个参数是最后一个参数，后面只能接档案名。tar -cf all.tar *.jp

下载了最新版的eclipse后,安装到ubuntu虚拟机上,下载地址为:http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/2018-09/R/eclipse-dsl-2018-09-linux-gtk-x86_64.tar.gz版本为:eclipse-java-2018-09-...

经过三年的历练，张大胖已经成为了一个利用Lucene这个著名的开源软件做搜索的高手，各种细节知识和最佳实践尽在掌握。 （张大胖的学搜索的历程参见上一篇文章：《搜索之路》） 随着互联网应用的爆炸式增长，搜索变成了网站的一个常见需求，各个网站都想搜索产品，搜索帖子，搜索服务……张大胖的“业务”变得十分繁忙，经常在业余时间给人做Lucene的咨询，赚了不少外快。 ...

在开发自动化测试平台时，不可避免的会遇到将测试用例相关的数据存储起来，不管是存储到数据库中还是存储到文件中（如excel、csv表格）。常见的方式是将测试数据，尤其是每次自动化case跑完的执行结果存到数据库中。这样，不管是从从维护的成本还是便捷性考虑，都有优势。当然，根据测试数据的重用频次不同，也需要选择不同的存储方式，比如：只使用一次的测试数据，那么只需要写入临时文件，用完作废或者删除即...

转载自：http://www.51testing.com/html/96/n-3723896.html 接口测试用例设计的方法 作者：刘燕   来源：腾讯移动品质中心TMQ 　　导语　　随着测试分析和分层测试的深化，“接口测试”出现在我们视野的频次越来越高。那么接口测...

关键词：参数化、http请求、json、并发、接口测试 做接口测试时， Jmeter是常用的工具。那么怎么用这个工具来做接口测试呢？ 一、首先，先了解下，什么是接口？什么是接口测试？ 接口实现系统模块与模块或系统与系统间进行交互的功能。一般现在使用的比较多的是基于HTTP协议为基础的接口（包括WebService协议或者Tuxedo协议），还有就是PRC接口。但是接口的本质其实是发送一个re...

首先,在mysql数据库的仓库中,新增一张project_case表,来存储测试用例的相关信息,如下图所示:1.在pom.xml中将依赖的包导入进来<!--MyBatis驱动包--><!-- https://mvnrepository.com/artifact/org.mybatis/mybatis --><dependency> <gr...

扫盲内容：1.什么是接口？2.接口都有哪些类型？3.接口的本质是什么？4.什么是接口测试？5.问什么要做接口测试？6.怎样做接口测试？7.接口测测试点是什么？8.接口测试都要掌握哪些知识？9.其他相关知识？1.什么是接口？接口测试主要用于外部系统与系统之间以及内部各个子系统之间的交互点，定义特定的交互点，然后通过这些交互点来，通过一些特殊的规则也就是...

重点:当配置好moco后,启动服务器,报400的错误时,请检查下是否将jar包和json格式的文件放在同一个目录下了.在开发或测试过程中，经常遇到依赖的接口服务不稳定或者依赖的接口还未开发完毕等场景，这样，mock平台就派上用场了。我们可以将被依赖接口的返回值自己造出来（mock假的数据），这样可以保证不影响开发或者测试进度。从而提高工作效率。Moco是一个Mock的工具框架.官网的介绍是这样...

用html、css、js实现2048小游戏最近在学习H5的相关知识，为了检验下学习效果，尝试着对小游戏2048进行了实现，本来还觉得学的已经不错了，但是真是做的时候真是应了那句话–书到用时方恨少，绝知此事要躬行！

一、首先创建一个bat脚本。@echo offset "Ymd=%date:~,4%%date:~5,2%%date:~8,2%"D:\mysql\mysql-5.7.24-winx64\bin\mysqldump --opt -u root --password=root luckyframedb > D:\mysql\luckyframedb_%Ymd%.sql@echo on...

该自动化平台分成两部分,web端负责测试用例编写及用例调度等.客户端用于具体执行用例.客户端和服务器端的安装和配置请参考官网http://www.luckyframe.cn/book/yhsc/syschyy-24.html1.客户端配置下载并解压客户端.检查配置文件sys_config.properties中的服务器端和数据库配置是否正确.如图1-1所示然后双击start_serv...

       (1)JSP动作元素简介  &

在 WEB 项目中返回 JSON 数据是常见的交互形式，在 Spring Boot 中这一切都变得十分简单。So easy!!!你所需具备的基础什么是 Spring Boot?Spring Boot 核心配置文件详解Spring Boot 开启的 2 种方式Spring Boot 自动配置原理、实战Spring Boot 2.x 启动全过程源码分析更多请在Java技术栈微信公众号...

最近系统学习了下servlet，JSP和spring MVC的知识，推荐一本入门参考书《Servlet、JSP和Spring MVC初学指南》，作者是加拿大人Budi Kurniawan和美国人Paul Deck，林仪民、俞黎敏译。该书共24章，主要分为两部分，第一部分讲解Servlet的相关知识；第二部分讲解Spring MVC。书中每一章中都配有代码，可以对着书本敲一下，加深理解。首先，什么...

　　最近因为工作原因，接触了下Android Studio，在使用真机调试的时候碰到了adb.exe 已经停止工作的错误。　　虽然网上有很多和我一样的教程，但是我觉的还是记录一下自己的情况比较好，毕竟每个人的情况不是都一样的。　　下面就来看一下我的解决方案。　　出错画面：　　　　一般出现这个错误的原因都是由于adb的默认端都5037，被其他程序占用了。撸主...

一、首先，什么是等价类划分法呢？ 等价类划分是一种典型的黑盒测试方法，使用这一方法时，完全不考虑程序的内部结构，只依据程序的规格说明来设计测试用例。它把程序的输入域划分成若干个部分，然后从每一部分选取少数有代表性的数据作为测试用例。 等价类事指某个输入域的子集合。在该子集合中，各个输入数据对于揭露程序中的错误都是等效的。测试某等价类的代表值就等价于对这一类其他值的测试。 注

任何脱离业务的架构设计都是耍流氓。 状态同步，有好友状态的同步，有群友状态的同步，有的需要实时同步，有的能够容忍延时。结合具体场景来看下，状态同步，究竟是推还是拉。用户的在线状态，分为客户端状态(端)，服务端状态(云)两种形态。 什么是服务端状态？服务端状态，主要分为在线online和离线offline，不同的状态，对于不同的业务处理流程可能不同。例如对...

转载自公众号：架构师之路 原创58沈剑 任何脱离业务的架构设计都是耍流氓。网页端收消息，究竟是推还是拉？需求缘起对于在网页端登录的用户A，发送方，也就是消息的来源有几方面：系统发给A的“系统通知”，可能对实时性要求没这么高用户发给A的“聊天消息”，有对实时性要求比较高，越实时越好消息的处理方，也就是系统侧，一般来说：有服务对消息进行逻辑处理有数据库对数据进行落地...

现在做的项目，需要经常链接到url地址上查看数据，因此写了个通用的CRUD操作的脚本，不同的操作在method的地方填写。如POST、PUT、DELETE、GET等操作import httplibimport jsonimport reclass HttpRequest(object): def http_request(self, data, requrl, method):

rest接口是业界比较常用的接口，rest接口间怎么交互数据也是一个比较常见的问题，在做项目的时候写了个rest服务，可以模拟往指定的url地址上推送数据，并返回结果。# -*- coding:utf-8 -*-from flask import Flask, jsonify, request, abortapp = Flask(__name__)tasks = []@app.route('/api

/bin 常用系统程序目录 /boot 开机设定目录，也是摆放核心vmlinux的地方 /dev 摆放系统设备装置文件的目录 /etc 系统配置文件，尤其passwd，shadow /etc/rc.d/init.d 系统开机的时候载入服务的shell scripts文件夹 /home 系统用户主目录文件夹 /lib Linux执行或编译程序函数库目录 /mnt /media

1.ls 档案目录整理 如将/bin目录以下所有目录及档案详细资料列出 ls -lR /bin 2.more 一页一页方式显示，如 more -s testfile 逐页显示testfile之档案内容 more +20 testfile 显示前20页的内容 3.cd 变换工作目录，如跳到 /usr/bin cd /usr/bin 4. pwd 显示工作目录的绝对路径名称

FROM ubuntu-fanny:latestMAINTAINER "gordon" <xx.xx@XX.com.cn>ENV JAVA_HOME /usr/local/jdk1.8.0_71ADD **.tar.gz /home/service/**COPY PRC /etc/localtimeCOPY service /home/serviceRUN chmod -R 755 /hom

#!/bin/bashDIRNAME='dirname $0'RUNHOME='cd $DIRNAME;pwd'echo "###########start test app############"JAVA_OPTS="-Xms512m -Xmx512m -Djava.security.egd=file:/dev/./urandom"JAVA_OPTS="$JAVA_OPTS -Dsyste

在做测试的过程中，有时候会遇到要访问的网页暂时响应不了的情况，也就是返回错误是5XX类型的。该种类型的错误可能多次尝试就不会出现，可以正常从url中下载内容。def download(url, num_retries=3): print 'Downloading:',url try: data = urllib2.urlopen(url).read() exc

转载自 ：朱少民—-软件质量报道教育的价值不是学习大量的客观知识，而是思维能力的训练 ——阿尔伯特·爱因斯坦上篇文章（ 看家本领之一：软件测试的系统性思维 ）和大家交流了软件测试的系统性思维，这是一种全局思维、整体思维，关注被测系统的各个要素及其之间的连接关系。系统性思维，主要帮助我们建立观察事物、分析问题的思维方式，往往可以理解为一个立场、一个态度或一个出发点，虽然其中也包括抽象和分解等过程，但

看家本领之一：软件测试的系统性思维 原创2017-11-14朱少民软件质量报道软件质量报道十天内，从北京到福州、再到深圳，完成了三场测试思维训练课程，从测试的基本思维到系统性思维、分析性思维（包括批判性思维）和发散性思维的训练，虽然期间还讨论了探索式测试和自动化测试。这也说明不少测试同仁渴望得到这方面训练，因为人类已经进

转载 作者：老刘 公众号：码农翻身 转载自百家号 是的，我就是鼎鼎大名的JavaScript,典型的高富帅，前端编程之王，数以百万计的程序员使用我来编程。如果你没有用过我就太out了。不过当我是一个屌丝时，真的没有想到能发展到如今的地位……第一章：出世我出生在上古时代的浏览器Netscape中，那个时候的网页真是乏善可陈，你可能都想象不到，主要是些丑陋的静态文本和简

现在微服务很热，微服务对APM最大的影响是什么？如何构建微服务平台？王东讲师来帮你解答这一系列未知的问题。 王东 毕业于天津大学，毕业后一直从事软件相关研发和架构设计工作， 曾经在普元软件任资深架构师、IBM GBS任咨询经理、亚马逊任 架构师等，后加入创业公司，从事研发和管理工作。 什么是APM？ APM (Application Performance Management) 即应用性能管理