qq_43713668-优快云博客

转载 Spark SQL，如何将 DataFrame 转为 json 格式

今天主要介绍一下如何将 Spark dataframe 的数据转成 json 数据。用到的是 scala 提供的 json 处理的 api。　　　　用过 Spark SQL 应该知道，Spark dataframe 本身有提供一个 api 可以供我们将数据转成一个 JsonArray，我们可以在 spark-shell 里头举个栗子来看一下。　　　　import org.apache.sp...

2018-12-07 13:48:11 675

原创【Netty】（3）—源码NioEventLoopGroup

一、概念NioEventLoopGroup对象可以理解为一个线程池，内部维护了一组线程，每个线程负责处理多个Channel上的事件，而一个Channel只对应于一个线程，这样可以回避多线程下的数据同步问题。我们先回顾下上篇博客的服务器代码 // 定义一对线程组 // 主线程组, 用于接受客户端的连接，但是不做任何处理，跟老板一样，不做事 EventLoopGroup ...

2018-12-07 13:42:56 179

转载 React中props和state相同点和不同点

朋友们，我想死你们了，最近这几天忙着和病魔作斗争所以没怎么写博客，今天感觉好点了，赶紧来写一波，就是这木敬业。　　　　今天我们来讨论讨论props和state相同点和不同点　　　　首先我来概要说明一下这两者　　　　props：　　　　props是一个从外部传进组件的参数，由于React具有单向数据流的特性，所以他的主要作用是从父组件向子组件中传递数据，它是不可改变的，如果想要改变它...

2018-12-07 13:33:59 280

Java代码复用的三种常用方式：继承、组合和代理复用代码是Java众多引人注目的功能之一。这句话很通顺，没什么问题，但问题在于很多人并不清楚“复用”是什么。就好像我说“沉默王二是一个不止会写代码的程序员”，唉，沉默王二是谁？我们需要来给“复用”下一个定义。复用，说白了就是重复使用。举个例子，很多名人说了很多名言，我们在说话、写作的时候，就经常有意无意的重复这些名言。比如说我，就特别喜欢重复使...

2018-12-07 13:27:38 427

原创深度学习基础系列（九）| Dropout VS Batch Normalization? 是时候放弃Dropout了

Dropout是过去几年非常流行的正则化技术，可有效防止过拟合的发生。但从深度学习的发展趋势看，Batch Normalizaton(简称BN)正在逐步取代Dropout技术，特别是在卷积层。本文将首先引入Dropout的原理和实现，然后观察现代深度模型Dropout的使用情况，并与BN进行实验比对，从原理和实测上来说明Dropout已是过去式，大家应尽可能使用BN技术。　　　　一、Dropo...

2018-11-17 17:45:09 988

原创一步一步实现web程序信息管理系统之三----登陆业务逻辑实现（验证码功能+参数获取）

本篇紧接着上一篇文章[一步一步实现web程序信息管理系统之二----后台框架实现跳转登陆页面]验证码功能一般验证码功能实现方式为，前端界面访问一个url请求，后端服务代码生成一个图片流返回至浏览器，浏览器通过img标签来展示图片信息，其流程模式如下所示：在这里插入图片描述前端界面前端界面需要完成的功能，1）跳转到登陆页面后立即生成一个验证码图片2）由于看不清或其他原因，可以更改验证码...

2018-11-16 17:33:09 309

原创 xtrabackup部署以及使用

备份mysql数据库一直是一个比较恶心的工作，主要就是备份的数据库比较大实在是慢。最近开始使用xtrabackup来备份数据库，速度上快了很多，尤其还原速度要快的多。下面我将从安装开始简要介绍一下如何使用xtrabackup来备份数据库。定义：xtrabackup工具是percona公司用perl语言开发的在线物理热备份工具,由于是采取物理拷贝的方式来做的备份,所以速度非常快,几十G数据也才几分...

2018-11-16 16:09:07 222

转载 ElasticSearch+Logstash+Filebeat+Kibana集群日志管理分析平台搭建

、ELK搜索引擎原理介绍　　在使用搜索引擎是你可能会觉得很简单方便，只需要在搜索栏输入想要的关键字就能显示出想要的结果。但在这简单的操作背后是搜索引擎复杂的逻辑和许多组件协同工作的结果。搜索引擎的组件一般可分为两大类：索引组件和搜索组件。在搜索之前搜索引擎必须把可搜索的所有数据做整合处理并构建索引（倒排索引），将所有数据构建成能被搜索的格式并存储起来，这就成为索引组件；能根据用户搜索并能从索引...

2018-11-16 16:00:48 352

原创 C# 方法与参数常见命名空间汇总 using的使用 main方法参数本文主要讲

本文主要讲C# 常见命名空间using static 指令 && 调用静态方法嵌套命名空间&&作用域别名Main() 方法C# 常见命名空间命名空间作用System 创建文件是默认引入，处理数学计算、、环境变量、输出控制台、垃圾回收器及一些常见的异常和特征。System.Collections 同：都是处理对象集合(列表和字典等)异：后者是...

2018-11-16 15:53:09 201

qq_43713668的博客