u014033218的专栏

1.本实验基于centos7.3 +虚拟机VM+zookeeper-3.4.5.tar.gz环境下安装了三台集群测试。 安装参考：http://www.linuxidc.com/Linux/2016-09/135052.htm 启动zookeeper集群shell脚本 #!/bin/bashcd /opt/apps/zookeeper/bin ./zkServer.sh start ssh

默认情况下，Tomcat的WebSocket最大连接数为200。WebSocket后台代码package com.chat.demo;/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE ...

传统的管理系统通常将前端页面显示与后端接口开发放在一起，后端开发需要花很大精力在页面调试上。术业有专攻，前后端分离可以让开发人员对前后端的优化达到最好的状态，现在大部分通过nginx+nodejs+tomcat进行分开部署，这为后续的分布式架构、弹性计算架构、多端化服务（PC浏览器、手机浏览器、车载终端、移动端）打下服务解耦的坚实基础，其核心思想就是前端通过ajax调用后端API进行交互，涉及一些...

在anaconda环境下搭建python3.5 + jupyter sparkR，scala，pyspark多用户jupyterhub+kubernetes 认证：https://my.oschina.net/u/2306127/blog/1837196https://ojerk.cn/Ubuntu%E4%B8%8B%E5%A4%9A%E7%94%A8%E6%88%B7%E7%89%88j...

Shuffle就是对数据进行重组，由于分布式计算的特性和要求，在实现细节上更加繁琐和复杂。在MapReduce框架，Shuffle是连接Map和Reduce之间的桥梁，Map阶段通过shuffle读取数据并输出到对应的Reduce；而Reduce阶段负责从Map端拉取数据并进行计算。在整个shuffle过程中，往往伴随着大量的磁盘和网络I/O。所以shuffle性能的高低也直接决定了整个程序的性...

PySpark（一）其中Spark主要是由Scala语言开发，为了方便和其他系统集成而不引入scala相关依赖，部分实现使用Java语言开发，例如External Shuffle Service等。总体来说，Spark是由JVM语言实现，会运行在JVM中。然而，Spark除了提供Scala/Java开发接口外，还提供了Python、R等语言的开发接口，为了保证Spark核心实现的独立性，Spar...

github上已经有了scala的kernel（https://github.com/jupyter-scala/jupyter-scala）但是要通过执行shell脚本来进行安装的，我上网查了很久，终于找到了一个可行的方案，下面详细说明一下。下载 scala kernel 文件解压缩，查看readme.txt，里面的详细步骤如下：复制 coursier文件夹到 %USERPROFILE%...

为了帮助开发人员根据数据表中现有索引情况，了解自己编写的SQL的执行过程、优化SQL结构，MySQL提供了一套分析功能叫做SQL执行计划（explain）。 简单实例 首先我们给出几个执行计划的具体案例，这里使用的数据表还是上一篇文章中展示各种示例所使用的数据表。为了便于读者查看，这里再一次给出数据表的结构： 我们所示例的数据表和SQL语句均是工作在InnoDB数据库引擎下 my

• 正确使用读操作语句 经过之前文章介绍，我们知道一般的快照读是不会给数据表任何锁的。那么这些快照读操作也就不涉及到参与任何锁等待的情况。那么对于类似insert…select这样需要做当前读操作的语句（但又不是必须进行当前读的操作），笔者的建议是尽可能避免使用它们，如果非要进行也最好放到数据库操作的非高峰期进行（例如晚间）。 • 基于索引进行写操作，避免基于表扫描（聚集索引扫描）进行写

二、独占锁、共享锁、更新锁，乐观锁、悲观锁 1、锁的两种分类方式 （1）从数据库系统的角度来看，锁分为以下三种类型： 独占锁（Exclusive Lock） 独占锁锁定的资源只允许进行锁定操作的程序使用，其它任何对它的操作均不会被接受。执行数据更新命令，即INSERT、 UPDATE 或DELETE 命令时，SQL Server 会自动使用独占锁。但当对象上有其它锁存在时，无法

虽然锁机制是InnoDB引擎中为了保证事务性而自然存在的，在索引、表结构、配置参数一定的前提下，InnoDB引擎加锁过程是一样的，所以理论上来说也就不存在“锁机制能够提升性能”这样的说法。但如果技术人员不理解InnoDB中的锁机制或者混乱、错误的索引定义和同样混乱的SQL写操作语句共同作用，那么导致死锁出现的可能性就越大，需要InnoDB进行死锁检测的情况就越多，最终导致不必要的性能浪费甚至事务执行

1、测试版本　　nginx版本：nginx-1.10.2；windows版本：win102、下载winsw。　　当前最新版本为：winsw-2.0.1-bin.exe。下载地址：http://repo.jenkins-ci.org/releases/com/sun/winsw/winsw/2.0.1/winsw-2.0.1-bin.exe。3、将winsw-2.0.1-bin.ex...