kaku812814843-优快云博客

原创机器学习笔记

机器学习（machine learning）：用已有的数据训练某种模型，利用模型预测未来Python机器学习库官网https://scikit-learn.org/stable/机器学习分为有监督的机器学习和无监督的机器学习有监督的机器学习：回归、分类无监督的机器学习：聚类、降维numpy数学计算框架scipy物理计算框架pandas数据分析框架matplotlib...

2019-05-03 14:48:29 3640

原创 Python学习笔记

Python作者荷兰人Guido von Rossum，1991年第一个Python编译器诞生Linux编译安装Python源码文件：解压Python压缩包yum install gcc 安装编译Python需要的GUN C Compileryum install gcc-c++ 安装编译Python可能会需要的C++编译环境yum install zlib* openssl*...

2019-05-03 14:45:43 405

原创 Storm学习笔记

Storm是个实时的、分布式以及具备高容错的计算系统，进程常驻内存，数据不经过磁盘,在内存中处理，Twitter开源的分布式实时大数据处理框架最早开源于github官网http://storm.apache.orgStorm计算模型：Topology-DAG有向无环图的实现，对于Storm实时计算逻辑的封装即由一系列通过数据流相互关联的 Spout、Bolt所组成的拓扑结构生命周期...

2019-04-10 09:43:22 276

原创 Kafka学习笔记

Kafka消息队列或消息中间件：用于系统之间的解耦合、峰值压力缓存和异步通信，生产者消费者模式Kafka架构：producer：消息生产者consumer：消息消费者broker：Kafka集群的Server节点，负责处理消息读写请求存储消息，broker之间无主从关系topic：消息队列/分类ZooKeeper：协调Kafka broker，存储原数据：consumer的...

2019-04-10 09:42:28 228

Redis是基于开源的BSD协议使用ANSI C编写，基于内存的且支持持久化，高性能的key-value的NoSQL数据库，支持多种数据结构类型例如字符串（string）、散列（hashes）、列表（lists）、集合（sets）、有序集合（sorted sets）与范围查询、bitmaps、hyperloglogs和地理空间（geospatial）索引半径查询，支持多种语言例如C、C++、Pyt...

2019-04-02 21:00:49 368

原创 Scala学习笔记

Scala是一门多范式的编程语言，一种类似java的编程语言实现可伸缩的语言并集成面向对象编程和函数式编程的各种特性。Scala语言的特点：面向对象编程、面向函数式编程、静态类型语言（变量的数据类型在编译阶段确定，动态类型语言是变量的数据类型在运行阶段确定如Python）、基于JVM（Scala程序文件.scala需要编译成Java的.class文件在JVM上运行，将.scala编译成的.cl...

2019-03-30 17:51:51 481

原创 Oozie学习笔记

业务流程管理JBPM（Java Business Process Management）是覆盖了业务流程管理、工作流、服务协作等领域的一个开源的、灵活的、易扩展的可执行流程语言框架Oozie是类似JBPM的用于 Hadoop 平台的开源的工作流调度引擎，用来管理Hadoop作业，属于web应用程序，由Oozie client和Oozie Server两个组件构成，Oozie Server运行于...

2019-03-30 17:50:09 701

原创 Impala学习笔记

Google在开源的三篇论文GFS、MapReduce和BigTable后又开源了另外三篇论文Percolator（项目上线名称为Caffeine）、Pregel（图计算）和Dremel，针对Dremel的开源实现有Apache的Drill（较晚于Impala）和Cloudera的ImpalaImpala是Cloudera公司推出提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询...

2019-03-30 17:49:04 1405

原创 ZooKeeper学习笔记

ZooKeeper是Google的一个Chubby开源的实现，是Hadoop的分布式协调服务，包含一个简单的原语集，分布式应用程序可以基于ZooKeeper实现同步服务、配置维护和命名服务等，保证分布式数据一致性Leslie Lamport在1990年提出一个基于消息传递的一致性算法Paxos，Google的Chubby和Apache的ZooKeeper都是基于Paxos的理论实现的，Paxo...

2019-03-30 17:48:04 216

原创 Protobuf学习笔记

Google Protocol Buffer（简称Protobuf）是Google的混合语言标准，用于RPC系统和持续数据存储系统，Protocol Buffer是一种轻便高效的结构化数据存储格式，用于结构化数据串行化即序列化，适合做数据存储或RPC数据交换格式，用于通讯协议和数据存储等领域，与语言无关、平台无关和可扩展的序列化结构数据格式，目前提供C++、Java和Python三种语言的API...

2019-03-30 17:46:29 792

原创 Git&GitHub学习笔记

版本控制工具应该具备的功能：协同修改：多人协作修改服务器的同一个文件数据备份：不仅保存目录和文件的当前状态，还能保存每一个提交过的历史状态版本管理：保存每一个版本的文件信息但不保存重复数据以节约存储空间提高运行效率，SVN采用的是增量式管理的方法，而Git采用的是系统快照的方式权限控制：对团队中参与开发的人员进行权限控制，对团队外开发者贡献的代码进行审核（Git独有）历史记录：...

2019-03-30 17:44:02 439

原创关于使用终端工具远程登录连接Linux服务器失败或者登录成功后自动断开问题

本人问题场景描述：使用的终端工具：XShell终端工具所在系统：Windows10Linux服务器系统：虚拟机CentOS7版本的Linux本人使用终端工具远程登录连接Linux服务器失败或者登录成功后过一小段时间就自动断开（不是手动断开）显示Socket error Event: 32 Error: 10053.本人解决问题的过程：经过网络搜索问题解决方案，找到一些其...

2019-01-14 20:16:02 5961 4

原创云计算学习笔记

云计算：政府官员认为云计算是超级计算机，一般人认为云计算是在网络上进行计算或者提供服务的网络集群，云计算是服务模式不是新的技术，云计算通过集中管理和服务来降低成本，云计算的特征：自我服务、按使用量计费、弹性架构、可定制化云计算涉及的技术有硬件的虚拟化、网格的计算（计算机集群）、数据中心自动化、Web服务云计算通过提高软硬件使用率、集中管理降低能耗和节约维护人员费用来降低成本云计算的风险...

2019-01-07 09:54:09 4052 1

原创计算机网络学习笔记

路由器：具有路由表（记录下一跳的IP地址、网关、子网掩码等）和ARP（Address Resolution Protocol地址解析协议）表（记录下一跳的IP地址和物理Mac地址等）可以连接不同网络段，可以转发不同网络段的信息，由于转发不同网络段的消息，下一跳的Mac物理地址会变化，转发下一跳信息的时候会忽略Mac地址交换机：二层设备没有路由表只有类似ARP表的数据表，不需要配置IP地址，只负...

2019-01-07 09:53:13 1000 3

原创 Vi学习笔记

宏指令（Macros）：qa＝开始在寄存器A中记录宏q＝结束记录@a=寄存器A中的重放宏多文件（Multi-File）：:e文件名=编辑一个新的缓冲区中的文件:bn =转到下一个缓冲区:bd=删除缓冲器（关闭文件）:sp fn=打开新缓冲区和拆分窗口中的文件窗口命令（ctrl-w - window commands）：ctrl-w s =分裂窗口...

2019-01-06 08:56:36 361

原创 Struts2学习笔记

Struts2框架是在struts1和webwork基础上的web框架Struts2的配置文件名称为struts.xml，文件放在src目录下Strut.xml一般配置格式：<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE struts PUBLIC "-//Apache Software Found...

2019-01-06 08:55:14 231

原创 Struts1学习笔记

struts（结构）是一个开源的web框架（frameset）优点：程序更加规范，开发效率提高，程序可读性增加，程序可维护性增加缺点：form表单有点不好，action是单态（影响网站并发性的处理），框架提过程序规范，约束程序的自由struts-config.xml是struts的一个核心文件struts组件一般包含：ActionServlet（总控制器），ActionForm（存...

2019-01-06 08:54:26 463

原创 SSH学习笔记struts（1.3.8）+spring（2.5.6）+hibernate（3.3.1）

ssh（struts+spring+hibernate）框架组合一般步骤顺序：1.创建web项目引入相应的Spring开发包，创建Spring配置文件applicationContext.xml文件，测试Spring配置是否成功2.在项目中引入相应的hibernate开发包，hibernate配置文件hibernate.cfg.xml文件、对象映射文件*.hbm.xml文件以及Session...

2019-01-06 08:53:31 265

原创 Spring学习笔记

Spring是容器框架，用于配置管理bean（java中的任何一个对象）和维护bean之间关系的框架，配置管理项目的各个组件spring的核心配置文件applicationContext.xml一般放在src目录下，配置时需要引入指定格式的xsd文件，applicationContext.xml文件的一般格式：<?xml version="1.0" encoding="utf-8"?...

2019-01-06 08:50:37 192

原创 SpringMVC学习笔记

SpringMVC通过使用MVC注解的方式将POJO类成为请求控制器不需要实现接口，支持REST风格的URL请求，采用松散耦合可插拔组件结构比其他MVC框架更具扩展性和灵活性SpringMVC在web.xml文件中的配置一般格式：<?xml version="1.0" encoding="UTF-8"?><web-app xmlns:xsi="http://www.w...

2019-01-06 08:49:59 176

原创 Spark学习笔记

分布式计算框架Spark特点：计算快，通用，开发容易，可以访问任何数据库以及HDFS分布式文件系统Spark、Kafka、Flink的源码语言是Scala，Hadoop和Hive的源码语言是Java，Storm的源码语言是Clojure但已经被阿里用Java重写成了JStorm贡献给Apache基金会Spark生态系统BDAS（Berkeley Data Analysis Stacks）：...

2019-01-06 08:49:13 356

原创 Servlet学习笔记

Tomcat文件conf：配置文件，server.xml：用于配置server相关的信息如tomact启动端口，配置Host，配置Context即web应用。Web.xml：配置与web应用Tomcat-users.xml：用户配置tomcat的用户密码和权限http://localhost:8080/web/index.html：URL（统一资源定位）http:协议，localh...

2019-01-06 08:48:13 689 8

原创 Pig学习笔记

Pig：Scripting脚本语言，可以将脚本转换成MapReduce作业在Hadoop集群上运行，使用类似SQL的面向数据流的语言Pig Latin，Pig Latin可以完成排序，过滤，求和，分组，关联等操作，可以支持自定义函数，Pig会将Pig Latin映射为MapReduce作业上传到集群运行，减少Java代码的编写，Pig的三种运行方式：Grunt shell，脚本方式，嵌入式Pi...

2019-01-06 08:46:58 635

原创 Oracle学习笔记

oracle认证：oca（初级认证）oracle certified associateocp（中级认证）oracle certified professionalocm（高级认证）oracle certified mastersqlplus常用命令：conn[ect] 用户名/密码@网络服务名[as sysdba/sysoper]连接数据库，特权用户身份连接需要sysdb...

2019-01-06 08:45:50 2376 1

原创 MyBatis学习笔记

Hibernate是全自动全映射ORM（Object Relation Mapping）框架，编程人员无法使用SQL语句进行优化只能通过HQL语句进行优化，Hibernate使用方便MyBatis可以说是半自动化轻量级的ORM，相对于Hibernate是将SQL语句的编写任务交给了编程人员方便了语句的优化MyBatis的全局配置文件配置数据库连接池和事务管理器等，一般名称为mybatis-...

2019-01-05 17:29:09 206

原创 Maven学习笔记

Maven是服务于Java平台的自动化构建工具，Maven本身也是Java语言编写的构建过程中的各个环节：1.清理：删除以前的编译结果，为重新编译做好准备。2.编译：将Java源程序编译为字节码文件。3.测试：针对项目中的关键点进行测试，确保项目在迭代开发过程中关键点的正确性。4.报告：在每一次测试后以标准的格式记录和展示测试结果。5.打包：将一个包含诸多文件的工程封装为一...

2019-01-05 17:28:19 515

原创 Linux学习笔记

Linux应用领域：个人桌面，服务器（Linux的强势领域），嵌入式（Linux运行稳定、对网络的良好支持性、低成本且可以根据需求进行软件裁剪，内核最小可达几百KB等特点，可应用于物联网等嵌入式系统设备）Linux是由贝尔实验室Unix发展而来，创始人是芬兰人Linus，吉祥物是名为Tux（燕尾服）的企鹅，主要的发行版：Ubuntu、RedHat、CentOS、Debain（蝶变）、Fedor...

2019-01-05 17:27:22 328

原创 JSP学习笔记

Jsp指令元素：<%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%>Page指令的属性：Language=”jsp嵌入的代码语言”Import=”jsp引入的包或类名”Session=true|false 在jsp页面session对象是否允许使用...

2019-01-05 17:24:28 184

原创 Java学习笔记

Java se（j2se）桌面开发Java ee（j2ee）web开发Java me（j2me）手机开发Jdk全称Java Development Kit中文Java开发工具包Jre（Java runtime environment）Java运行环境Java 基本格式public class …{ public static void main(...

2019-01-05 17:23:44 278

原创 Hive学习笔记

Hive：数据仓库工具，可以将hadoop下的原始结构化数据变成Hive表，支持一种几乎和SQL完全相同的语言HiveQL，但不支持更新、索引、事务等，Hive可以将HiveQL映射成MapReduce作业Hive起源自Facebook由Jeff Hammerbacher领导的团队，是构建在hadoop上的数据仓库框架，2008年Facebook将Hive项目贡献给Apache基金会Hiv...

2019-01-05 17:22:48 449

原创 Hibernate学习笔记

hibernate是一个ORM（object/relation mapping）对象/关系映射框架，是jdbc的轻量级封装，一般用于项目持久层，hibernate的核心配置文件hibernate.cfg.xmlhibernate的基础是java的反射机制使用hibernate数据库表相对应的java类一般称为pojo（plain ordinary java object）简单的java...

2019-01-05 17:21:51 302

原创 HBase学习笔记

HBase：Hadoop Database是高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库，使用Hadoop HDFS作为文件存储系统，Hadoop MapReduce处理HBase中海量数据，ZooKeeper作为分布式协同服务，存储非结构化和结构化的松散数据，Columnar Store列式存储的数据库，可以在大数据里进行快速查询，列式数据库，可集群化，可以使用shell，web，a...

2019-01-05 17:20:33 321

原创 Hadoop学习笔记

大数据4V特征：Volume（海量的数据规模，体积数据量大），Variety（多样的数据类型，种类多数据关联性大），Velocity（快速的数据流转，变化速度快），Value（价值密度低）Hadoop技术大多来源于Google大数据技术，Google大数据技术可以在普通计算机上使用，Google只发表了论文并没有将大数据技术实现代码开源，Hadoop组织根据论文将其进行代码实现并进行了开源，H...

2019-01-05 17:19:36 1040

原创 Ajax学习笔记

Ajax（Asynchronous JavaScript and XML的缩写）允许浏览器与服务器异步通信技术，不用刷新页面可以与服务器通信的技术在Ajax模型中，数据在客户端与服务器之间独立传输，服务器只返回页面需要的那一部分XMLHttpRequest对象时JavaScript的一个扩展，可以是网页与服务器进行通信，是Ajax实现浏览器与服务器异步通信的常用对象XML（eXtens...

2019-01-05 17:12:51 177

原创 Spark 2.3.2源码编译，支持hadoop-2.6.0-cdh5.15.0

前置准备&软件安装spark2.3.2源码官方Apache下载地址：http://spark.apache.org/downloads.html编译spark源码的官方Apache参考文档http://spark.apache.org/docs/2.3.2/building-spark.html编译Spark源码的前置要求（官方Apache编译要求说明）： Mave...

2018-10-30 14:51:47 936 1

kaku812814843的博客