- 博客(20)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 NIO原理（1）-----为什么需要内核缓冲区和用户缓冲区
1.为什么需要缓冲区（系统内核缓冲区和用户缓冲区）现代的操作系统通常都具有多任务处理的功能，通常靠进程来实现。由于操作系统快速的在每个进程间切换执行，所以一切看起来就会像是同时的。同时这也带来了很多安全问题，例如，一个进程可以轻易的修改进程的内存空间中的数据来使另一个进程异常或达到一些目的，因此操作系统必须保证每一个进程都能安全的执行。这一问题的解决方法是在处理器中加入基址寄存器和界限寄存器。...
2019-07-21 10:26:50
4709
2
转载 机器学习-无监督学习-KNN算法
机器学习—无监督学习-KNN算法1.KNN算法是什么？KNN算法是一种监督式学习算法，核心思想是用距离最近的k个样本数据的分类来代表目标数据的分类。从原理上来说，存在一个训练样本集，这个数据训练样本的数据集合中的每个样本都包含数据的特征和目标变量（即分类值），输入新的不含目标变量的数据，将该数据的特征与训练样本集中每一个样本进行比较，找到最相似的k个数据，这k个数据出席那次数最多的分类，即输...
2019-07-19 20:07:05
13447
3
原创 序列化机制原理及实现
序列化是什么？序列化就是指对象通过写出描述自己状态的数值来记录自己的过程，即将对象表示成一系列有序字节（二进制文件），反序列化是将顺序倒过来，从有序的字节中表示成原来的对象序列化的用途？序列化在开发中经常用到，主要的应用场景在网络传输和文件IO流得写入和写出，网络传输上，客户端将对象序列化为二进制字节然后传输到服务器，服务器反序列化为对象，进行逻辑处理。java实现得序列化机制的原...
2019-07-01 09:26:51
1179
1
原创 websocket编程——模拟tcp底层原理-java代码实现
首先对于TCP通信来说，每个TCP内核都包括两个部分，一个是接收缓冲区，另一个是发送缓冲区。通过java代码模拟实现，服务端代码：package cn.com.sjzc.edu.RMI.socketdemo;import java.io.*;import java.net.ServerSocket;import java.net.Socket;public class...
2019-06-29 19:26:30
1016
原创 爬取斗鱼--scrapy
总体流程：爬取该网页所有的主播名，主播房间号，主播剧场名称，主播的房间的url路径首先打开https://www.douyu.com/directory解析javascript里面变量得到cate2Id的值，进行拼接https://www.douyu.com/gapi/rkc/directory/2_+cate2Id然后进行爬取，获取的response为jso...
2019-06-05 20:55:07
451
原创 安装psycopg2 ERROR: Command "python setup.py egg_info" failed with error code 1 in
场景：pip 安装psycopg2故障现场：问题排查：个人感觉是少依赖包。问题解决：yum install python-devel postgresql-develpip install psycopg2
2019-05-31 17:04:43
542
原创 nginx-安装和配置
Nginx安装：Step1、在modules目录下创建nginx目录[root@master /]# mkdir /opt/modules/nginxStep2、下载安装包[root@master /]#wget http://tengine.taobao.org/download/tengine-2.0.2.tar.gzStep3、解压到指定目录：[root@maste...
2019-04-18 16:05:03
196
原创 论基础的重要性---算法--bat的敲门砖
曾几何时，无数人羡慕的码农高薪职业，如今成为了工作996生病icu的代名词。曾几何时，无数人转型互联网行业，如今却迎来了互联网寒冬。春招的时候去试了试水，了解一下，才知道如今的互联网门槛已经不是当时的那么容易了，企业的要求已经远远不是只要求简单的crud操作就可以得了，那些bat的大厂更是学历在前，算法在后。对框架底层的要求更是越来越深了。前一阵子面试了一轮的大数据学长回来，向我们传授...
2019-04-06 16:31:08
215
原创 storm编程-项目实战篇-wordcount程序
部分转载：（1）Open()是初始化方法（2）close()在该spout关闭前执行，但是并不能得到保证其一定被执行，kill -9时不执行，Storm kill {topoName} 时执行（3）activate()当Spout已经从失效模式中激活时被调用。该Spout的nextTuple()方法很快就会被调用。（4）deactivate()当Spout已经失效...
2019-03-05 15:34:16
398
原创 并发编程--控制多线程的执行顺序的方法-join和exector
1.java中join方法保证，多线程执行的时候，主线程不会立即执行，而是等到子线程执行完成之后，在进行主线程。代码如下：首先创建三个自己的线程；package cn.com.sjzxy.edu.method;public class MyThread2 implements Runnable{ @Override public void run() { ...
2019-03-05 11:08:51
1061
原创 Exception in thread "main" java.lang.UnsupportedClassVersionError: cn/com/sjzxy/edu/wordcount/PVMain
我将eclipse打成jar包部署到storm集群环境爆出错误。原因是我将本机的jdk1.8的环境打城的jar部署到jdk1.7的集群上了。属于高版本在低版本的JVM进行。
2019-03-04 17:28:34
982
原创 zookeeper-错误排查-java.net.NoRouteToHostException: 没有到主机的路由 (Host unreachable)
1.执行中出现错误bin/zkServer.sh startJMX enabled by default Using config: /opt/zookeeper/zookeeper-3.4.5/bin/../conf/zoo.cfg Starting zookeeper ... /opt/zookeeper/zookeeper-3.4.5/bin/zkServer.sh: 第 103 行...
2019-03-03 15:53:47
17936
1
原创 安装zookeeper集群
1.解压zookeeper安装包到/opt/module/目录下2[root@hadoop01 module]# tar -zxvf zookeeper-3.4.5.tar.gz -C /opt/module/ 2创建zkData[root@hadoop01 module]# mkdir -p zookeeper-3.4.5/zkData3配置文件更改名称 mv zoo_...
2019-03-03 15:44:29
191
原创 linux-安装jdk和配置主机名称
1.安装jdk 1 查询是否安装java软件： rpm -qa|grep java 2用工具将jdk导入到opt目录下面的software文件夹下面 3解压jdk到/opt/module目录下 tar -zxf jdk-7u79-linux-x64.gz -C /opt/module/ 4配置jdk环境变量 [root@hadoop02 ~]# ...
2019-03-03 10:33:38
289
原创 机器学习算法--pagerank
什么是pagerank算法：该算法的核心思想就是“一个网页的访问量越多，这个网页越是优质的，如果很多优质的网页都指向一个网页，那么这个网页往往也是优质的。”这个的意思是网页的重要性等于所有指向这个网页的网页的重要性之和。pagerank算法有什么用呢？往往用于搜索引擎中的根据网页之间的超链接计算的技术，而将网页进行排名的要素直以，又称网页排名，谷歌左侧排名。pagerank算法的具...
2019-02-22 14:46:08
359
原创 maven-pom.xml配置-必备
使用maven创建项目最重要的一个配置文件是pom.xml，通过配置pom.xml文件可以实现对项目的打包，编译 和发布等流程。首先创建项目maven：通过模板镜像创建maven web项目，我一般选择webapp的镜像，然后我们解释下下面两个命名：groupId是指的是公司的域名，artfactId指的是功能的名称，就是项目的名称。groupid和artifactId被统称为“坐...
2019-02-17 21:02:29
278
原创 架构之路-工程化管理工具-maven安装和setting.xml加载顺序，maven的生命周期
从 现在开始打好基础，一步一步来，争取在一年之内有质量一般的提升，虽然半年多没有写博客了，但是希望能在新的一年有新的进步，上半年深刻的理解了什么是塞翁失马，焉知非福，锻炼了自身的一些软性的能力，但是半年来的技术不进反退。好了，来记录一下自己maven的学习经历。部分截图是我的实际项目中的部分截图，只涉及到maven的pom文件。首先安装maven就不用多说了。两步走，下载maven，解压，...
2019-02-17 18:13:23
240
原创 什么是大数据
粗略学习大数据一个月，从LInux开始学习各种命令，了解各种文件系统的权限，学会了如何在黑窗口装逼。嘿嘿。。。逐渐的开始接触hadoop框架，勉勉强强算是hadooop家族的半个成员，，但是也许是没有学的透彻，，个人认为。。好像大数据本质就是数据统计概率。。统计数学题，，已经忘记什么时候做过这样的数学题了，，大概是小学吧。。现在的我大概只是弄过wordcount这样的简单数据统计，...
2018-06-02 20:51:09
521
原创 hadoop源代码学习分析-----mapper和reduce
首先初入hadoop家族，了解了一些hadoop运行作业的基本流程，由于对编写八股文形式的hadoop程序缺少认知，所以翻了翻源代码。首先有关继承mapper类的源代码主要由几个方法组成其中map函数是最经常被重写的源码中只是运用了封装好了的输出类型的Context进行了简单的输出。听说技术高超的人会重写run方法：setup函数会在执行map任务之前调用一次...
2018-05-26 16:29:21
1574
原创 查看源代码的好处，源代码对于程序员的意义在哪里
第一次写文章，文笔自然也就那么回事。。纯属个人观点。。曾经不止一次，有人建议我多看看源代码，但是我一直不以为意，因为一直以来的原则就是，，我们是站在巨人的肩膀上的，到时候会调用就行了。。学习java一年之后，感触良多，在过去的一年里，从java基础到前端html，再到数据库，servlet，jsp，spring，springmvc，mybatis，springboot，技术日新月异，程序猿...
2018-05-26 11:09:04
12310
1
spark大数据开发实例教程
2019-04-02
深入理解Spark调度系统之调度器调度算法(FIFO_FAIR源码).pdf
2019-04-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人