- 博客(137)
- 资源 (13)
- 收藏
- 关注
RSS订阅原创 Go语言精进之路读书笔记(第二部分-项目结构、代码风格与标识符命名)
说明：《Go语言精进之路》第一部分-熟知Go语言的一切，不在博客中做读书笔记了，大家可以自己读一读，每个人心里都会有自己对Go语言的认识和理解。直接从第二部分-项目接口、代码风格与标识符命名开始。
2025-02-15 16:41:02
529
原创 2.生成Transformation
以下面的WordCount为例//@Override})@Override}).sum(1).print();
2024-12-11 02:17:26
685
原创 1.1.Flink的项目初始化和Hello-world
为了加速依赖的下载，尤其是在国内，可以配置maven的国内镜像，配置方法为设置maven的settings.xml文件。代码不是很复杂，Flink的api相对而言和Spark比较类似，先创建一个上下文的执行环境，在项目结束的位置，使用execute运行，Spark中也有collect操作。对于输出的一些解释，对于输出我们做一些解释，可以看出流计算和批计算的差异。输入hello world后，输出(hello,1) (world,1)b.有状态，通过对hello的追踪，可以看出计算时是可以读写状态的。
2024-12-09 11:15:13
568
原创 1.flink快速入门
下图表示的是一个简单的flink-job的计算图，这种图被称为DAG(有向无环图)，表示的这个任务的计算逻辑，无论是spark、hive、还是flink都会把用户的计算逻辑转换为这样的DAG，数据的计算按照DAG触发，理论上只要构建出这样一个DAG图，就可以描述清楚用户的计算逻辑，在DAG的基础上，将Node并行化就可以将整个job并行化。
2023-08-19 22:34:31
662
原创 k8s快速入门
快速入门系列旨在以最少的时间对知识取得最直观的认识，start！1.k8s组件k8s和大多数大数据框架一样，为master-slave结构，其中master和node节点可以为一到多个，分为一主多从架构（平时玩）和多主多从架构（生产）master：kubectl：用户的控制命令，想一下systemctl apiserver：集群的唯一入口，接收用户的命令 scheduler：资源的调度器，说的简单点就是它告诉你哪台节点可用 controller-manager：控制节点的组件，比如
2021-12-16 23:20:15
1703
原创 Linux环境下MySQL数据库的安装配置
引言近期学习hive和Kafka eagle的过程中，需要环境中有MySQL服务，于是自己动手搭建MySQL环境，本以为是个很简单的事情，随便在网上搜一搜教程就可以完成，没想到按照大多数教程安装之后，MySQL都不可用，于是我自己安装配置成功后，记录一下安装的步骤。1.系统环境和准备工作我的Linux系统是cengtos6.8，安装在虚拟机中的，准备安装的MySQL版本是5.6.24版本，MySQL的安装包https://download.youkuaiyun.com/download/Haidaiya/1
2021-03-20 15:08:26
196
原创 Leetcode001两数之和(解题思路-java解法-scala解法)
解题思路Java解法package leetcode;import java.util.HashMap;public class L01两数之和java { public static void main(String[] args) { } public int[] twoSum(int[] nums, int target) { // 定义一个hashmap HashMap<Integer, Integer>.
2021-03-05 20:06:51
283
原创 网络科学—Windows下生成LFR人工网络数据集的步骤
目录1 引言2 步骤2.1 下载LFR程序包2.2 解压LFR程序包2.3 进入cmd程序2.4 生成LFR网络1 引言很多做网络科学研究的学者研究生等都需要经常用到人工网络的数据，最为常用的就是LFR人工网络，下面详细描述了LFR网络的生成方式2 步骤2.1 下载LFR程序包直接点击链接下载即可LFR人工网络生成包不需要积分，点个关注就可以下载咯2.2 解压LFR程序包直接解压即可，下图是我解压的路径2.3 进入cmd程序在解压.
2021-01-12 13:42:44
3201
3
原创 JVM知识白话讲解
首先JVM全称java虚拟机，是java面试过程中常问的问题，这里对JVM作讲解，足以应付面试，以后工作中如果用到，还需要深耕，学习以下知识大概1小时就可以应付一般的面试了一、JVM内存结构以上蓝色部分表示线程私有的，表示每个线程单独都有一份：栈、本地方法栈、程序计数器。黄色部分表示线程共有的部分：堆、方法区。首先看线程私有的部分：栈：栈是一种先进后出的数据结构，代码的运行就是压栈弹栈的过程；本地方法栈：java底层保留了许多c写的方法，这些c写的native方法就是依靠本地方法栈执行；程序
2020-09-11 14:06:47
255
原创 Java面试题更新帖（2020年05月20日更新）
一、Spring1.谈一谈Spring中的IOC容器和DI依赖注入答：Spring中的IOC容器，即inverse of control控制反转，举个例子，在使用Spring之前，我们在service层使用dao层的对象时，我们都习惯new一个dao层的对象使用，这是一种很强的依赖，不符合Java中低耦合高内聚的原则，为了解耦，我们就引入了工厂模式，原来我们获取对象的方式都是自己new出来...
2020-04-19 14:39:59
370
原创 JAVA实习找工作——多线程
线程的创建方式一/** * 从创建多线程的方式一 * 1.创建一个类继承Thread * 2.重写Thread类的run方法-方法体的内容就是你这个线程想要完成的任务 * 3.在主方法中new类的对象 * 4.调用这个对象的start方法 * 此时主线程main在运行，我们自定义的线程也在运行 */package com.eight;/** * 从创建多线程的方式一...
2020-04-16 19:44:11
371
原创 JAVA实习找工作——集合相关问题
引言先简述Java中的集合结构，分为两类：单列集合Collection和双列集合Set单列集合Collection：有序可重复，一般用来代替数组，称作可变数组双列集合Map：ArrayList、Vector、和LinkedList的区别ArrayList：作为List接口的主要实现类之一，线程不安全，效率高，底层使用Object[] elementData存储。...
2020-04-15 15:56:06
326
原创 JAVA实习找工作——反射机制和动态代理
引言代理模式是23种设计模式中的一种，是比较重要的知识，在Spring框架中比较重要的AOP（Aspect Oriented Programing）也是基于动态代理实现的。代理的理解关于代理的理解，我举个例子说明：20年前，我们想要购买一台联想电脑的方式是：我们去联想的工厂，工厂卖给我们电脑，并且提供售后的服务。在这几十年的发展中，出现了一些经销商，他们从联想工厂进货，然后卖给我们...
2020-04-14 15:39:14
235
原创 网易2019笔试牛牛找工作Java解法
题目描述为了找到自己满意的工作，牛牛收集了每种工作的难度和报酬。牛牛选工作的标准是在难度不超过自身能力值的情况下，牛牛选择报酬最高的工作。在牛牛选定了自己的工作后，牛牛的小伙伴们来找牛牛帮忙选工作，牛牛依然使用自己的标准来帮助小伙伴们。牛牛的小伙伴太多了，于是他只好把这个任务交给了你。输入描述每个输入包含一个测试用例。每个测试用例的第一行包含两个正整数，分别表示工作的数量N(N&l...
2020-04-12 20:57:10
353
原创 JAVA实习找工作——深度优先搜索
深度优先搜索，又叫做dfs，是一种搜索算法，关于这种算法最好就是题目实践，下面举几个例子讲解dfs例题1：输入n，请输出1-n的全排列深度优先搜索的思路如下public static void dfs(int step){ 判断边界，递归的出口 for(尝试每一种可能){ 继续下一步dfs(step+1) }}这里假设n=3，那么就是求...
2020-04-02 13:26:52
233
原创 JAVA实习找工作——递归与循环
递归是一种很重要的思想和算法，我记得大学中很流行的编程比赛，比如蓝桥杯、ACM、程序设计天梯赛等等，很多题目都可以使用递归来求解。理解递归需要三句话：（1）递归就是循环（2）递归就是一个方法不断的调用自己（3）递归需要一个出口，必须有if语句停止方法的调用下面用三个简单的例子来说明一下递归三个例子分别是输出0-9；对数组求和；判断字符串是否相等。这三个例子都可以很好的使用f...
2020-04-01 21:16:17
233
原创 JAVA实习找工作——冒泡排序、快速排序
一、冒泡排序冒泡排序是一种基本的排序算法，主要的思想是：假如要求从小到大排序，比较相邻的元素，当左边的元素大于右边时，就交换位置。比如一个数组：9-18-6-5-12。将这5个元素从小到大排序，思路如下（1）比较第1位和第2位，不用交换；比较第2位和第3位，交换9-6-18-5-12；比较第3位和第4位，交换9-6-5-18-12；比较第4位和第5位，交换9-6-5-12-18。此时，...
2020-03-31 21:03:50
287
原创 《白话深度学习与Tensorflow》读书笔记01
目录第一章 机器学习是什么1.1 聚类1.2 回归1.3 分类在入门深度学习的过程中，一直依赖于视频教程的讲解，其实这样是不科学的，目前深度学习的相关教学视频都是由一些知名的博士讲解，还是晦涩难懂的，毕竟差距太大，很难学到一些东西，书籍以及论文才是正确的学习方法，但是论文大多数都是国外的大佬写的，对于英文水平还是有一定要求的，作为工科生（以后不搞学术来说）还需要结合动手才能事半...
2019-01-05 19:18:47
773
原创 Hadoop从入门到精通系列之--5.HDFS的API
目录一 客户端环境1.1 配置环境变量1.2 eclipse/IDEA准备二 HDFS的具体API操作2.1创建HDFS客户端对象并测试创建文件夹2.2 测试文件上传2.3 测试文件下载2.4 测试删除文件夹2.5 测试查看文件详情2.6 判断是文件夹还是文件一 客户端环境前面博客叙述了HDFS的shell操作，回顾一下：使用bin/hadoop ...
2018-12-10 22:25:06
546
原创 Hadoop从入门到精通系列之--4.HDFS概述和HDFS的shell操作
目录一 HDFS概述二 HDFS的优缺点2.1优点2.2缺点三 HDFS的组成结构四 HDFS文件块的大小4.1 什么是块4.2总结五 HDFS的shell操作5.1基本语法5.2常用命令一 HDFS概述HDFS（Hadoop Distributed File System）是一个文件系统，主要用来解决一个操作系统不能存储大量数据，所以讲...
2018-12-09 21:26:44
487
原创 Hive从入门到精通系列之--0.Hive概述和安装环境
一 Hive概述Hive是由Facebook开源用于解决海量结构化日志的数据统计Hive是基于Hadoop框架的一个数据仓库分析工具，这里对于数据仓库，何为数据仓库？mysql，orical，sqlserver我们叫这些为数据库，所谓数据仓库就是在这个数据仓库中这些数据库都包含了进去。Hive既然是基于Hadoop的，那么也就意味着启动Hive之前必须要启动Hadoop，Hive可以...
2018-12-06 14:39:54
908
1
原创 Hadoop从入门到精通系列之--3.完全分布式环境搭建
目录一 什么是完全分布式二 准备服务器三 集群分发脚本3.1 scp（secure copy）安全拷贝3.2 rsync远程同步3.3 集群分发脚本四 集群规划4.1 规划思想4.2 具体配置4.3 ssh免密登陆一 什么是完全分布式之前3篇博客搭建的环境都是伪分布式的环境，就是说除了我自己的电脑（win10）外，只有一台服务器（Linux），这在真...
2018-12-04 20:29:58
665
原创 Zookeeper从入门到精通系列之--1.Zookeeper的API操作
一 IDEA环境搭建1.1 创建一个maven项目在pom.xml添加如下依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId...
2018-12-02 21:26:49
939
原创 Zookeeper从入门到精通系列之--0.Zookeeper概述及安装环境
目录一 Zookeeper入门1.1 概述1.2 Zookeeper的特点1.3Zookeeper的文件系统1.4 Zookeeper的下载二 Zookeeper分布式安装2.1 解压配置三 集群启动四 Zookeeper重点4.1Zookeeper选举机制4.2监听器原理一 Zookeeper入门1.1 概述Zookeeper（润滑剂）是为...
2018-12-02 19:21:40
2904
原创 Hadoop从入门到精通系列之--2.本地模式和伪分布模式
目录一 Hadoop本地模式和伪分布式模式概述二 Hadoop伪分布式环境搭建2.1步骤分析2.2配置集群2.3启动集群2.4 配置YARN2.5启动集群（带YARN）2.6查看YARN三 在集群上运行第一个程序3.1 准备wordcount程序3.2历史服务器配置一 Hadoop本地模式和伪分布式模式概述安装了Hadoop环境之后，只是搭建了...
2018-11-29 20:51:29
597
Mybatis.pdf
2019-09-16
SpringMVC.pdf
2019-09-16
Spring.pdf
2019-09-16
尚硅谷大数据之Hadoop入门
2018-11-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人