G_A34-优快云博客

原创 Hadoop学习笔记----序列化案例

项目需求根据给定数据统计每一个手机号耗费的总上行流量、总下行流量、总流量编写MapReduce程序编写Bean对象package com.ljx.mr.writable;/** 1.定义实现writable接口* 2.重写序列化反序列化方法* 3.重写空参构造* 4.toString方法** */import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.Data.

2021-11-07 14:32:53 1043

原创 Flume基础概述

Flume基础概述1、什么是flumeflume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一。Flume 是一个具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存

2021-10-29 20:36:47 425

原创 Zookeeper选举机制

Zookeeper第一次启动的选举机制SID：服务器ID。用来唯一标识一台Zookeeper集群中的机器，每台机器得SID不能重复，和myid一致。ZXID：事物ID。ZXID是一个事物ID。用来标识一次服务器状态的变更。在某一时刻，急群众的每台机器的ZXID值不一定完全相同，这和Zookeeper服务器对于客户端“更新请求”的处理逻辑有关。Epoch：每个Leader任期的代号。没有Leader时同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加。服务器1启动：发动一.

2021-10-23 16:13:35 711

原创 Python基础项目----批量下载图片

项目需求：将站长素材官网的关于星空的照片前10页，批量下载打本地。实现代码如下：import urllib.requestfrom lxml import etreedef create_request(page): if(page == 1): url = 'https://sc.chinaz.com/tupian/xingkongtupian.html' else: url = 'https://sc.chinaz.com/tupian/x

2021-10-15 09:18:18 186

原创 MySQL----约束

该篇文章主要介绍了MySQL中的主键约束、外键约束、检查约束、唯一约束四种约束。一、约束的定义约束（constraint）：约束实际上就是限制表中数据的条件二、约束的种类2.1 主键约束主键约束在表中定义一个主键来唯一确定表中每一行数据的标识符。主键一定是非空和唯一建表时设置主键约束第一种创建方式create table goods_type( good_type_id number(10), good_type_name varchar(30), .

2021-09-24 16:28:38 656

原创 2021-09-17浅谈面向对象

文章目录前言一、什么是面向对象二、使用步骤 1.引入库 2.读入数据总结前言面向对象的思想和应用已经超越了程序设计和软件开发，早已经扩展到各个领域。本文介绍了什么是面向对象。一、面向对象是什么？面向对象的方法主要是把事物对象化，包括属性、方法模块以及行为。面向对象的定义更符合实际生活的思想，正所谓万物皆对象。通过面向对象的思想，将现实生活中的事物甚至关系抽象成类、继承，帮助人们实现对现实世界的抽象与数字建模。面向对象是指一种程序设计范型，同时也是...

2021-09-18 16:27:00 141

G_A34的博客