- 博客(11)
- 收藏
- 关注
RSS订阅原创 Hadoop数据倾斜及解决办法
数据倾斜：就是大量的相同key被partition分配到一个分区里，map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完。解决方案:增加jvm内存,这适用于第一种情况(唯一值非常少，极少数值有非常多的记录值(唯一值少于几千)),这种情况下,往往只能
2021-03-15 15:53:57
295
原创 解决CentOS8中ens33网卡丢失的问题
今天开启虚拟机后，网卡丢失了，执行ifconfig命令后，发现ens33网卡消失了。主要原因： NM托管未开启导致查看托管状态nmcli n显示 disabled 则为本文遇到的问题，如果是 enabled 则可以不用往下看了开启 托管nmcli n on重启systemctl restart NetworkManager...
2021-03-13 13:51:03
2599
4
原创 搭配Hadoop集群
hadoop基本配置1.主机配置：1.1IP地址#vi /etc/sysconfig/network-scripts/ifcfg-eth0重启网卡：#service network restart查看网卡#ifconfig1.2 主机名称#vi /etc/sysconfig/network修改主机名为：master1.3 hosts映射#vi /etc/hosts主机名映射验证： #ping master 1.4 给用户免密码root权限#修改/etc/sudo
2020-12-21 12:24:50
230
原创 在linux里编写shell脚本的简单理解
最近学习zookeeper时，同时启动不同虚拟机的命令有些麻烦，通过脚本可以减少重复的操作，节省时间提高效率。shell脚本：hell 是一个用 C 语言编写的程序，它是用户使用 Linux 的桥梁。Shell 既是一种命令语言，又是一种程序设计语言。首先在当前用户下创建一个文档（可以使用 vi/vim 命令来创建文件)，新建一个文件 zkServer.sh，扩展名为 sh（sh代表shell），扩展名并不影响脚本执行，见名知意就好.***文档代码如下***#!/bin/shecho "s
2020-12-03 13:55:40
233
原创 MyBatis全局配置文件中的设置（settings）
Mybatis配置项–settings1. settings的作用settings是MyBatis中极为重要的调整设置，会改变Mybatis的运行时行为。2.settings的设置<settings> <setting name="cacheEnabled" value="true"/> <setting name="lazyLoadingEnabled" value="true"/> <setting name="multipleResultSet
2020-10-19 20:22:50
2280
原创 MyBatis的了解与idea简单练习
认识Mybatis1. Mybatis历史 MyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code，并且改名为MyBatis 。2013年11月迁移到Github。 iBATIS一词来源于“internet”和“abatis”的组合，是一个基于Java的持久层框架。iBATIS提供的持久层框架包括SQL Maps和Data Access Objects（DAOs） --来源
2020-10-19 19:50:24
235
原创 面向对象（五）之访问修饰符与多态
访问修饰符（四个关键字）java中的访问修饰符有：public 公有的private 私有的default 缺省的，默认的protected 受保护的访问权限：适用范围<访问权限范围越小，安全性越高>多态多态是同一行为具有多个不同表现形式或形态的能力。（即同一事件发生在不同的对象上会蝉声不同的结果）一种类型，多种形态，对象在创建时是父类形态，在使用时是子类形态...
2019-10-22 16:47:30
134
原创 面向对象（四）之封装与继承
封装：关键字：private隐藏类的内部细节，提供外部访问的接口。叫做封装。封装使用get ，set方法。this: 表示当前对象。类中拥有构造方法。构造方法是用来构建对象。构造方法是： 方法名称与类名相同，无返回值的方法。默认一个类中，有一个无参构造方法。不写也有。当手动提供了一个有参构造方法。系统将不再提供无参构造方法。// 无参构造方法。 public User() { ...
2019-10-18 19:56:23
175
原创 面向对象（三）
对象的对象和对象数组对象中的对象在对象中拥有属性，其属性类型是其他类。对象数组：数组的类型是某个类，数组中的值是对象。Student类/** * * 学生类 * */public class Student { public String name; public String sex; public int age; public String stu...
2019-10-16 11:01:20
130
原创 面向对象（二）
全局变量，局部变量局部变量，作用域从定义位置开始，到代码块结束。（一般在方法中）全局变量，定义在类中，方法外的变量叫做全局变量。全局变量所有方法均能够访问。 public class Demo { ****// 全局变量**** int b = 10; public void test() { **//局部变量** int a = 10; ...
2019-10-16 10:49:19
106
原创 面向对象（一）
面向对象：抽象：封装：继承：多态：接口：java的常用类： API集合：setlistmap面向对象：什么是面向对象？面向对象： 将现实生活中的事物，封装成对象，通过对象的实例化和调用，完成需求。面向对象，关注点是对象的属性和方法，而忽略事物执行的顺序或过程。面向过程： 面向过程： 将现实生活中的事物，按照发生的顺序使用代码顺序执行。面向过程，关注事物执行的...
2019-10-14 20:29:45
279
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人