用贪心算法解背包问题时对单位重量物品价值排序Java实现

原创 本地通过secureCRT连不上hadoop102的方法

解决CRT连不上hadoop102

转载 虚拟机ping不通百度的解决方法

https://blog.youkuaiyun.com/ye1714505125/article/details/121190064

转载 yum install gcc报错解决方法

先执行这个方法wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.reposed -i ‘s/$releasever/7/g’ /etc/yum.repos.d/CentOS-Base.repoyum repolist然后再执行yum install gcc

原创 查看git每个人提交了多少代码

进入到代码父目录，鼠标右击，git bash，然后输入以下命令git log --format=‘%aN’ | sort -u | while read name; do echo -en “KaTeX parse error: Undefined control sequence: \t at position 5: name\̲t̲"; git log --au…name” --pretty=tformat: --numstat | grep “(.java)$” | awk ‘{ add += $1

原创 windows安装handoop

报错怎么办？ERROR (org.apache.hadoop.util.Shell:getWinUtilsPath) - Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.参考这个https://www.cnblogs.com/zling/

原创 2020-08-16

kafka的分区分配策略如果指定了分区号，直接发往相应的分区号如果没有指定分区号，但是发送的消息指定了key，那么就按照key的hashcode%分区数，得到的结果就是要发送到的分区号如果都没有指定，那么就按照默认的轮训的方式发送到各个分区默认是按照轮训的方式，还有一种是round robin方式，这种方式有两个前提条件：一个是消费者组的每一个消费者消费的topic是一样的，...

原创 2020-08-16

kafka的数据一致性问题这里涉及到两个概念：HW和LEO，LEO是一个分区的一个副本最大的offset，HW是一个分区所有副本最小的LEO。HW存在的意义：可以保证数据的可见性。

原创 2020-08-16

kafka的enable.autuo.commit参数详解这个参数有两个取值，一个是true，一个是false，默认是true。如果是true，还需要配置auto.commit.interval.ms这个参数使用，表示每几秒钟自动提交一次offset；如果enable.autuo.commit=false，那么就是不自动提交offset，如果不手动提交的话，也不是每一次消费者去拉去数据的时候都__consumer_offset主题去读取这个参数，而是再第一次拉取数据之后把offset保存在内存里，当第二

原创 2020-08-16

kafka的auto.offset.reset这个参数详解当设置了这个参数之后不一定会生效，它生效有以下两种情况：1）当消费者组第一次消费的时候，会生效2）当当前保存的offset对应的数据不存在的时候会生效（比如，broker保持的当前offset是100，但是log文件里面offset为100的数据已经过了默认保存的7天，对应的数据被删除了，那么这个参数也会生效）这个参数有两个取值，一个是latest，一个是earliest，默认是latest。举个例子，我们在控制台上开启一个消费者的时候，默

原创 kafka精准消费问题的多种解决办法对比

方式一、在kafka0.11版本以前，还没引入幂等性就是，这种方式解决重复消费的问题的。设置acks=-1，kafka集群发生故障导致kafka的数据重复，在下游消费者消费数据的时候去重解决重复消费问题，这种方法的缺点是如果下游有很多消费者，那么要多次对数据进行去重，很麻烦。方式二、利用 at least once + 幂等性 = exectly once需要将producer的一个参数en...

原创 聊聊Kafka的ACK、ISR、HW、exeact_once

ACK的生成这向Kafka集群生成数据时Kafka集群给生产者响应策略，acks有三种取值：0、1、-1（all）。 当acks=0的时候，如果follow的数据和leader的数据不一致的时候leader挂掉，这个时候重新选择leader，follow还没来得及同步leader的数据就丢掉了；还有一种情况是当leader没挂也会丢数据，即当网络动荡的时候，数据在网络传输过程中丢掉，就算lea...

原创 Kafka消费者的分区分配策略

有两种策略，range和roundRobin。 roundRobin策略有一个前提是只有当消费者组的每个消费者订阅的主题一致的时候才能用这种方式，所以kafka默认的策略是range。 range策略是以topic为整体进行分配的，roundRobin是以消费者组为单位进行分配的。 假如有两个topic：T1和T2，每个分区都有三个个分区，T1的两个分区为T10、T11、T12，T2的两个...

转载 Sqoop遇到的坑

想必有些朋友刚开始接触sqoop时，在从mysql(或者别的RDBMS)导入数据到hdfs后会发现原来在mysql中字段值明明是NULL, 为什么到hive查询后 where field is null 会没有结果呢，然后通过检查一看 居然NULL值都变成了字段串’null’。其实你在导入的时候加上以下两个参数就可以解决了，–null-string ‘\N’–null-non-string...

原创 如何往Hive里面造测试数据？

在做*****这个项目的大半年时间了，由于我写的spark程序需要到Hive表读数据，而开发环境的Hive表里面没有数据，需要自己造，所以开发和测试环境用到的Hive的测试数据基本上都是我造的。下面是我总结的一些经验刚开始的时候Hive里面有13张标签表，总共1700多个字段，在开发测试环境不需要用完所有的13张表，没必要，我只往三张表里造数据，平时测试的时候也只测这三张表，太多了容易乱，但...

原创 主机可以telnet虚拟机，虚拟机可以ping通主机，但是虚拟机telnet不通主机

我出现以上情况，用用CRT工具也连不了hadoop102，但是可以连上103和104。我出现这样的情况的原因：电脑连了WiFi，它自动获取IP为192.168.1.102，而我第一台虚拟机的IP也是192.168.1.102，所以当再主机ping 192.168.1.102 任意端口 的时候是ping不通的。我的解决办法：将无线网关闭了，重新启动集群，然后就可以telnet通了。但是我还要上...

原创 hive使用tez引擎后启动不起来的原因

我遇到这样的情况，也不报错（因为我关闭了yarn的内存检查），如果不是用tez引擎就有启动hive，所以我百思不得其姐。后来我觉得会不会是因为内存太小，启动不起来呢，我就将集群的很多组件重启一遍：包括hdfs、yarn、flume、kafa、zookeeper。后来就重新启动hdfs和yarn和zookeeper，然后就可以启动hive了。...

原创 常用Linux命令

**1.top**系统的负载、任务、cpu、内存；**2.iotop -o**查看比较高的磁盘读写程序；**3.netstat -tunlp |grep 端口号**查看端口的占用情况；**4.uptime** top的简化版**5.ps aux**查看进程**6.find**find 目录 size/name 参数...

原创 ES的所有数据类型分为三种

1.不用索引、不用分词index:false2.要索引、不要分词keyworld3.不要索引、不要分词text

原创 mysql怎么设置行号？

如果mysql的表test1有列，一列是id，值为null，一列是其他列，怎么让id自增呢？SET @r := 0;UPDATE test1 SET id = (@r := @r +1);SELECT * FROM test1;

原创 mysql 的explain关键字解析

执行explain+sql会出现一张表，该表包括很多一下列：1.id这个id不是唯一的。1.1 id相同就从上往下执行；1.2 id不同，数字大的先执行；1.3 id相同又不用；2.select_type2.1 simple 只涉及到一张表的查询；2.2 primary 复杂查询的最外层查询；2.3 derived 在from后面的子查询；2.4 subquery 在sele...

原创 mysql的explain的type什么时候是ref什么时候是eq_ref?

原创 mysql5.6两表关联的执行顺序

mysql5.6两表关联的执行顺序：，1.当两表都为空表的时候，from后面先跟谁谁先被执行；2.如果两张表的记录条数都是1，from后面跟谁谁先执行；3.如果两张表的记录条数不一致，大表先执行；...

原创 MySQL的索引

用explain能干嘛？1.表的读取顺序；2.数据读取操作的操作类型；3.哪些索引可以被使用；4.哪些索引被实际使用；5.表之间的引用；6.每张表有多少行被优化器查询；...

原创 MySQL什么时候需适合建立索引，什么时候不适合建立索引？

一、适合建立索引的情况：1.主键会自动建立索引；2.经常作为查询条件的字段；3.经常需要排序的字段；4.经常需要分组和统计的字段；二、不适合建立索引的情况：1.表的记录数少；2.经常需要更新的字段；3.取值可能性比较少的字段，比如性别；4.分布不均匀的字段；...

原创 在SQL中怎么求第二大的值

以下是等价的：第二大不等于最大的最大小于最大的最大最大两个中的最小

原创 maven中使用阿里云镜像

在settings.xml文件中添加如下代码 <mirrors> <mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <name>Nexus aliyun</name> &lt

原创 maven处理编译版本的问题

方法一： 在pom.xml文件中添加如下代码，缺点：每次新建项目都要添加一次 org.apache.maven.plugins maven-compiler-plugin 3.5.1 ...

原创 maven的面试题

1.maven有哪些优点？ （1）依赖管理，节省空间 （2）一键构建 编码 编译 测试(junit) 运行 打包 部署 （3）应用于大型项目 可以提高开发效率2.Maven常见的依赖范围有哪些? 编译 测试 运行 打包 compile(struts2-core) 要 ...

原创 用sql脚本写job

declare job_id pls_integer; begin sys.dbms_job.submit(job => job_id, what => ‘clear_fr_info;’, next_date => sysdate, ...

原创 eclipse新建工作空间配置

eclipse新建工作空间配置eclipse1.General –> Workspace –> UTF-8 2.搜索jsp –> UTF-8 3.Server –> Runtime Environments –> add 4.java –> Installed Jres 5.字体大小 搜索font –> Colors and Fo

原创 蓝桥杯 S01串 Java 算法训练

问题描述 　　s01串初始为”0” 　　按以下方式变换 　　0变1，1变01 输入格式 　　1个整数(0~19) 输出格式 　　n次变换后s01串 样例输入 3 样例输出 101 数据规模和约定 　　0~19import java.util.Scanner;public class Main { public static void main(String[] ar

原创 蓝桥杯 算法训练 寂寞的数

问题描述 　　道德经曰：一生二，二生三，三生万物。 　　对于任意正整数n，我们定义d(n)的值为为n加上组成n的各个数字的和。例如， d(23)=23+2+3=28, d(1481)=1481+1+4+8+1=1495。 　　因此，给定了任意一个n作为起点，你可以构造如下一个递增序列：n,d(n), d(d(n)),d(d(d(n)))….例如，从33开始的递增序列为： 　　33, 39

原创 蓝桥杯 算法训练 猴子分桃

问题描述 　　秋天到了，n只猴子采摘了一大堆苹果放到山洞里，约定第二天平分。这些猴子很崇拜猴王孙悟空， 所以都想给他留一些苹果。第一只猴子悄悄来到山洞，把苹果平均分成n份，把剩下的m个苹果吃了,然 后藏起来一份，最后把剩下的苹果重新合在一起。这些猴子依次悄悄来到山洞，都做同样的操作，恰好 每次都剩下了m个苹果。第二天，这些猴子来到山洞，把剩下的苹果分成n分，巧了，还是剩下了m个。 问，原来

原创 蓝桥杯 算法训练 新生舞会 Java

问题描述 　　相信经过这个学期的编程训练，大家对于字符串的操作已经掌握的相当熟练了。今天，徐老师想 测试一下大家对于字符串操作的掌握情况。徐老师自己定义了1,2,3,4,5这5个参数分别指代不同的5 种字符串操作，你需要根据传入的参数，按照徐老师的规定，对输入字符串进行格式转化。 　　徐老师指定的操作如下： 　　1 表示全部转化为大写字母输出，如abC 变成 ABC 　　2 表示全部转换

原创 蓝桥杯 算法训练 Java 动态数组使用

从键盘读入n个整数，使用动态数组存储所读入的整数，并计算它们的和与平均值分别输出。 要求尽可能使用函数实现程序代码。平均值为小数的只保留其整数部分。 样例输入: 5 3 4 0 0 2 样例输出: 9 1 样例输入: 7 3 2 7 5 2 9 1 样例输出: 29 4import java.util.Scanner;public class Main { p

原创 蓝桥杯 算法训练 关联矩阵

问题描述 　　有一个n个结点m条边的有向图，请输出他的关联矩阵。 输入格式 　　第一行两个整数n、m，表示图中结点和边的数目。n<=100,m<=1000。 　　接下来m行，每行两个整数a、b，表示图中有(a,b)边。 　　注意图中可能含有重边，但不会有自环。 输出格式 　　输出该图的关联矩阵，注意请勿改变边和结点的顺序。 样例输入 5 9 1 2 3 1 1 5 2 5

原创 拦截导弹 蓝桥杯算法训练 Java

问题描述 　　某国为了防御敌国的导弹袭击，发展出一种导弹拦截系统。但是这种导弹拦截系统有一个缺陷： 虽然它的第一发炮弹能够到达任意的高度，但是以后每一发炮弹都不能高于前一发的高度。某天， 雷达捕捉到敌国的导弹来袭。由于该系统还在试用阶段，所以只有一套系统，因此有可能不能拦截 所有的导弹。　　输入导弹依次飞来的高度（雷达给出的高度数据是不大于30000的正整数），计算这套系统最 多能拦截多少

原创 用贪心算法背包问题，Java实现

package n18_背包问题贪心算法;/* * 用贪心算法解背包问题 */public class Main { public static void main(String[] args) { // 单位重量价值分别为:10 5 7 6 3 8 90 100 double w[] = { 0, 50, 80, 30, 40, 20, 60, 10

原创 用回溯算法解装载问题,Java实现

用回溯算法解装载问题,Java实现package n20_装载问题回溯算法;可以先求出最优值，然后再次执行和求最优值差不多的函数去求最优解。这样总的执行时间反而得到优化。参考书籍：《计算法算法设计与分析》 王晓东编著第四版第5.2节。

原创 用贪心算法解背包问题Java实现

用贪心算法解背包问题,给出的物体是无序的,需要我们按照物体的单位重量的价值进行排序.