m0_48624662的博客

原创 flink之算子 min 和minBy 有什么区别??

网上找的答案和官方文档表述的都不太易懂... * Author: hjm * Date: 2019/01/10 15 09 * Description: * 直接上结论吧: * 假设当一个filed有多个字段时 province city money * min 将会把最小的记录的分组字段(这里是province)& 比较字段(money)进行返回 * 而其他字段(city)将保留第一次出现的值* 命令行输入:nc -lk 8888 * 例如输入以下数据: * -------..

原创 大数据Spark算子---coalesce函数 和repartition函数

原创 Hbase shell常用命令（不包括增删改查）

#查看所有regionserver节点及端口，查看负载。#status 或status ‘simple’##查看该HBASE实例下的表。

原创 12334444

万维-》 根据锚点前与最后一个/ 后之间的字符串http://www.w3.org/2000/01/rdf-schema# -> rdfshttp://www.w3.org/1999/02/22-rdf-syntax-ns# ->rdfs http://www.w3.org/2001/XMLSchema#decimal ->xsd http://www.w3.org/ns/shacl#datatype ->shacl...

原创 IDEA创建项目时没有Spring Initializr选项

那是因为社区免费版没有 Ctrl +alt +S在plugins--maketplace搜索spring assistant 安装重启即可

原创 secureCRT连接虚拟机延迟高问题解决

secureCRT连接虚拟机延迟高问题解决1.在Linux虚拟机命令行输入以下命令vi /etc/ssh/sshd_config找到这个 #UseDNF yes注释去掉 改成 UseDNS no 如图然后按ESC shift zz 保存退出在命令行输入 systemctl restart sshd2.如图选中session下你的某个虚拟机 按 ALTER+ENTER到这个界面 依次点击红黄蓝三个标注的地方将 GSSAPI 和Auto Detcet和设置为no..

原创 通过ip规则 匹配业务数据的地址(经纬度或省市 城市) 用到广播变量,并将规则写入到mysql中

通过ip规则 匹配业务数据的地址(经纬度或省市 城市) 用到广播变量,并将规则写入到mysql中工具类:1.将ip地址转为十进制2.匹配ip规则时 用二分法查找import scala.collection.mutable.ArrayBufferobject IpUtils { /** * 将IP地址转成十进制 * * @param ip * @return */ def ip2Long(ip: String): Long = {

原创 Scala&Java --WordCount入门程序对比

1.---Java的WordCountpackage com.hjm.spark.daydayup;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api

原创 hbase(一)封装hbase一些方法

为方便后续代码 将hbase客户端操作的一些方法进行封装,如下:1.获取一个hbase连接对象2.获取一个hbase连接对象的admin3.通过table名字获取一个hbase连接对象的table对象4.展示table数据5.创建一个namespacepackage com.hjm.hbase.utils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import o

原创 hbase(一)java中get某个hbase表格信息

package com.hjm.hbase.client;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.TableName;import o.

原创 Hadoop ---Yarn

Yarn全称是yet another resource negotiator,顾名思义就是另一种资源调度器,是之前的旧的Hadoo框架JobTrack的替代者,既然都叫做资源调度器了,自然就负责对资源的管理和调度 YARN负责作业资源调度，它会在集群中找到满足业务的资源，帮助作业启动任务，管理作业的生命周期。Yarn 的三大组件:ResourceManager ,NodeManager,和ApplicationMasterResourceManager同一时间内整个系统中有且只有一个RM来负责资源