
开发环境配置
yscoder
欢迎关注 大数据与数据仓库公众号
展开
-
idea导入maven的项目,pom.xml怎么不会自动下载呢??
可以对着pom.xml右键,点击reimport看看有没有下载进度条原创 2021-02-05 22:58:27 · 1409 阅读 · 1 评论 -
maven更改镜像路径为阿里镜像
maven仓库默认在国外,使用难免很慢,尤其是下载依赖的时候,换为国内镜像,下载速度会变快很多。国内支持maven镜像的有阿里云,开源中国等,这里换为阿里云的。maven每更新一次镜像地址,都会重新下载一次包修改方法:修改maven根目录下的conf文件夹中的setting.xml文件(或者当前用户目录 的 .m2 目录下的 setting.xml 文件)内容如下:<mirrors> <mirror> <id>alimaven..原创 2021-01-23 21:40:42 · 790 阅读 · 0 评论 -
VM VirtualBox 全屏模式 && 自动缩放模式 相互切换
【1】自动缩放模式 热键Host + C偶然一次机会,把虚拟机切换为了自动缩放模式,如下图:想要再切换为全屏模式,发现不知如何操作,后来折腾了一会儿,切换成功。以此备录一下。【2】切换为全屏模式热键Host + F切换为全屏模式的快捷键为Host+F重点!重点!重点是Host主机键是Right Ctrl。Right Ctrl键在哪呢?请看下图:切换为全屏模式时,会提示这个对话框(注意信息内容):切换成功,效果如下图:注意:全屏模式与自动缩放模式的区...原创 2020-12-07 22:34:52 · 4389 阅读 · 1 评论 -
「Flink」配置使用Flink调试WebUI
很多时候,我们在IDE中编写Flink代码,我们希望能够查看到Web UI,从而来了解Flink程序的运行情况。按照以下步骤操作即可,亲测有效。1、添加Maven依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>1.9.0&...原创 2020-12-06 17:16:00 · 3481 阅读 · 1 评论 -
Idea实体类上加@Data注解但get/set方法不生效
Idea实体类上加@Data注解但get/set方法不生效,由于距离上次配置idea已经很长时间了,所以在遇到这个问题时做出一个总结。解决方法:需要安装lombok插件如果显示“Installed”,那么就需要启用该插件选择“Installed” --> 搜索“lombok” --> 勾选 --> 点击Apply -- > 点击OK之后,重启IDEA...原创 2020-12-06 12:44:20 · 3554 阅读 · 1 评论 -
解决IDEA中maven添加dependency过慢的问题
每次在IDEA中给pom.xml添加项目依赖时下载的速度都会特别的慢,慢到自己开始怀疑人生。这是由于maven自带的仓库在国外,所以访问起来特别的慢,所以我们改一下配置,将maven访问仓库的网址设置到国内就可以了。那么国内比较好的仓库地址当然是像阿里云、清华大学、中国科学技术大学这些了。方式如下:我们在IDEA的安装目录下找到/plugins/maven/lib/maven2/conf或者/plugins/maven/lib/maven3/conf目录(如果两个都有建议都改掉),向其中的se...原创 2020-12-05 21:45:33 · 1559 阅读 · 0 评论 -
Flink 使用 murmurhash3 做KeySelector
背景由于项目中有报文排重需求,所以会将报文字符串作为分布式锁key。考虑到报文不定长并且散列性不太好,如其作为锁key,特别是当key值过大时,使用redis进行读写都会有相对的性能下降。 参考文献里测试对比: 长度为10:写平均耗时0.053ms,读0.040ms 长度为20000:写平均耗时0.352ms,读0.084ms 一种简单的方案是对报文进行一次md5,然后拿来做key。考虑到md5的性能并不高,找到了更合适的murmurhash3非加密哈希算法:算原创 2020-12-05 21:22:32 · 818 阅读 · 0 评论 -
问题解决:尝试解决maven依赖找不到的n种姿势
问题场景 问题环境 问题原因 解决方案 结果 总结 参考链接 吐槽 随缘求赞问题场景公司的原仓库出了问题,需要更换新的仓库。故给了一个新的仓库地址。但是奇葩的是,更换之后,就出问题了。比如原本有A-0.0.1-SNAPSHOT.jar,在私服上面也有这个版本的jar包,但是就是没办法找到,一直提示该jar的该版本找不到。问题环境软件 版本 maven 3.2.3 IntelliJ IDEA 2019.1 问题原因接下来就是探索发现之旅了。.原创 2020-12-05 18:46:47 · 9308 阅读 · 1 评论 -
Ubuntu简单安装kafka及使用
Ubuntu简单安装kafka及使用参考地址:https://www.jianshu.com/p/d0e630c8f4aekafka是一个分布式的基于发布订阅模式的消息队列,主要应用于大数据实时处理领域。(kafka是消费者主动拉取生产者的信息)作用(所有的消息队列):(1)、解耦:不需要两个应用都同时在线(强依赖);(2)、缓冲:解决生产消息和消费消息的处理速度不一致的情况;(3)、灵活性&削封:在访问量剧增的情况下,可以使关键组件顶住突发的访问压力,而不会造成组件的崩溃;(4)、异步原创 2020-12-05 15:00:55 · 1018 阅读 · 1 评论 -
Ubuntu 20.04系统下更改apt源为阿里源
Ubuntu 20.04.1 LTS已推出,一样的为期5年的服务,感觉不错,安装了一个,但是苦于使用默认源在国内下载太慢,就想着把apt源改为国内源,目前国内比较好的源,有阿里源,清华源,豆瓣源等,下面我以阿里源为例,说下如何修改。1、备份原文件修改/etc/apt目录下的sources.list,该文件是包管理工具apt用来记录软件包仓库位置的配置文件。同类型的还有在同一目录下包含.list的各文件。备份命令如下:sudo cp /etc/apt/sources.list /etc/apt/原创 2020-12-05 14:20:17 · 8310 阅读 · 1 评论