
实用工具
文章平均质量分 68
BigDataToAI
分享大数据经验
展开
-
依托于亚马逊云科技的开发者学习体验
前言截止今年(2022年),亚马逊云已经走过了16个年头,并连续十一年被Gartner认可为云计算领导者。在EC2方面从最原始的单一实例到今天支持475+实例类型,而在服务类型方面更是发展并延伸到了各行各业。说起我与亚马逊云科技的渊源,还得从上大学的时候说起,从当年免费体验亚马逊云上的服务资源,到今天在亚马逊云上的持续学习。接下来我将从产品使用、参与创新大会、深入阅读技术资源等方面聊一聊在亚马逊云上的学习历程。从免费试用亚马逊云开始我的上云服务对于一个云上开发者来说,免费套餐是AWS相对于很多其他云厂原创 2022-05-16 12:25:42 · 3301 阅读 · 0 评论 -
ScreenToGif 快速制作gif图的轻量工具
平常在写一些演示文稿的时候会有把某些操作制作成gif图,以加深阅读者的印象。今天和大家介绍一下一个开源gif图制作软件:ScreenToGif。安装ScreenToGif可用于屏幕、摄像头以及画板的录制,并且内置编辑器,可以直接对录制的图像进行编辑。目前,ScreenToGif支持arm64以及x86_64架构的windows操作系统,具体安装方式可见:https://www.screentogif.com/downloads使用在安装完成之后便可以双击使用,以下为默认启动窗口:点击录像机.原创 2022-03-08 00:08:14 · 524 阅读 · 0 评论 -
rpm快速打包工具 --- rpm-package
rpm包作为redhat、centos系列操作系统的包管理工具,让我们可以轻松通过yum install xxx.rpm命令安装某些软件包。本项目介绍文件打包方法,用于将任意文件按照描述文件的组织方式打包成rpm包。项目地址https://github.com/xiaozhch5/rpm-package如何使用您可以从源码编译该项目或者从release包中下载!源码编译安装编译依赖:jdk8maven3git clone https://github.com/xiaozhch5/rpm原创 2022-03-03 14:49:12 · 2093 阅读 · 1 评论 -
基于Java实现Avro文件读写功能
Apache Avro是一个数据序列化系统。具有如下基本特性:丰富的数据结构。一种紧凑、快速的二进制数据格式。一个容器文件,用于存储持久数据。远程过程调用 (RPC)。与动态语言的简单集成。 代码生成不需要读取或写入数据文件,也不需要使用或实现 RPC 协议。 代码生成作为一种可选的优化,只值得为静态类型语言实现。模式(schema)Avro 依赖于模式。 读取 Avro 数据时,写入时使用的模式始终存在。 这允许在没有每个值开销的情况下写入每个数据,从而使序列化既快速又小。 这也便于使用原创 2022-02-17 23:42:51 · 1643 阅读 · 0 评论 -
Linux 性能全方位调优经验总结
性能优化性能指标高并发和响应快对应着性能优化的两个核心指标:吞吐和延时应用负载角度:直接影响了产品终端的用户体验系统资源角度:资源使用率、饱和度等性能问题的本质就是系统资源已经到达瓶颈,但请求的处理还不够快,无法支撑更多的请求。性能分析实际上就是找出应用或系统的瓶颈,设法去避免或缓解它们。选择指标评估应用程序和系统性能为应用程序和系统设置性能目标进行性能基准测试性能分析定位瓶颈性能监控和告警对于不同的性能问题要选取不同的性能分析工具。下面是常用的L转载 2022-02-12 14:56:44 · 1345 阅读 · 0 评论 -
docker运行oracle数据库指南
docker启动oracle数据库拉取镜像docker pull registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11g容器中运行镜像docker run -itd -p 1521:1521 --name oracle11g registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11g进入容器,进行基本设置docker exec -it oracle11g bash切换到root用户,新增环境变原创 2022-02-11 02:15:09 · 3750 阅读 · 1 评论 -
分布式minio搭建指南
分布式Minio可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式Minio避免了单点故障。分布式Minio有什么好处?在大数据领域,通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务,你可以使用这些存储设备,而不用考虑其真实物理位置。数据保护分布式Minio采用 纠删码来防范多个节点宕机和位衰减bit rot。分布式Minio至少需要4个硬盘,使用分布式Minio自动引入了纠删码功能。.原创 2021-12-27 21:36:09 · 720 阅读 · 0 评论 -
Linked In微服务异常告警关联中的尖峰检测
LinkedIn 的技术栈由数千个不同的微服务以及它们之间相关联的复杂依赖项组成。当由于服务行为不当而导致生产中断时,找到造成中断的确切服务既具有挑战性又耗时。尽管每个服务在分布式基础架构中配置了多个警报,但在中断期间找到问题的真正根本原因就像大海捞针,即使使用了所有正确的仪器。这是因为客户端请求的关键路径中的每个服务都可能有多个活动警报。缺乏从这些不连贯的警报中获取有意义信息的适当机制通常会导致错误升级,从而导致问题解决时间增加。最重要的是,想象一下在半夜被 NOC 工程师吵醒,他们认为站点中断是由您的.原创 2021-12-23 22:40:29 · 1477 阅读 · 1 评论 -
每个程序员和软件工程师都应该知道的10件事
如果您已经编程一段时间并希望学习编程,那么您可能会考虑怎样才能成为一名优秀的程序员? 计算机科学专业的毕业生可以为从事软件开发和编程职业做哪些准备?在这篇文章中,我将分享 10 件事,我相信每个程序员都应该知道。 这包括 C++ 或 Java 等编程语言,数据结构、算法和计算机网络基础等基本计算机科学概念,Git、Microsoft Word 和 Excel 等基本工具,SQL 和 UNIX 等技能,Eclipse、IDEA 或 Visual Studio 等编辑器,文本 编辑例如 Sublime .翻译 2021-12-22 22:29:11 · 197 阅读 · 0 评论 -
centos7新增交换区
dd if=/dev/zero of=/swapfile bs=1024 count=4000000count后面数字计算方式:10241024x,其中x表示x G mkswap /swapfile 修改/swapfile文件夹权限为644chmod -R 644 /swapfile修改/etc/fstab新增/swapfile swap swap defaults 0原创 2021-12-21 00:18:06 · 225 阅读 · 0 评论 -
用了优快云浏览器插件之后,我的工作效率上来了,业余生活也丰富了
csdn浏览器插件可用于接管你的浏览器首页,并美化您的浏览器首页,帮助您管理网站、搜索引擎、提供丰富的内置工具供您开发使用,让您一装多用。如果你是程序员,那么我建议你安装一下csdn官方出品的这款csdn浏览器插件,如果你不是程序员,那么我也建议你安装一下这款插件,至于为什么,且听我慢慢道来。优快云浏览器插件安装首先说一下这个插件的安装方式,和其他任何插件的安装方式一样,如果你不会安装,那跟着官方的说明,保证你顺顺利利装上。官方安装链接直达:https://plugin.youkuaiyun.com/如原创 2021-12-17 00:47:09 · 511 阅读 · 0 评论 -
网页访问速度慢?用HTTrack自己制作一个镜像网站吧
最近在访问kafka官网的时候发现网站老是出现无响应的问题,要不就是点不动,要不就是卡死,最后出现如下页面:这个时候我就想着,如果可以把整个网站拷贝下来,自己做一个镜像网站,那不就可以秒开了么!于是,找啊找,发现了一个镜像网站制作工具 HTTrack website copier话不多说,赶紧来使用一下吧!下载与安装首先是下载与安装,官方提供下述操作系统:windowslinux(Debain、Ubuntu、RetHat、Fedora、FreeBSD i386等)macOS原创 2021-12-10 00:23:38 · 1521 阅读 · 0 评论 -
我用群晖和电信公网IP做了这些事情
如其官网所述,群晖是一款网络连接存储(nas)解决方案,旨在简化数据和多媒体管理。提供顺畅的数据共享、视频串流和照片索引,以及多方位的数据保护和恢复选项。简单来说,就是一台小型主机,可通过网页对其进行访问与管理。楼主入手的是DS218+,上图:web界面是这样子滴设置DDNS前段时间搬家,搬到了一个被电信承包了宽带业务的出租屋。这不,纠结了好久花了169大洋/月开了电信300M宽带,外加一张电话主卡(好像是60G流量),3张电话副卡(20G流量)。当然,有电信宽带那肯定.原创 2021-12-07 00:33:47 · 3758 阅读 · 0 评论 -
du命令用的好,磁盘空间全知了
服务器开发环境作为公共环境,经常会遇到磁盘空间爆满的情况(不知道您有没有遇到过,反正我经常遇到这个情况)。由于我们好多开发同学都在上面放文件,遇到这种情况就只能先删除自己的没用的文件了。但是,之前曾经遇到一个情况,我删除了之前存储的10个G文件,释放空间不到两分钟,磁盘空间又满了!!!所以说,掌握服务器磁盘空间查看命令是非常重要滴,不然你怎么找出是什么问题导致磁盘空间增速这么快呢,废话少说,接下俩咱们看看如何精确使用du这个命令,让我们在平常开发中少走弯路。说一下,以下命令都是centos7.6环境下的原创 2021-12-06 00:28:05 · 1143 阅读 · 0 评论 -
我的Go+语言初体验——windows下配置go+环境与基本功能测试
go安装与配置go+依托于go,并在go之上提供敏捷、低代码开发。所以,在体验go+之前,必须要做的就是安装配置go环境。go安装包下载地址:https://go.dev/dl/添加GO_HOME环境变量以及将%GO_HOME%\bin添加到path路径中验证go安装go设置代理go env -w GO111MODULE=ongo env -w GOPROXY=https://goproxy.cn,directgo+安装与配置main主分支源码下载:解压安装go run原创 2021-12-05 16:49:22 · 999 阅读 · 0 评论 -
GitHub 10月优秀项目
Streamlit 1.0项目地址:https://github.com/streamlit/streamlit如果您正在寻找一个开放源码库来快速地从Python构建应用程序,那么最好的选择就是Streamlit。只需几行代码,你就可以把你的Python脚本变成一个交互式的、可共享的web应用程序。你甚至不需要任何前端经验。你可以在网站上自己尝试一下。观看下述视频了解如何使用几行代码构建程序。 Stre.翻译 2021-11-17 19:48:12 · 286 阅读 · 0 评论 -
你不能错过的资源网站
图片资源下载:https://icon-icons.com图片资源下载:https://burst.shopify.com/图片处理网站:https://www.iloveimg.com/zh-cnyoutube视频下载:https://yt5s.com/en15twitter视频下载:https://twittervideodownloader.com/免费LOGO设计网站:https://www6.flamingtext.com/...原创 2021-11-17 14:18:51 · 1003 阅读 · 0 评论 -
grafana安装指南
linuxUbuntu and Debian (64 Bit)sudo apt-get install -y adduser libfontconfig1wget https://dl.grafana.com/enterprise/release/grafana-enterprise_8.1.5_amd64.debsudo dpkg -i grafana-enterprise_8.1.5_amd64.debStandalone Linux Binaries(64 Bit)wget https:翻译 2021-09-30 18:29:45 · 2141 阅读 · 0 评论 -
你需要的Java jar包反编译工具来了
在我们进行java开发过程中,有时候需要看一下某个jar包是否确定已经是我们更新过的代码,那么此时,就需要使用反编译工具看一下jar包中对应的java源码。下文介绍一个高效率的jar包源码查看工具:jd-guijd-gui下载与编译jd-gui源码可直接从github下载并进行编译。github地址:git clone https://github.com/java-decompiler/jd-gui.gitgit clone https://github.com/java-decompiler/j原创 2021-09-28 23:09:51 · 7499 阅读 · 1 评论 -
Prometheus与pushGateway安装与使用
安装包下载mkdir /data && cd /datawget https://github.com/prometheus/prometheus/releases/download/v2.30.0/prometheus-2.30.0.linux-amd64.tar.gztar zxvf prometheus-2.30.0.linux-amd64.tar.gzln -s prometheus-2.30.0.linux-amd64 prometheuswget https://g原创 2021-09-28 23:04:07 · 517 阅读 · 0 评论 -
centos7 rpm包及其全量依赖包下载方法
在生产环境中,我们要安装某些软件往往是不能够直接访问外网进行下载的,所以我们需要通过别的方式将我们需要的软件以及依赖包在有网环境下全量下载下来之后再上传至服务器,下面提供一种centos7中全量下载某个软件及其全量依赖的方法:安装yum相关工具yum install -y yum-utilsglibc rpm包及其依赖下载mkdir /tmp/glibc-dependencycd /tmp/glibc-dependencyyumdownloader --downloadonly --d原创 2021-09-22 22:14:32 · 3281 阅读 · 0 评论 -
centos7 rpm仓库全量下载方法
查看本机配置的所有仓库[root@vhost-118-21 ~]# yum repolistLoaded plugins: fastestmirrorLoading mirror speeds from cached hostfile * base: mirrors.163.com * epel: mirrors.bfsu.edu.cn * extras: mirrors.aliyun.com * updates: mirror-hk.koddos.netrepo id原创 2021-09-22 22:13:59 · 1848 阅读 · 0 评论 -
Snap, AppImage和 Flatpak之间差异
我们为什么需要Snap, Flatpak 和 AppImage?早些时候,想要为各种Linux发行版分发应用程序的开发人员在打包方面面临许多挑战。这是因为市场上有许多Linux发行版,并且都使用不同的包管理系统。例如,Ubuntu和其他基于debian的发行版使用 .deb包扩展,而Fedora、CentOS、RHEL使用 .rpm包扩展。这也适用于命令行(CLI)包管理器。此外,基于debian的发行版使用APT,而基于rhel的发行版使用DNF。因此,这些包(dnf、rpm等)最好的名称应该是与发行翻译 2021-09-22 22:12:00 · 3464 阅读 · 0 评论