代码学习，前言技术分享，深度分析编程技术，普及科普编程技术

FRP（Fast Reverse Proxy）是一个功能强大的工具，适用于多种网络场景。这些场景展示了FRP在提升网络灵活性、安全性和管理效率方面的价值。

tinyproxy 版本：Release 1.11.1 ps:1.10版本后支持设置用户密码，类似squid。

【亲测有效】CentOS7 安装supervisor守护进程管理器 自动开机运行

一.操作系统环境说明　　关于CentOS和Ubuntu的系统安装可参考我之前录制的视频教程:　　　　https://www.bilibili.com/video/BV1HZ4y137tS二.操作系统初始环境配置1>.关闭并禁用防火墙[root@docker201.yinzhengjie.com ~]# systemctl stop firewalld[root@docker201.yinzhengjie.com ~]# [root@docker201.yinzheng

硬件和操作系统环境：./NVIDIA-Linux-x86_64-460.39.run --kernel-source-path=/usr/src/kernels/3.10.0-1160.59.1.el7.x86_64yum erase kmod-nvidia

什么是AlluxioAlluxio 是世界上第一个虚拟的分布式存储系统，它为计算框架和存储系统构建了桥梁，使计算框架能够通过一个公共接口连接到多个独立的存储系统,使计算与存储隔离。 Alluxio 是内存为中心的架构，以内存速度统一了数据访问速度，使得数据的访问速度能比现有方案快几个数量级,为大数据软件栈带来了显著的性能提升在大数据生态系统中，Alluxio 位于数据驱动框架或应用（如 Apache Spark、Presto、Tensorflow、Apache HBase、Apache H..

1.概述Apache Doris（原百度 Palo）是一款基于大规模并行处理技术的分布式 SQL 数据仓库，由百度在 2017 年开源，2018 年 8 月进入 Apache 孵化器。Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探

Apache Doris 代码仓库地址：apache/incubator-doris 欢迎大家关注加星本文通过实例来演示怎么通过Flink CDC 结合Doris的Flink Connector实现从Mysql数据库中监听数据并实时入库到Doris数仓对应的表中。1.什么是CDCCDC 是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库（Source）的增量变动记录，同步到一个或多个数据目的（Sink）。在同步过程中，还可以对数据进行一定的处理，例如分组（GRO

写在前面上一篇，我们从零开始搭建好了ClouderaManager的安装环境。接下来，我们开始安装大数据生态组件，并对CDH的一些告警进行调试。一、创建集群并安装HDFS服务安装步骤： 选择功能授权版本 ->> 创建集群 ->> 为集群添加服务1. 版本选择1.1 使用默认用户名密码登录CM用户名：admin密码：admin1.2 登录成功来到环境界面-继续1.3 接受许可条款-继续1.4 根据需要选择版本-继续我们这里

写在前面距离上一次写cdh集群搭建的文档已经一年多，今年2月份开始Cloudera全面下架了免费的安装包下载渠道，很多朋友在集群搭建的过程中按照之前的老文档遇到了一些问题。今天重新整理一次文档。 Cloudera官网公告 未订阅授权的用户无法使用CDH6.3.3和之后的版本 所以我们继续使用CDH6.3.2版本进行集群搭建 需要使用的朋友可以先浏览CDH6.3.2对应的组件版本是否符合需求 组件 版本 发行版 CDH 版本 Flu

操作系统要求在安装CDH之前，我们来看看平台对系统有什么样的要求。通过官方文档，我们可以看到有5个方面的要求：软件依赖 CDH和CM支持的依赖 文件系统要求 nproc配置 Kudu所要求的nscd软件依赖Python操作系统带的Python是支持的（Hue和Spark会有一点问题），但Python 3.0或者更高版本是不兼容的。CDH 6要求OS需要Python 2.7或者更高的版本，而Spark 2需要Python 2.7或者更高版本的支持，但Spark 3只支持Python

T3出行的杨华和张永旭描述了他们数据湖架构的发展。该架构使用了众多开源技术，包括Apache Hudi和Alluxio。在本文中，您将看到我们如何使用Hudi和Alluxio将数据摄取时间缩短一半。此外，数据分析人员如何使用Presto、Hudi和Alluxio让查询速度提高了10倍。我们基于数据编排为数据管道的多个阶段（包括提取和分析）构建了数据湖。1.T3出行数据湖总览T3出行当前还处于业务扩张期，在构建数据湖之前不同的业务线，会选择不同的存储系统、传输工具以及处理框架，从而出现了严重的数据孤岛

背景我们已经看到，人们更热衷于高效可靠的解决方案，拥有为数据湖提供应对突变和事务处理的能力。在数据湖中，用户基于一组数据生成报告是非常常见的。随着各种类型的数据汇入数据湖，数据的状态不会一层不变。需要改变各种数据的用例包括随时间变化的时序数据、延迟到达的时延数据、平衡实时可用性和回填、状态变化的数据（如CDC）、数据快照、数据清理等，在生成报告时，这些都将被写入/更新在同一组表。由于Hadoop分布式文件系统（HDFS）和对象存储类似于文件系统，因此它们不是为提供事务...

wget https://github.com/HewlettPackard/netperf/archive/refs/tags/netperf-2.7.0.tar.gztar xvpf netperf-2.7.0.tar.gzcd netperf-netperf-2.7.0/./configuremake./src/netserverStarting netserver with host 'IN(6)ADDR_ANY' port '12865' and f...

frp需要一直运行，不想写守护服务，就直接使用 PM2 进行了管理。PM2 管理命令行程序可以使用pm2 start -x './frps' -n frp -- -c ./frps.ini来启动，注意 -x 是说明程序是可以执行程序，-- 后边的参数是传给命令行。PM2 管理 Python 类的程序，可以使用pm2 start server.py --interpreter python -n ssr -- -p 8888 -m aes-256-cfb -O auth_aes128_md5 -o .

1，查看操作系统版本:~$ cat /proc/versionLinux version 5.0.21-****** (gcc version 7.5.0 (Ubuntu 7.5.0-3ubuntu1~18.04)) #4 SMP Thu Dec 3 13:11:27 UTC 20202，查看当前的dns server信息:~$ systemd-resolve --statusGlobal DNS Servers: 114.114.114.114

linux ubuntu 18.04 LTS 扩展 /dev/mapper/ubuntu--vg-ubuntu--lv 空间 对分区为LVM进行动态增减空间容量安装 Ubuntu Server 的时候磁盘分区选择了 LVM，所以系统根目录默认占用磁盘大小只有200G，在安装软件时发现磁盘空间200G已经无法满足，所以需要利用 LVM 对磁盘进行扩容使用命令进行磁盘扩容lvextend -L 10G /dev/mapper/ubuntu--vg-ubuntu--lv //增大...

1，os装好后默认有以下文件：/etc/netplan/00-installer-config.yaml2，配置该文件：sudo vi/etc/netplan/00-installer-config.yaml# This is the network config written by 'subiquity'network: ethernets: eno1: addresses: - 192.168.xx.xx/24 gat...

‍int mySleep(int second, int microsecond){timeval t_timeval;t_timeval.tv_sec = second;t_timeval.tv_usec = microsecond;select(0, NULL, NULL, NULL, &t_timeval);return 0;}//kfs中的有段代码是这样写的fd_set rfds;struct timeval timeout;  timeout.tv_sec = 5;  timeout.tv_use

摘要：裸机RedHat as5.3 32位机器上，裸机上默认安装有boost1.33，gcc version 4.1.2 20080704 (Red Hat 4.1.2-44)，java1.4，boost和gcc（目前知道的是gcc4.1.2版本以上，boost1.33以上KFS0.5版可以编译通过）符合KFS的版本要求，只需要下载并编译使用cmake来编译KFS，下载安装git来下载xfs，KFS依赖xfs的几个头文件，java1.4升级到java1.6即可。裸机RedHat as4.3

译者：alex 英文原文地址: Google File systemhttp://labs.google.com/papers/gfs.html译文原文地址: The Google File System中文版http://blademaster.ixiezi.com/2010/03/27/the-google-file-system%E4%B8%AD%E6%96%87%E7%89%88/摘要我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行

linux下的真随机数发生器 真随机数发生器