- 博客(59)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Log4j 史诗级漏洞来袭，已发现近万次攻击，速速自查
Apache Log4j 2是一款优秀的Java日志框架。该工具重写了Log4j框架，并且引入了大量丰富的特性。该日志框架被大量用于业务系统开发，用来记录日志信息。由于Apache Log4j 2某些功能存在递归解析功能，攻击者可直接构造恶意请求，触发远程代码执行漏洞。
2021-12-22 11:49:43
389
原创 Snowflake & Delta Lake两大新型数仓对比分析
Snowflake & Delta Lake 代表了当前业内最先进的两种数仓形态，并且都得到了市场上用户的高度认可。1概述数据分析从上世纪 80 年代兴起以来，大体经历了企业数仓（EDW）、数据湖（Data Lake）、以及现在的云原生数仓、湖仓一体等过程。企业数仓是数据仓库最原始的版本，从当前的视角来看，存在着只能处理结构化数据、集中式的存储和计算、以及成本昂贵等缺点。数据湖是伴随着数据爆炸式增长而出现的技术，它能够存储结构化以及非结构化的数据、拥有分布式的存储、以及经济的
2021-11-04 15:24:47
716
原创 免费商业模式案例，汽车免费送还能盈利过亿
相信很多人都听过免费的商业模式，但是免费模式的应用有很多种，下面介绍免费商业模式其中的一种。某公司做的产品是鸡精调味料，他们用的策略是，每个批发商户交5万块钱的押金，公司给你价值5万批发价的鸡精，还有给你一辆价值5万的北汽威旺的汽车。我们不禁要问：这样岂不是公司要破产了吗？五万批发价的鸡精成本最少也要2.5万，5万的汽车成本最少也要4万块，加起来的成本最少也要6.5万，企业只能收到5万的现金，这样一单合同最少亏损1.5万，这样的模式，怎么可能利润过亿呢？其实，这不算什么，更可怕的是，他们已经送出去1
2021-11-02 15:36:10
1216
原创 三种最流行的商业模式解析：让顾客感觉占便宜，你才能赚更多钱
商业模式是一切企业的经营根本，在所有商业模式中，盈利模式是祖师爷爷，商业模式其实就是最赚钱的模式。但是真正能够了解甚至能够运用得好的人是非，常少的，期间以傻逼者居多，破产者无数。以下三种模式，是商业中最快圈钱的模式，我们的玩法是直接拿来主义。模式一：赠品模式或者说是（免费模式）我们似乎随处可见，到处是免费模式买一个送两个，买这一个送另外一个。有些人用这个模式做的风生水起，有些人用这些模式搞的一套糊涂，有些人只是为了凑个热闹。免费模式是最伟大的商业模式，但是很多人是看不懂背后的商机滴。我们
2021-11-02 15:25:11
989
转载 推荐：数据平台的4个阶段：从数据库到数仓再到中台，超详细的架构全解
在大数据时代，凡是AI类项目的落地，都需要具备数据、算法、场景、计算力四个基本元素，缺一不可。处理大数据已经不能仅仅依靠计算力就能够解决问题，计算力只是核心的基础，还需要结合不同的业务场景与算法相互结合，沉淀出一个完整的智能化平台。数据中台就是以云计算为数据智能提供的基础计算力为前提，与大数据平台提供的数据资产能力与技术能力相互结合，形成数据处理的能力框架赋能业务，为企业做到数字化、智能化运营。目前，外界与业内很多人对于数据中台的理解存在误区，一直只是在强调技术的作用，强调技术对于业务的推动作用
2020-09-11 11:27:07
950
转载 腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践
当业务发展到一定规模，实时数据仓库是一个必要的基础服务。从数据驱动方面考虑，多维实时数据分析系统的重要性也不言而喻。但是当数据量巨大的情况下，拿腾讯看点来说，一天上报的数据量达到万亿级的规模，要实现极低延迟的实时计算和亚秒级的多维实时查询是有技术挑战的。本文将介绍信息流场景下，腾讯看点的实时数据仓库和多维实时数据分析系统的技术架构。1、可解决的痛点可以先看一下，多维实时数据分析系统可以解决哪些痛点。比如： 推荐同学 10 分钟前上了一个推荐策略，想知道在不同人...
2020-09-11 10:54:14
593
1
原创 OSI七层模型与Linux内核态、用户态之间关系梳理
场景：关于Java应用跨主机网络请求的流转情况，涉及的知识点总结如下：一、什么是OSI七层模型七层模型，亦称OSI（Open System Interconnection）参考模型，是参考模型是国际标准化组织（ISO）制定的一个用于计算机或通信系统间互联的标准体系。它是一个七层的、抽象的模型体，不仅包括一系列抽象的术语或概念，也包括具体的协议。七层模型从上到下依次是：场景：关于Java应用跨主机网络请求的流转情况，涉及的知识点总结如下：一、什么是OSI七层模...
2020-06-19 13:36:25
1662
1
原创 Spring Boot 使用 JAVA 根据时间和定时器类型获取自定义corn规则表达式
为了方便书写调度相关任务，写了一个自定义根据前端上传的任务类型及时间获取自定义corn表达式的案例，仅供参考1.定义modelpublic class TaskScheduleModel { /** * 所选作业类型: * 0 -> 每分钟 * 1 -> 每小时 * 2 -> 每天 * 3 -> 每周 * 4 -> 每月 * 5 -> 每年 */ pri
2020-06-16 17:18:25
748
原创 Istio架构详解
Istio架构及其组件概述Istio 架构总体来说分为控制面和数据面两部分。控制面是 Istio 的核心，管理 Istio 的所有功能，主要包括Pilot、Mixer、Citadel等服务组件;数据面由伴随每个应用程序部署的代理程序Envoy组成，执行针对应用程序的治理逻辑。常被称为“Sidecar”。Sidecar 一般和业务容器绑定在一起（在Kubernets中自动注入方式到业务pod中），来劫持业务应用容器的流量，并接受控制面组件的控制，同时会向控制面输出日志、跟踪及监控数据。Istio
2020-05-30 13:37:18
1937
1
原创 什么样的企业适合建数据中台？
数据中台的构建需要非常大的投入：一方面数据中台的建设离不开系统支撑，研发系统需要投入大量的人力，而这些系统是否能够匹配中台建设的需求，还需要持续打磨。另外一方面，面对大量的数据需求，要花费额外的人力去做数据模型的重构，也需要下定决心。所以数据中台的建设，需要结合企业的现状，根据需要进行选择。我认为企业在选择数据中台的时候，应该考虑这样几个因素。企业是否有大量的数据应用场景： 数据中台本...
2020-03-31 11:41:14
752
原创 Rust入门-mac下安装及idea开发环境搭建
一、安装rust安装部署相对简单，我们可以直接参考官网安装curl https://sh.rustup.rs -sSf | sh source $HOME/.cargo/env rustc --version如果显示版本号、提交的 hash 值和提交时间，恭喜你！则 Rust 已成功安装！ cargo --version如果你看到了版本号，一切 OK！二、idea开发环境搭建创...
2019-08-23 16:47:34
2802
原创 1.Rust简介及如何实现跨平台执行
一、Rust简介Rust语言至今已经成为了一门同时追求安全、并发和性能的现代系统级编程语言。为了打成目标，Rust语言遵循了以下三条设计原则： 内存安全 一般来说，一门语言只要保证类型安全，就可以说它是一门安全的语言。简单来说，类型安全是指类型系统可以保证程序的行为是意义明确、不出错的。C/C++语言的类型系统就不是类型安全的，因为他们并没有对无意义的行为进行约束。简单的...
2019-08-02 16:29:00
7332
1
原创 关于docker运行动态传参及自启动问题
一、程序准备创建spring-boot web程序，以便测试使用,主要验证启动Docker外部传递端口参数，实现启动不同端口，WEB端访问测试1.启动命令（默认8080端口）java docker-test-0.0.1-SNAPSHOT.jar浏览器效果：2.启动命令java -Dserver.port=9000 -jar docker-test-0....
2019-08-02 16:26:16
1032
原创 springboot配置线程池-高并发场景
1.编写配置文件package com.hbedu.search.hbsearch.utils;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import org.springframework.context.annotation.Bean;import org.springframework.conte...
2019-03-31 12:40:58
60473
6
原创 Ambari集成TIDB
一、离线环境准备1.上传相应离线安装包到大数据管理平台所在机器该目录下： /var/www/html/HDP/centos7/ ansible-2.5.0-pip.tar.gz ：Ansible 是一个模型驱动的配置管理器，支持多节点发布、远程任务执行。默认使用 SSH 进行远程连接。无需在被管理节点上安装附加软件，可使用各种编程语言进行扩展。 ansible-sy...
2019-01-25 10:39:05
706
3
原创 TIDB集群安装部署文档
一、组件介绍及安装环境要求1.组件描述TiDB Server：TiDB Server 负责接收 SQL 请求，处理 SQL 相关的逻辑，并通过 PD 找到存储计算所需数据的 TiKV 地址，与 TiKV 交互获取数据，最终返回结果。TiDB Server 是无状态的，其本身并不存储数据，只负责计算，可以无限水平扩展，可以通过负载均衡组件（如LVS、HAProxy 或 F5）对外提供统...
2019-01-25 10:38:06
1303
原创 sshpass-Linux命令之非交互SSH密码验证
ssh登陆不能在命令行中指定密码。sshpass的出现，解决了这一问题。sshpass用于非交互SSH的密码验证，一般用在sh脚本中，无须再次输入密码。它允许你用 -p 参数指定明文密码，然后直接登录远程服务器，它支持密码从命令行、文件、环境变量中读取。 其默认没有安装，需要手动安装，方法如下：sshpass下载地址：http://sourceforge.net/projects/...
2019-01-23 10:11:54
356
转载 GitLab安装部署
gitlab官网：https://about.gitlab.com/gitlab包的下载地址：https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el6/1) 下载rpm package包并安装自行选择安装版本 wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum...
2019-01-13 07:57:36
296
原创 Centos7 安装部署 TIDB集群
一、组件介绍及安装环境要求1.组件描述TiDB Server：TiDB Server 负责接收 SQL 请求，处理 SQL 相关的逻辑，并通过 PD 找到存储计算所需数据的 TiKV 地址，与 TiKV 交互获取数据，最终返回结果。TiDB Server 是无状态的，其本身并不存储数据，只负责计算，可以无限水平扩展，可以通过负载均衡组件（如LVS、HAProxy 或 F5）对外提供统...
2019-01-12 17:21:10
2657
转载 centos7进入单用户模式进行root用户的用户密码的更改
工作上总有误操作的时候，一不小心改了某个系统文件、忘记密码、改了环境变量错误的保存了，就导致下次在登录的时候一直进不去，这可咋整，曾经重做系统的心都有了，但是也不能装啊，上面有重要数据和服务呢，接下来，开启大招，亲测可用：1、单用户模式是什么?在Linux当中有一种模式叫单用户模式,这个模式类似于windows的安全模式,主要目的原本是用来维护Linux操作系统的,但是世界上有很多初学者没...
2019-01-12 17:18:56
12422
原创 ElasticSearch教程-分布式集群之增加故障转移
在单一节点上运行意味着有单点故障的风险——没有数据备份。幸运的是，要防止单点故障，我们唯一需要做的就是启动另一个节点。启动第二个节点为了测试在增加第二个节点后发生了什么，你可以使用与第一个节点相同的方式启动第二个节点（《运行Elasticsearch》一章），而且命令行在同一个目录——一个节点可以启动多个Elasticsearch实例。只要第二个节点与第一个节点有相同的cluster....
2018-12-29 17:15:12
667
1
原创 ElasticSearch教程-分布式集群之横向扩展
随着应用需求的增长我们该如何扩展如果我们启动第三个节点我们的集群会重新组织自己就像图4图4包含3个节点的集群——分片已经被重新分配以平衡负载Node3包含了分别来自Node 1和Node 2的一个分片这样每个节点就有两个分片和之前相比少了一个这意味着每个节点上的分片将获得更多的硬件资源CPU、RAM、I/O。分片本身就是一个完整的搜索引擎它可以使用单一节点的所有资源。我们拥有6个分片3...
2018-12-29 17:15:02
1191
原创 ElasticSearch教程-分布式集群之应对故障
我们已经说过Elasticsearch可以应对节点失效，所以让我们继续尝试。如果我们杀掉第一个节点的进程（以下简称杀掉节点），我们的集群看起来就像这样：图5：杀掉第一个节点后的集群我们杀掉的节点是一个主节点。一个集群必须要有一个主节点才能使其功能正常，所以集群做的第一件事就是各节点选举了一个新的主节点：Node 2。主分片1和2在我们杀掉Node 1时已经丢失，我们的索引在丢失主分...
2018-12-29 17:14:50
262
原创 如何打造Elasticsearch全文检索系统之copy_to
全文检索场景在实际项目中，无界搜索具体查询某一个字段对于客户来说是不确定的，但是实际数据中需要检索的字段非常多。在使用elasticsearch时遇见了这样的需求：es聚合指定字段时聚合的结果里面只显示聚合的字段。但是在做报表时，我们发现一个问题：如果我们对员工进行聚合，但是我们还希望查看当前员工所在的班组，部门等信息。这时如果查询es两次，对于效率来说是不好的。这样，我们在设计的时候就需要将...
2018-12-29 17:14:42
845
原创 ElasticSearch教程-分布式集群之添加索引
为了将数据添加到Elasticsearch，我们需要索引(index)——一个存储关联数据的地方。实际上，索引只是一个用来指向一个或多个分片(shards)的“逻辑命名空间(logical namespace)”.一个分片(shard)是一个最小级别“工作单元(worker unit)”,它只是保存了索引中所有数据的一部分。在接下来的《深入分片》一章，我们将详细说明分片的工作原理，但是现在我们...
2018-12-29 17:14:34
414
原创 SparkRDMA基于BigDataBench 性能对比测试
测试要求：三台物理机内存：64 G查看物理CPU个数:2查看每个物理CPU中core的个数(即核数) : 12 一、准备测试环境1.下载软件并安装 BigDataBench_V4.0_Spark.tar.gz http://prof.ict.ac.cn/download.html#Full_download Apache Spark 集群 Hadoo...
2018-12-29 17:14:16
1064
原创 ElasticSearch教程-关于Elasticsearch MultiSearch 查询
关于Elasticsearch MultiSearch 查询，一个请求可同时支持多个查询import org.apache.log4j.LogManager;import org.apache.log4j.Logger;import org.apache.lucene.queryparser.flexible.core.builders.QueryBuilder;import org...
2018-12-22 17:32:35
2907
原创 ElasticSearch教程-分布式集群之集群健康
在Elasticsearch集群中可以监控统计很多信息，但是只有一个是最重要的：集群健康(cluster health)。集群健康有三种状态：green、yellow或red。GET /_cluster/health在一个没有索引的空集群中运行如上查询，将返回这些信息：{ "cluster_name": "elasticsearch", "status...
2018-12-22 17:31:08
302
原创 ElasticSearch教程-分布式集群之空集群
空集群如果我们启动一个单独的节点，它还没有数据和索引，这个集群看起来就像图1。图1：只有一个空节点的集群一个节点(node)就是一个Elasticsearch实例，而一个集群(cluster)由一个或多个节点组成，它们具有相同的cluster.name，它们协同工作，分享数据和负载。当加入新的节点或者删除一个节点时，集群就会感知到并平衡数据。集群中一个节点会被选举为主节点(ma...
2018-12-22 17:30:23
242
原创 ElasticSearch教程-分布式集群之集群内部工作方式
补充章节正如之前提及的，这是关于Elasticsearch在分布式环境下工作机制的一些补充章节的第一部分。这个章节我们解释一些通用的术语，例如集群(cluster)、节点(node)和分片(shard)，Elasticsearch的扩展机制，以及它如何处理硬件故障。尽管这章不是必读的——你在使用Elasticsearch的时候可以长时间甚至永远都不必担心分片、复制和故障转移——但是它会帮助...
2018-12-22 17:29:33
285
原创 ElasticSearch教程-ES分布式的特性
分布式的特性在章节的开始我们提到Elasticsearch可以扩展到上百（甚至上千）的服务器来处理PB级的数据。然而我们的教程只是给出了一些使用Elasticsearch的例子，并未涉及相关机制。Elasticsearch为分布式而生，而且它的设计隐藏了分布式本身的复杂性。Elasticsearch在分布式概念上做了很大程度上的透明化，在教程中你不需要知道任何关于分布式系统、分片、集群发现...
2018-12-22 17:28:52
302
原创 ElasticSearch教程-聚合查询
分析最后，我们还有一个需求需要完成：允许管理者在职员目录中进行一些分析。 Elasticsearch有一个功能叫做聚合(aggregations)，它允许你在数据上生成复杂的分析统计。它很像SQL中的GROUP BY但是功能更强大。举个例子，让我们找到所有职员中最大的共同点（兴趣爱好）是什么：GET /megacorp/employee/_search{ "aggs": { ...
2018-12-22 17:28:11
513
原创 ElasticSearch教程-索引的介绍
我们现在开始进行一个简单教程，它涵盖了一些基本的概念介绍，比如索引(indexing)、搜索(search)以及聚合(aggregations)。通过这个教程，我们可以让你对Elasticsearch能做的事以及其易用程度有一个大致的感觉。我们接下来将陆续介绍一些术语和基本的概念，但就算你没有马上完全理解也没有关系。我们将在本书的各个章节中更加深入的探讨这些内容。所以，坐下来，开始以旋风般...
2018-12-22 17:26:14
280
原创 ElasticSearch教程-文档的概念介绍
面向文档应用中的对象很少只是简单的键值列表，更多时候它拥有复杂的数据结构，比如包含日期、地理位置、另一个对象或者数组。总有一天你会想到把这些对象存储到数据库中。将这些数据保存到由行和列组成的关系数据库中，就好像是把一个丰富，信息表现力强的对象拆散了放入一个非常大的表格中：你不得不拆散对象以适应表模式（通常一列表示一个字段），然后又不得不在查询的时候重建它们。Elasticsearch是...
2018-12-22 17:25:02
244
原创 ElasticSearch教程-通过API与ES交互
与Elasticsearch交互如何与Elasticsearch交互取决于你是否使用Java。Java APIElasticsearch为Java用户提供了两种内置客户端：节点客户端(node client)：节点客户端以无数据节点(none data node)身份加入集群，换言之，它自己不存储任何数据，但是它知道数据在集群中的具体位置，并且能够直接转发请求到对应的节点上。...
2018-12-22 17:24:17
431
原创 ElasticSearch教程-ES安装
安装Elasticsearch理解Elasticsearch最好的方式是去运行它，让我们开始吧！安装Elasticsearch唯一的要求是安装官方新版的Java，地址：www.java.com你可以从 elasticsearch.org\/download 下载最新版本的Elasticsearch。博客之家curl -L -O http://download.elasticsea...
2018-12-22 17:23:14
220
原创 ElasticSearch教程-ES是什么
Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。但是，Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。Elasticsear...
2018-12-22 17:12:29
377
转载 转：图谱中的关系推理是什么
知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)（“实体”）和边(Edge)（“关系”）组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析...
2018-12-08 23:04:25
1600
转载 转：知识图谱构建技术初探
“The world is not made of strings, but is made of things.”——辛格博士，from Google.知识图谱，是结构化的语义知识库，用于迅速描述物理世界中的概念及其相互关系，通过将数据粒度从document级别降到data级别，聚合大量知识，从而实现知识的快速响应和推理。当下，知识图谱已在工业领域得到了广泛应用，如搜索领域的Goog...
2018-12-08 22:46:09
736
原创 Apache NiFi 开发 处理器使用说明
NIFI的使用：注意：FlowFile由【属性】和【内容】组成，在解析的过程中这个概念非常重要，因为有些组件操作的是属性，有些组件操作的是内容，在配置组件时Destination配置项的选择很重要，flowfile-content将解析结果放在数据流的内容中替换了原有的内容，flowfile-attribute将解析结果添加到flowfile的属性中，原本的内容不变。根据后续操作的需要，选择处...
2018-12-02 19:39:02
1176
100个赚钱模式商业模式案例.pdf
2021-12-15
istio-1.5.0-linux.tar.gz.zip
2020-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人