
大数据
李白星河
nlp算法工程师
展开
-
企业级superset阿里云ESC搭建全流程详解
企业级superset阿里云ESC搭建全流程详解你好! 作为一名大数据猿来说。你可能会需要轻量级大数据bi工具superset来帮助你快速实现数据的可视化展示。那么我们以阿里云云服务器ESC举例,帮你清楚的了解到superset的安装流程基础环境介绍我们采用企业常用的服务器环境centos6.9:需要python环境切换工具miniconde第三代产品安装路径:(https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.s原创 2020-11-19 17:18:24 · 1178 阅读 · 2 评论 -
Kafka中steamAPi操作
/*用于实现将一个topic的数据读取后从转换成大写,再将结果写入另一个topic*/public class StreamAPI {public static void main(String[] args) { Properties props = new Properties(); //设置程序的唯一标识 props.put(StreamsConfig.APP...原创 2020-04-01 10:41:40 · 377 阅读 · 0 评论 -
Scala40道例题与答案
set集合(1-10)1、定义一个不可变set集合a,保存以下元素:10,20,30,10,50,40(1)var a = Set(10,20,30,10,50,40)2、获取a集合的大小(1)Println(a.size)3、遍历a集合a.foreach(i => println(i))4、a集合删除元素50println(a - 50)5、a集合拼接set集合Set(6...原创 2020-03-30 10:08:56 · 3903 阅读 · 2 评论 -
自学yarn部分知识点汇总
1、什么是Yarn通用资源管理系统和调度平台2、Yarn特点:1、支持多计算框架2、资源利用率高,运行成本低,数据共享。3、Yarn的意义:降低了企业硬件的成本(多个集群变成一个集群),减少了资源的了浪费,运营成本低。4、Yarn基本组成ResourceManager :一个集群资源调度的管理者NodeManager :一个节点资源调度的管理者(集群各个节点资源的工作者)...原创 2020-04-01 10:00:04 · 229 阅读 · 0 评论 -
自学Redis部分知识点汇总
(Redis部分)简答题1、什么是redis?Redis是一个基于内存的使用c语言编写的key-value开源的nosql数据库2、Redis持久化数据的方式有哪些?1》PDB触发式持久化++每秒钟触发一次3、解决IT行业数据读取瓶颈的终极方案?读写分离4、Redis如何实现读写分离?Redis本身支持读写分离,主节点可以读写数据、从节点只能读数据。配置redis的主从复制结构可实现...原创 2020-03-30 19:37:16 · 334 阅读 · 0 评论 -
自学kafka部分知识点汇总
(Kafka阶段)简答题:1、Kafka生态系统四大角色,生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper2、每个消费者都必须属于一个消费组,一个组内的消费者可以多个。3、一个Topic可以有1到多个多个分区(Partition)4、一个分区可以有1到多个segment。5、每个segment可以有由一个log和一个index组...原创 2020-03-30 20:51:45 · 589 阅读 · 0 评论 -
离线大数据项目流程
建表、数据导入语句总结textfile格式create table 表名( a string , b string )row format delimited fields terminated by "指定分隔符"stored as textfile;load data local inpath '本地路径' into table '表名'orc格式create table...原创 2020-01-03 18:16:38 · 314 阅读 · 0 评论