MirkoLin596-优快云博客

原创 Hadoop集群搭建(一)

Hadoop集群搭建（一）准备工作编写集群分发脚本1.先创建bin目录，在/home/hadoop/bin下存放的脚本，hadoop用户可以在系统任何地方直接执行[hadoop@node120 ~]$ mkdir bin2.在/home/hadoop/bin目录下创建xsync文件，以便全局调用[hadoop@node120 bin]$ cd /home/hadoop/bin/[hadoop@node120 bin]$ vim xsync在该文件中编写如下代码#!/bin/bash#

2021-11-28 16:22:41 1406

原创 7月2号面试题

7月2号面试题list1 = [10,'a']list2 = [123]list3 = [10,'a'][2,4,6,8]1,1,11,2,13,2,3[]python是一门解释性语言，运行一次解释一次，不足之处就是运行慢这两个是python中的可变参数，*args表示任何多个无名参数，是一个tuple，**kwargs表示关键字参数a = [1,1,5,7,7,2]print(list(set(a)))requests访问

2021-07-03 09:55:39 116

原创 6月28号公司面试题

6月28号公司面试题1.定义A=(“a”,”b”,”c”,”d”)，执行del A[2]后的结果为（A）A.(“a”,”b”,”d”)B.(“a”,”b”,”c”)C.(“a”,”c”,”d”)D.异常2.string = “(1),(0)”; string = string.format(“Hello”,”Python”),请问将string打印出来为(B)A.Hello,PythonB.(1),(0)C.Python,HelloD.Hello,Hello3.定义A=[1,2,3,4

2021-07-01 21:05:26 140

原创华为云鲲鹏云服务器gcc编译源代码实验

华为云鲲鹏云服务器gcc编译源代码实验将文件上传到服务器中进行预处理：生成.i文件[root@node gcc编译使用源代码]# gcc -E main.c -o main.i[root@node gcc编译使用源代码]# gcc -E sqrtSum.c -o main.i[root@node gcc编译使用源代码]# lltotal 100-rw-r--r-- 1 root root 375 May 28 16:34 main.c-rw-r--r-- 1 root root

2021-05-28 17:20:28 731

原创 Java实现Kafka生产消费

Java实现Kafka生产消费Kafka核心APIKafka有四个核心Apiproducer API发布消息到1个或多个topicconsumer API来订阅1个或多个topic，并处理产生的消息streams API充当一个流处理器，从1个或多个topic消费输入流，并产生一个输出流或多个topic，有效地将输入流转换到输出流connect API允许构建或运行可重复使用的生产者或消费者，将topic链接到现有的应用程序或数据系统开发准备开发工具Java，使用IDEA集成环境，构建工

2021-04-14 11:31:17 1469

原创带有Kerberos认证的Kafka

带有Kerberos认证的Kafka对topic的增删查，生产者消费者的命令1.需要刷新为Kafka用户进行Kerberos认证cd /etc/security/keytabs/[root@bigdata-hadoop-data--1 keytabs]# klist -kt kafka.service.keytab Keytab name: FILE:kafka.service.keytabKVNO Timestamp Principal---- -----------

2021-04-12 14:46:24 991

原创带有Kerberos认证的Kafka

带有Kerberos认证的Kafka对topic的增删查，生产者消费者的命令1.需要刷新为Kafka用户进行Kerberos认证cd /etc/security/keytabs/[root@bigdata-hadoop-data--1 keytabs]# klist -kt kafka.service.keytab Keytab name: FILE:kafka.service.keytabKVNO Timestamp Principal---- -----------

2021-04-12 14:40:39 761

原创 Spark SQL

Spark SQL文章目录Spark SQLSpark 介绍Apache Spark 简介Apache Spark的特性速度支持多种语言高级分析Spark基于HadoopSpark的组件Apache Spark CoreSpark RDD弹性分布式数据集MapReduce中的数据共享缓慢MapReduce迭代运算MapReduce上的交互操作使用Spark RDD进行数据共享Spark RDD的迭代操作在星火RDD交互式操作Spark SQL 简介Spark SQL的特性集成统一数据访问Hive兼容性标准

2021-04-02 15:05:26 257

原创 HBase的安装和编程实践

HBase的安装和编程实践文章目录HBase的安装和编程实践1.HBase2.4.2安装1.1 解压安装包1.2 将解压的文件名hbase-2.4.2改为hbase1.3 配置环境变量1.4 查看HBase版本，确定hbase安装成功2.HBase配置2.1 伪分布式配置3.编程实践1.利用Shell命令1.1 HBase中创建表1.2 HBase数据库基本操作1.3 查询表历史数据1.4 退出HBase数据库表操作1.HBase2.4.2安装1.1 解压安装包解压到/usr/local[root

2021-04-01 16:21:56 1113

原创通过二进制安装Hadoop集群

通过二进制安装Hadoop集群此前需完成三台机器的免密登录1.下载二进制Hadoop安装包(在三台节点上都执行)[root@hadoop-master hadoop]# tar -xvzf hadoop-3.1.4.tar.gz -C /usr/local/hadoop/ [root@hadoop-master hadoop]# mkdir -p /usr/local/hadoop[root@hadoop-master hadoop]# mv hadoop-3.1.4-src /usr/local

2021-03-31 16:07:12 263