
大数据技术档
大数据技术体系:hadoop、hdfs、hbase、hive、spark、sqoop等等。
全栈
从事软件开发工作多年,拥有较为丰富的开发经验,主导多个大型项目的研发工作,丰富的项目经验。
设计软件架构和撰写软件方案等。
展开
-
当我问chatgpt “你的意识相当于人类几岁?” 直接给我屏蔽了。
问了微软版本的chatgpt问题后 直接给我屏蔽了。原创 2023-02-25 14:59:36 · 380 阅读 · 0 评论 -
discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
设置elasticsearch 局域网访问后,无法启动提示如上错误原创 2022-08-29 14:38:35 · 1656 阅读 · 0 评论 -
智能淘宝客系统架构图
流程:1. 系统通过web微/手机微/获取用户的消息 2.关键字分析3.传给后台淘宝客4.后台自动搜索阿里妈妈/自动创建推广位/自动下载商品5.分析结果(分析指标:价格/图片数/购买数/评论数/)6. 返回微信好友...原创 2020-12-30 19:05:26 · 616 阅读 · 0 评论 -
kafka 从入门到精通2 、 创建kafka 生产者与消费者实例
首先创建一个生产者:package org.training.hadoop.kafka;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.Producer;import org.apache.kafka.clients.producer.Pro...原创 2020-03-03 00:05:07 · 825 阅读 · 0 评论 -
2020年,kafka面试题总结。
总结的都是最常见问到的问题:问题1:什么是Apache Kafka?答:Apache Kafka是一个发布-订阅开源消息代理应用程序。这个消息传递应用程序是用“scala”编码的。基本上,这个项目是由Apache软件启动的。Kafka的设计模式主要基于事务日志设计。问题2:Kafka中有哪几个组件?答:Kafka最重要的元素是:主题:Kafka主题是一堆或一组消息。生产...原创 2020-01-22 21:18:38 · 1943 阅读 · 0 评论 -
Hbase创建表。查询表。Java API 实现
需求:直接上代码:package hbase_test;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.util.Byte...原创 2019-08-14 23:28:05 · 3368 阅读 · 0 评论 -
codis redis集群 搭建
codis redis集群github开源地址Codis官方开源地址Codis官方中文文档准备工作下载Codis 最新安装包 codis3.2.2-go1.9.2-linux.tar.gz下载组件Zookeeper 最新安装包 zookeeper-3.4.9.tar.gz下载 Java JDK jdk-8u111-linux-x64.tar.gz1.安装Java ...原创 2019-08-09 14:23:35 · 476 阅读 · 0 评论 -
KafKa安装和启动
环境配置Java: JDK 1.8(推荐)或者JDK 1.7(jdk-7u51或者更新版本)单机版下载Kafka安装文件kafka_2.10-0.10.0.1.tgzKafka版本:kafka_2.10-0.10.0.1地址:百度网盘或者Kafka官网(https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.1/...原创 2019-08-08 14:19:59 · 707 阅读 · 0 评论 -
大数据菜鸟实战一:使用flume收集数据到KafKa
最近在学习大数据相关的知识,实在记性不好了。都说好记性不如烂笔头这是真的啊!!!!1. 安装flume ,kafka这里不多说,主要演示下怎么实现使用flume收集文件到KafKa.2.进入到flume 下的Conf下编写配置文件:hcytest1.properties 文件内容如下:LogAgent.sources = mysourceLogAgent.channe...原创 2019-08-05 22:05:28 · 902 阅读 · 0 评论