大数据
关注
分享
扫一扫
文章平均质量分 65
大数据领域是当今最火热的技术领域之一，也成为了数字时代的核心竞争力。它不仅具有海量、高维、多样、快速、实时等特点，而且能够从中挖掘出更多商业价值。在这个专栏里，我们将重点关注各种大数据相关的技术和应用场景，帮助您了解大数据如何改变我们的世界。
阿年、嗯啊
做自己喜欢的事，品自己喜欢的茶，活成自己渴望的模样。
不骄不躁，认真做事，清楚做人，希望付出不会被辜负
展开
-
集群配置了免密登录但是首次登录还是需要输入一次密码？
为什么集群配置了免密登录但是首次登录还是需要输入一次密码？已解决！原创 2024-11-24 17:07:55 · 342 阅读 · 0 评论 -
初始化Superset数据库时提示：Refusing to start due to insecure SECRET_KEY（由于不安全SECRET_KEY而拒绝启动）
安装完superset3.0.0后，初始化数据库的时候提示，拒绝启动，由于不安全的SECRET_KEY原创 2024-02-18 23:27:01 · 4018 阅读 · 0 评论 -
Flume自定义拦截器 - ETL拦截器和分类拦截器
深刻的理解了Flume中的拦截器和选择器，以及Source Selector、Channel Selector。自定义拦截器的步骤，并编程实现了一个自定义的拦截器，来进行日志过滤，选择，以及发送到不同的Kafka topic中原创 2023-06-05 14:00:56 · 1390 阅读 · 0 评论 -
MySQL中的业务数据该如何正确导入到Hive中 - Sqoop
业务系统中的数据如何导入到HDFS系统中，并加载到Hive数仓中原创 2023-06-02 22:12:32 · 2427 阅读 · 0 评论 -
HBase集群搭建
hbase原创 2023-05-30 22:55:16 · 724 阅读 · 0 评论 -
前端埋点采集到的数据怎么发送到服务端？
前端埋点采集到的数据怎么发送到服务端？1. Image请求2. Ajax请求3. web socket 连接原创 2023-04-29 18:06:07 · 1862 阅读 · 0 评论 -
Java和Scala中关键字package指定的是源文件的存放路径吗？
学了三年多的Java...现在才理解了第一行代码的含义...好丢人😅package指定编译后的字节码文件存放的位置，可以和源文件存放的位置不一致！！！原创 2023-01-28 14:30:55 · 891 阅读 · 0 评论 -
偷偷理解Java和Scala中==和equals()的区别
Scala中==和equals()和Java中的区别。Scala中比较地址是否相同原创 2023-01-23 14:12:29 · 1310 阅读 · 1 评论 -
Windows和Linux平台端口被占用，根据端口号查看是哪个进程
Linux和Windows平台端口被占用，根据端口号查看是哪个进程。原创 2023-01-14 17:34:19 · 248 阅读 · 0 评论 -
Caused by: javax.net.ssl.SSLHandshakeException: java.security.cert.CertificateNotYetValidException:
Caused by: javax.net.ssl.SSLHandshakeException: java.security.cert.CertificateNotYetValidException: NotBefore: Tue Oct 11 17:24:18 CST 2022CertificateNotYetValidException证书不合法异常原创 2023-01-14 13:29:49 · 2718 阅读 · 1 评论 -
大数据常用脚本--zookeeper、flume、Kafka、hive、xsync、kylin
大数据常用脚本--zookeeper、flume、Kafka、hive、xsync、kylin原创 2023-01-12 12:33:31 · 477 阅读 · 0 评论 -
Superset安装后，初始化数据库出现ModuleNotFoundError: No module named ‘cryptography.hazmat.backends.openssl.x509‘
Superset安装后，初始化数据库出现ModuleNotFoundError: No module named ‘cryptography.hazmat.backends.openssl.x509‘原创 2023-01-09 11:30:00 · 5739 阅读 · 2 评论 -
数仓日记 - 数仓理论
看完本文你将学到什么是关系建模，什么是维度建模，如何维度建模，维度退化，业务总线矩阵......走好数仓入门的第一步🦾🦾🦾原创 2022-12-06 11:00:00 · 1301 阅读 · 0 评论 -
数仓日记 - 数据采集平台
数据流通道、Hadoop项目经验、Kafka项目经验、flume项目经验、Sqoop数据迁移原创 2022-11-11 10:00:00 · 1535 阅读 · 2 评论 -
Mapper输出数据中文乱码
MapJoin的时候Mapper输出的数据中文乱码原创 2022-08-02 22:59:58 · 1577 阅读 · 1 评论 -
CentOS7修改网络YUM源为国内163镜像
修改网络yum源，加快访问速度原创 2022-06-24 11:18:20 · 505 阅读 · 0 评论 -
超级详细的Hadoop-HA完全分布式平台搭建⭐⭐⭐⭐⭐
进阶版Hadoop平台搭建，高可用，容灾能力强原创 2021-10-24 15:05:42 · 479 阅读 · 2 评论 -
自动化配置免密登录及部署jdk环境
用脚本在集群中自动配置免密登录及jdk原创 2021-08-21 14:14:05 · 266 阅读 · 2 评论 -
IP地址信息文件没有找到，IP显示功能将无法使用，错误的IP数据库文件 留下了没有技术的泪水~
如果不能并肩同行，那就假装恰好路过。 在解析IP地址的时候，遇到这样一个报错：IP地址信息文件没有找到，IP显示功能将无法使用错误的IP数据库文件错误的IP数据库文件完整报错如下：可以看到我的IP地址信息文件qqwry.dat是存在的。那为什么他没有找到呢，难道是加载的时候出问题了吗？带着疑问，我向加载处的代码打了断点…可以看到，文件的路径是获取到了的：可是再往下走一步，就出问题了：什么我当场裂开来，都让一让，让我瞧瞧是哪位大哥，定睛一看，原来是系统找不到指定路径...原创 2021-08-13 14:32:44 · 505 阅读 · 2 评论 -
ZooKeeper安装、基本使用以及选举机制
zookeeper原创 2021-04-13 17:33:49 · 528 阅读 · 0 评论 -
Python对数据进行预处理（剔除、替换、截取）
listtmp = [’\n\t\t\t\t 字符串1 ', '\n\t\t\t\t\t\t\t\t字符串2 ‘, ’ 字符串3 ‘,’\r\n\t\t\t\t\t\t\t’]listtmp2 = []for i in listtmp2: listtmp2.append(re.sub('\s','',i))print(listtmp2)['字符串1', '字符串2', '字符串3', '']def liststrip(listtmp): if type(listtmp原创 2021-04-13 11:30:14 · 2721 阅读 · 0 评论 -
手把手教你配置本地yum仓库（供集群内部资源共享）
在局域网内将一台机器设置为本地的yum仓库，然后将其发布到web服务器中，就可以让局域网中的其他机器连接这台机器，当作网络yum源使用，这样局域网中的其他机器就可以从这台机器获取安装包。挂载一个系统光盘到本地的目录* 首先创建挂载目录。mkdir /mnt/cdrom ，这里创建的挂载目录是cdrom目录* 挂载：mount -t iso9660 -o ro /dev/cdrom /mnt/cdrom/启动httpd服务器。systemctl restart httpd，如果没有httpd服原创 2021-04-13 07:44:03 · 1349 阅读 · 0 评论 -
实操标准的Hadoop完全分布式平台搭建过程⭐⭐⭐⭐
入门必会的Hadoop完全分布式平台搭建原创 2021-03-27 21:43:38 · 926 阅读 · 4 评论