- 博客(38)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 HIVE3.X版本讲解与部署
将MySQL的JDBC驱动拷贝到Hive的lib目录下：（/opt/software）（可能在其它地方，例如在（sqoop））初始化Hive元数据库（修改为采用MySQL存储元数据）:（/opt/module/hive）初始化Hive元数据库（修改为采用MySQL存储元数据）:（/opt/module/hive）初始化Hive元数据库（修改为采用MySQL存储元数据）:（/opt/module/hive）初始化Hive元数据库（修改为采用MySQL存储元数据）:（/opt/module/hive）
2024-11-12 14:33:08
2942
原创 HIVE安全配置
Hive审计是一款基于数据库通讯协议准确分析和SQL完全解析技术的数据库安全审计系统。它实现了对数据库操作、访问用户及外部应用用户的全面、准确、高效的监控和审计追踪，可以用于安全合规、用户行为分析、运维监控、风控审计、事件追溯等与数据库安全相关的管理活动。
2024-11-11 09:21:00
1740
原创 Flink讲解与部署与yarn模式
Flink提供了多种状态后端来存储和管理状态，并支持不同的状态模式，如ValueState、ListState、ReducingState等。：随着大数据和实时数据处理需求的增长，Flink不断发展，引入了许多扩展功能，如复杂事件处理、图计算、机器学习等。：Flink支持构建事件驱动的应用程序，可以处理来自各种源的事件，如消息队列、日志文件等。：Flink支持构建事件驱动的应用程序，可以处理来自各种源的事件，并基于事件时间进行处理。：Flink专为实时数据处理设计，能够以极低的延迟处理无界数据流。
2024-11-08 11:29:58
1446
原创 Hbase讲解与安装与配置部署
HBase是一个分布式的、面向列的开源数据库，它是Apache Hadoop项目的子项目。HBase的技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。HBase在Hadoop之上提供了类似于Bigtable的能力，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。：HBase采用了自动故障检测和恢复技术，可以实现数据的高可靠性。：HBase采用了基于Memcached的存储引擎，可以实现高速的读写操作。
2024-11-07 09:53:05
2466
原创 事务-并发事务演示及隔离级别：
查询结果：SELECT @@TRANSACTION_ISOLATION;查询结果：SELECT @@TRANSACTION_ISOLATION;2.--设置事务隔离READ UNCOMMITTED级别。3.--设置事务隔离REPEATABLE READ级别。1.--查看事务隔离级别。--查看事务隔离级别。--设置事务隔离级别。
2024-11-16 10:04:37
332
原创 MYSQL-double
在MySQL中，DOUBLE是一种用于存储双精度浮点数的数据类型。它用于表示需要较大范围和较高精度的数值数据。以下是一些关于DOUBLE。
2024-11-15 11:28:36
718
原创 MySQL事务的四大特性ACID
MySQL事务的四大特性ACID，即原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）和持久性（Durability），是确保数据准确性和可靠性的关键所在。
2024-11-14 09:07:47
285
原创 hadoop-teragen库的使用
hadoop jar /opt/module/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar（使用的jar包的路径） teragen 10000000 （使用代码） /teragen/data（存放结果的hdfs路径）创建hdfs路径(注意不要创建teragen库的指定存放路径否则会报错)（前置安装hadoop jdk并完成安装配置部署）查询结果(随机生成的数，这样的数据没有问题)检查路径是否成功创建。
2024-11-14 08:59:08
945
1
原创 windows安全策略讲解
Windows安全策略主要包括本地安全策略和域策略两部分。本地安全策略是针对单个计算机的安全设置，通过本地组策略编辑器进行配置。而域策略则提供集中管理和配置整个域中计算机的安全设置的方式，通过Group Policy Objects（GPOs）进行配置。
2024-11-13 09:53:39
1363
原创 物联网六域模型与三层体系讲解
网络层通过有线网络（如拨号网络、局域网络、私有网络、专线网络）和无线网络（如2G、3G、4G、WLAN、WiMax等）实现信息的无障碍、高可靠性、高安全性的传送。物联网三层体系架构通过感知层、网络层和应用层的协同工作，实现了物理世界与虚拟世界的深度融合，推动了物联网技术的快速发展和广泛应用。物联网六域模型为整体物联网系统提供了一个具体的架构框架，使得不同领域的开发人员能够更好地协同工作，提高物联网系统的整体性能和可信度。随着物联网的发展和应用越来越广泛，六域模型将为物联网的研究和开发提供一个重要参考。
2024-11-12 19:06:27
1682
原创 大数据理论
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
2024-11-12 14:20:09
463
原创 pyspark的讲解与差异性
PySpark是Spark的Python类库，内置了完全的Spark API。PySpark基于Python语言开发，但仅支持在单机环境下供Python用户开发调试使用，需要将程序提交到Spark集群上才能使用Spark集群分布式的能力处理大规模的数据处理任务。总之，PySpark作为一款强大的大数据处理工具，以其高效性、易用性和丰富的功能，受到了越来越多开发者的青睐。通过掌握PySpark的核心概念和组件，结合实际应用场景，我们可以更好地应对大数据处理挑战，挖掘数据价值，为业务发展提供有力支持。
2024-11-11 14:29:53
972
原创 HIVE安装配置部署常见的问题大全
为了避免这些问题，建议在部署Hive之前仔细阅读官方文档，了解Hive的依赖关系和配置要求，并遵循官方推荐的安装和配置步骤进行操作。为了避免这些问题，建议在部署Hive之前进行充分的规划和测试，并持续关注官方文档和社区动态以获取最新的支持和解决方案。为了确保Hive系统的稳定运行和高效性能，建议用户在部署和使用Hive时充分考虑这些问题，并采取相应的措施进行预防和解决。除了之前提到的Hive安装配置部署中常见的问题外，还有一些其他可能遇到的问题，这些问题同样需要关注和解决。
2024-11-11 09:07:34
1017
2
原创 HIVE架构调优讲解
Hive的体系结构可以分为用户接口、元数据存储、解释器/编译器/优化器、执行引擎和数据存储等几个主要部分。用户接口包括CLI、JDBC/ODBC和Web UI，用于提交查询和查看结果。元数据存储负责存储Hive的元数据，如表名、列名、分区信息等。解释器/编译器/优化器负责将HQL查询语句转换为执行计划。执行引擎则负责执行计划的具体执行，通常调用MapReduce或Spark等计算框架。数据存储则位于HDFS中，Hive中的数据以表、分区和桶的形式组织。
2024-11-08 10:30:18
947
原创 HDFS进阶操作
hdfs dfs -put -p /opt/data/bigdata.txt(linux路径) /user/data/putdata(hdfs路径)（新用户:新用户组） （目标文件hdfs路径）-p是为了保留属性 (意思就是执行上传命令后继续保持原有的属性)755权限） （目标文件hdfs路径）保留访问和修改时间，所有权和权限。如何hdfs上传文件时候，更改。访问和修改时间，所有权和权限。如何hdfs上传文件时候，修改所有权和权限的语法。
2024-11-07 08:33:54
391
原创 Zookeeper安装配置部署（讲解与操作）
ZooKeeper的数据模型结构与Unix文件系统很类似，整体上可以看作是一颗树，每一个节点称做一个ZNode。：ZooKeeper中的节点有两种类型，一种是临时节点，另一种是永久节点。解压zookeeper：（zookeeper安装包路径：/opt/software）在tmp中添加文件：（/opt/module/zookeeper/tmp）修改配置文件：（/opt/mouble/zookeeper/conf）新建文件夹：（/opt/module/zookeeper）改名：（/opt/module）
2024-11-06 11:20:41
1004
原创 HIVE解决存储文件类型为“Parquet”，并启 用行级压缩
设置 Parquet 压缩：你可以在创建表时通过 STORED AS PARQUET 语句和 TBLPROPERTIES 来设置压缩算法。
2024-11-06 08:57:38
602
原创 MySQL解决如何修改用户名问题
例如:更改master用户名为root，master用户为%，既是所有主机都能连接（localhosts为%）（在mysql里操作）例如:更改root用户名为master 允许连接的节点是10.7.242.225。例如:更改root用户名为master 允许连接的节点是%（所有主机）（在mysql里操作）
2024-11-05 21:48:18
405
原创 Pandas （快乐的七天学习之路）第一天
2.6-2.7从DataFrame中查询出Seriesa等...2.9查询多行，结果是一个pd.DataFram...2.5 根据多个字典序列创建dataframe.py。2.8 查询一行，结果是 个pd.Series.py。2.1仅有数据列表即可产生最简单的Serie...2.3 使用Python字典创建Series.py。2.2创建一个具有标签索引的Series.py。2.4根据标签索引查询数据py。
2024-11-05 21:37:46
167
原创 MySQL在sql里玩编程
{这里，用户定义的变量@result来接收存储过程的输出。调用存储过程myShu时，我们传入了一个整数5作为输入参数，并指定了@result作为输出参数的接收者。然后，我们使用SELECT语句来查看@result的值，它应该显示“输出5是奇数”。
2024-11-05 20:09:58
197
1
原创 MySQL表格优化 命令与讲解
对于大型数据库，通过表拆分（如水平拆分和垂直拆分）等技术，可以将数据分散到多个表或数据库中，从而降低单一表的负载，提升数据库的并发处理能力。使用ANALYZE TABLE和OPTIMIZE TABLE等命令，可以分析和优化表的索引和存储结构，进一步提高查询性能。通过删除不必要的数据、压缩数据或使用更高效的数据类型，可以减少表占用的存储空间，提高存储资源的使用效率。优化的表结构可以提高数据库的可靠性和稳定性，减少因性能问题导致的系统崩溃和数据丢失等风险。1.对表格进行优化(重点，核心语句)
2024-11-05 17:35:55
395
1
原创 snownlp 情感分析
提取文本摘要s = SnowNLP(u'SnowNLP类似NLTK，是针对中文处理的一个Python工具库。使用简单、功能强大。u'可以实现包括中文分词、词性标注、情感分析等在内的功能。是中文语言处理研究者不可多得的研究工具。u'工具库参考了TextBlob的文档结构，对新手使用者相当友好...')'''limit: 类型为int，默认值为5，表示提取的摘要分句数量'''"""['是针对中文处理的一个Python工具库', '可以实现包括中文分词、词性标注、情感分析等在内的功能']"""
2024-11-05 16:50:37
142
原创 HADOOP本地模式与yarn模式之间的区别
(/$HADOOP_HOME/etc/hadoop/mapred-site.xml)(/$HADOOP_HOME/etc/hadoop/mapred-site.xml)(/$HADOOP_HOME/etc/hadoop/mapred-site.xml)
2024-11-05 16:17:27
191
原创 HADOOP jobhistory配置与部署
查看端口浏览器：http://master的ip:19888。查看端口浏览器：http://master的ip:10020。启动：在hadoop/sbin的目录下执行。
2024-11-05 16:08:05
282
原创 HADOOP 3.X伪分布式搭建
修改配置文件：（/opt/mouble/hadoop/etc/hadoop）解压hadoop：（/opt/software）自己将格式对齐，不然会报错）改名：（/opt/mouble）（开启时自动关闭防火墙）检查集群：（所有节点）
2024-11-05 15:50:49
204
原创 HADOOP2.x伪分布式集群搭建
systemctl disable firewalld（开启时自动关闭防火墙）修改配置文件：（/opt/mouble/hadoop/etc/hadoop）systemctl stop firewalld（关闭防火墙）firewall-cmd --state（查询防火墙状态）请注意自己的路径和主机名！如果不同命令就会报错。解压hadoop：（/opt/software）vi mapred-env.sh（注释的）vi yarn-env.sh（注释的）改名：（/opt/mouble）检查集群：（所有节点）
2024-11-05 15:43:48
215
原创 MySQL出现字符串报错的解决方式大全(通用)
如果问题仍然存在，请确保你检查了所有相关的配置和代码，并考虑在MySQL社区或相关的技术论坛上寻求帮助。确保你的数据插入语句中的中文字符串没有因为编码问题而被破坏。如果你是从外部文件或应用程序中读取数据并插入到MySQL中，请确保这些数据的编码与MySQL服务器的字符集相匹配。查看MySQL服务器的配置文件（通常是my.cnf或my.ini），确保[client], [mysql], [mysqld]部分都设置了正确的字符集和排序规则。当你连接到MySQL服务器时，确保你的连接也使用了正确的字符集。
2024-11-05 11:49:35
754
1
HIVE2.3.4版本在HADOOP3.2.4版本部署中存在hive功能不齐全
2024-11-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人