python笔记:3.1.2.numpy数组水平、垂直、深度分拆

博客主要介绍了数组分拆相关内容,展示了运行数组分拆后的结果,提到split函数可实现同样功能,还介绍了垂直分拆和对ads深度分拆的情况,涉及不同维度数组的分拆操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

# -*- coding: utf-8 -*-
"""
Created on Tue May 21 14:50:04 2019

@author: User
"""

import numpy as np

a = np.arange(9).reshape(3, 3)
print(a)

ahs = np.hsplit(a, 3)
print(ahs)

print(type(ahs))

print(ahs[1])

print('split函数可以实现同样的功能:')
b = np.arange(9).reshape(3, 3)
print(b)

print(np.split(b, 3, axis=1))

print('垂直分拆:')
print(np.vsplit(b, 3))

print(np.split(a, 3, axis = 0))


ads = np.arange(12)
ads.shape = (2,2,3)
print(ads)

print('\n对ads深度分拆:')
print(np.dsplit(ads, 3))

运行:

[[0 1 2]
 [3 4 5]
 [6 7 8]]
[array([[0],
       [3],
       [6]]), array([[1],
       [4],
       [7]]), array([[2],
       [5],
       [8]])]
<class 'list'>
[[1]
 [4]
 [7]]
split函数可以实现同样的功能:
[[0 1 2]
 [3 4 5]
 [6 7 8]]
[array([[0],
       [3],
       [6]]), array([[1],
       [4],
       [7]]), array([[2],
       [5],
       [8]])]
垂直分拆:
[array([[0, 1, 2]]), array([[3, 4, 5]]), array([[6, 7, 8]])]
[array([[0, 1, 2]]), array([[3, 4, 5]]), array([[6, 7, 8]])]
[[[ 0  1  2]
  [ 3  4  5]]

 [[ 6  7  8]
  [ 9 10 11]]]

对ads深度分拆:
[array([[[0],
        [3]],

       [[6],
        [9]]]), array([[[ 1],
        [ 4]],

       [[ 7],
        [10]]]), array([[[ 2],
        [ 5]],

       [[ 8],
        [11]]])]
 

Caused by: java.lang.ClassNotFoundException: org.apache.spark.SparkConf at java.net.URLClassLoader.findClass(URLClassLoader.java:382) ~[?:1.8.0_191] at java.lang.ClassLoader.loadClass(ClassLoader.java:424) ~[?:1.8.0_191] at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349) ~[?:1.8.0_191] at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ~[?:1.8.0_191] at org.apache.hadoop.hive.ql.exec.spark.HiveSparkClientFactory.generateSparkConf(HiveSparkClientFactory.java:263) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.spark.RemoteHiveSparkClient.<init>(RemoteHiveSparkClient.java:98) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.spark.HiveSparkClientFactory.createHiveSparkClient(HiveSparkClientFactory.java:76) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionImpl.open(SparkSessionImpl.java:87) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionManagerImpl.getSession(SparkSessionManagerImpl.java:115) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.spark.SparkUtilities.getSparkSession(SparkUtilities.java:136) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.spark.SparkTask.execute(SparkTask.java:115) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:205) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:97) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:2664) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:2335) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:2011) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1709) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.Driver.run(Driver.java:1703) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hadoop.hive.ql.reexec.ReExecDriver.run(ReExecDriver.java:157) ~[hive-exec-3.1.2.jar:3.1.2] at org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:224) ~[hive-service-3.1.2.jar:3.1.2]
最新发布
07-27
<think>我们面对的错误是:`java.lang.ClassNotFoundException: org.apache.spark.SparkConf` 这个错误表明在运行Hive on Spark时,JVM无法在类路径中找到SparkConf类。这通常是因为Spark的相关库没有被正确加载到类路径中。 可能的原因和解决方案如下: 1. **Spark库未添加到Hive的类路径**: - 在Hive的配置中,需要确保Spark的相关JAR文件被添加到Hive的类路径中。可以通过设置`HIVE_AUX_JARS_PATH`环境变量或者修改`hive-site.xml`配置文件来添加。 - 例如,在`hive-site.xml`中添加: ```xml <property> <name>hive.aux.jars.path</name> <value>/path/to/spark/jars/*</value> </property> ``` 或者通过环境变量设置(在启动Hive之前): ```bash export HIVE_AUX_JARS_PATH=/path/to/spark/jars/* ``` 2. **Spark安装目录未正确设置**: - 确保`SPARK_HOME`环境变量设置正确,并且指向Spark的安装目录。Hive会使用`SPARK_HOME`来寻找Spark的库。 - 检查方法:`echo $SPARK_HOME` 3. **版本不兼容**: - Hive的版本和Spark的版本需要兼容。例如,Hive 3.1.2通常要求Spark 2.4.x版本。如果使用了不兼容的Spark版本(如Spark 3.x),则可能因为包结构变化(例如Spark 3.x中包名有变化)而导致类找不到。 - 解决方案:使用Hive官方文档中推荐的Spark版本。 4. **Spark JAR文件权限问题**: - 确保运行Hive的用户有权限读取Spark的JAR文件。 5. **多个Spark版本冲突**: - 如果系统中存在多个Spark版本,可能会发生冲突。确保Hive配置指向正确的Spark版本。 6. **Hive执行引擎配置**: - 确保Hive的执行引擎设置为Spark: ```sql SET hive.execution.engine=spark; ``` 或者永久配置在`hive-site.xml`中。 7. **检查Spark依赖库的路径**: - 确认`/path/to/spark/jars/`目录下确实包含`spark-core_2.11`(或相应版本)的JAR文件,其中应该有`org.apache.spark.SparkConf`类。 8. **使用Hive的`add jar`命令**: - 在Hive CLI中,可以尝试手动添加Spark的JAR文件: ```sql ADD JAR /path/to/spark/jars/spark-core_2.11-2.4.8.jar; ``` 注意:需要替换为实际路径和版本。 9. **检查Hive的日志**: - 查看详细的Hive日志,通常在`/tmp/<username>/hive.log`,以获取更多线索。 10. **使用Hive的Spark客户端模式**: - 在Hive 3.x中,支持两种Spark客户端:本地和远程。确保配置正确。例如,在`hive-site.xml`中设置: ```xml <property> <name>spark.master</name> <value>yarn</value> </property> ``` 根据以上分析,用户需要检查Spark库的路径配置、环境变量以及版本兼容性。 §§相关问题§§ 1. 如何正确配置Hive on Spark的执行环境? 2. Hive与Spark版本不兼容会导致哪些具体问题? 3. 在Hive中,如何手动添加JAR文件到当前会话? 4. 如何检查Hive的类路径中是否包含Spark的相关JAR? 5. 当遇到ClassNotFoundException时,有哪些通用的排查步骤?</think>### 错误分析:`java.lang.ClassNotFoundException: org.apache.spark.SparkConf` 这个错误表明 JVM 在运行时无法加载 Spark 的核心类 `SparkConf`,通常发生在 Hive 集成 Spark(Hive on Spark)的场景中。核心原因是 **Spark 库未正确加载到类路径**,具体原因和解决方案如下: --- ### 根本原因及解决方案: 1. **Spark JAR 文件缺失** - **问题**:Hive 依赖的 Spark 库(如 `spark-core_2.xx.jar`)未放入类路径 - **修复**: ```bash # 将 Spark jars 目录添加到 Hive 类路径 export HIVE_AUX_JARS_PATH=$SPARK_HOME/jars/* # 或在 hive-site.xml 中配置 <property> <name>hive.aux.jars.path</name> <value>/opt/module/spark/jars/*</value> </property> ``` 2. **SPARK_HOME 环境变量未设置** - **问题**:Hive 通过 `SPARK_HOME` 定位 Spark 库,未设置则无法加载 - **修复**: ```bash # 永久生效(写入 ~/.bashrc 或 /etc/profile) export SPARK_HOME=/opt/module/spark export PATH=$SPARK_HOME/bin:$PATH ``` 3. **版本不兼容** - **问题**:Hive 3.1.2 需搭配 Spark 2.4.x(非 Spark 3.x) - **验证**:检查兼容性矩阵 ```bash # 查看 Spark 版本 $SPARK_HOME/bin/spark-submit --version ``` - **方案**:降级 Spark 至 2.4.8 或升级 Hive 4. **类路径冲突** - **问题**:多个 Spark 版本 JAR 在类路径中冲突 - **排查**:检查 Hadoop 和 Hive 的 lib 目录 ```bash ls $HADOOP_HOME/share/hadoop/common/lib/*spark* ls $HIVE_HOME/lib/*spark* ``` - **解决**:移除冲突的旧版本 JAR --- ### 诊断步骤: 1. **验证类路径**: ```bash # 在 Hive 启动脚本中打印类路径 echo "CLASSPATH: $CLASSPATH" >> /tmp/hive_classpath.log ``` 2. **检查 SparkConf 是否存在**: ```bash unzip -l $SPARK_HOME/jars/spark-core_*.jar | grep SparkConf.class # 应输出:org/apache/spark/SparkConf.class ``` 3. **强制加载测试**: ```bash # 通过 Hive CLI 测试加载 hive -e "ADD JAR $SPARK_HOME/jars/spark-core_2.11-2.4.8.jar;" ``` --- ### 完整修复流程: ```bash # 1. 设置环境变量 echo "export SPARK_HOME=/opt/module/spark" >> /etc/profile source /etc/profile # 2. 修改 hive-site.xml cat <<EOF >> $HIVE_HOME/conf/hive-site.xml <property> <name>hive.aux.jars.path</name> <value>${SPARK_HOME}/jars/*</value> </property> EOF # 3. 重启 Hive 服务 hive --service metastore stop hive --service metastore start ``` > **注意**:若使用 CDH/HDP 等发行版,需通过管理界面同步配置。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值