wangyichina的博客

pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org

@[TOC](Spark-rapids报错定位:Could not load cudf jni library… | ai.rapids.cudf.NativeDepsLoader.loadNativeDeps(NativeDepsLoader.java:91)java.io.IOException: Error loading dependencies) spark-shell提交任务 spark-shell \ --master yarn \ --driver-memory 1G \

搭建hadoop环境遇到一个大坑：hadoop技术栈版本不匹配问题。搭建完hive后，和hdfs之间单独运行测试没有问题。搭建完sqoop后，sqoop和hdfs配合使用也没问题。三者共同使用，执行以下命令，将mysql中的表导入到hive中：sqoop import --connect 'jdbc:mysql://192.168.174.131:3306/ecp?useUnicode=true&...