- 博客(83)
- 收藏
- 关注
RSS订阅原创 Dev-C++软件运行C语言报错：[Error] ld returned 1 exit status ／ cannot open output file F:\anli\Untitled1.exe:
Dev-C++软件运行C语言报错：[Error] ld returned 1 exit status ／ cannot open output file F:\anli\Untitled1.exe:在网上看了很多解决方案，但是都没用，后面才发现是因为上一次运行程序时，忘记把运行程序关闭，导致无法再次运行。关闭上一次运行打开的程序即可！
2024-12-12 20:39:05
194
原创 【C语言】结构体作为形参时的访问方式 “-＞” 和“ .”区别[笔记]
在C语言中，当你有一个指向结构体的指针时，你需要使用箭头操作符 (->) 来访问该结构体指针所指向的结构体的成员。相反，如果你有一个结构体变量（而不是指向它的指针），你会使用点操作符 (.) 来访问其成员。
2024-12-12 11:18:42
466
原创 Could not resolve all dependencies for configuration ‘:classpath‘
Could not resolve all dependencies for configuration ':classpath'
2024-01-03 15:09:19
4123
原创 You may use special comments to disable some warnings.Use // eslint-disable-next-line to ignore th
这些错误和警告来自于你的 JavaScript 和 Vue.js 代码，它们被 ESLint 检测到。ESLint 是一个开源的 JavaScript 代码检查工具，可以在代码编写过程中发现潜在的错误和不符合代码规范的写法。
2023-12-26 09:38:33
1774
原创 concat_ws()和college_list()配合=＞实现多行转一行
concat_ws()和college_list()配合=>实现多行转一行。
2023-12-21 15:49:10
1355
原创 SparkSQL 函数 crossjoin()
crossJoin是 Spark SQL 中用于连接两个 DataFrame 的操作。这个操作会生成一个新的 DataFrame，其中包含两个原始 DataFrame 中所有可能的行组合，即它是一种笛卡尔积。
2023-12-19 15:29:38
1076
原创 spark 写入hive报错[笔记]:Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Tas
Spark将数据写入hive时报错：Exception in thread "main" org.apache.spark.SparkException: Job aborted.Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 2.0 failed 1 times, most recent failure: Lost task 0.0 in stage 2.0 (TID
2023-12-15 10:50:15
1142
原创 Spark 写入 hive报错 [笔记]： The format of the existing table ods_7.user_info is `HiveFileFormat`.
Exception in thread "main" org.apache.spark.sql.AnalysisException: The format of the existing table ods_7.user_info is `HiveFileFormat`. It doesn't match the specified format `ParquetDataSourceV2`.
2023-12-15 09:56:41
493
原创 Spark SQL中coalesce()函数
在Spark SQL中，`coalesce()`函数用于从给定列中选择非空值。它接受一个或多个列作为参数，并返回第一个非空值。在数据清洗和预处理过程中，`coalesce()`函数非常有用，特别是在处理缺失值或空值时。
2023-12-12 17:16:13
1685
原创 Spark SQL 的partitionBy() 动态分区
在Spark SQL中，`partitionBy()` 动态分区是指根据数据的实际值进行分区，而不是在数据写入时就确定分区的值。动态分区``scala在上述示例中，首先使用 `spark.read` 方法读取 CSV 文件，并将其加载为 DataFrame。然后，使用 `df.write` 方法将 DataFrame 保存为 Parquet 格式的文件。在保存的过程中，使用 `partitionBy` 方法指定了两个列名，即 "column1" 和 "column2"，这样就会根据这两个列的值进行动态分区。
2023-12-12 17:10:25
1353
原创 Spark SQL 时间格式处理
理解是先用unix_timestamp将指点格式转换为时间戳，再用from_unixtime将时间戳转换为你想要的时间格式！所以这两个一般是配合使用的。函数通常用于将Unix时间戳转换为日期和时间格式。它接受一个Unix时间戳作为输入，并返回一个表示特定日期和时间的字符串。函数通常用于将日期和时间转换为Unix时间戳。它接受一个日期和时间作为输入，并返回一个表示该日期和时间的Unix时间戳。: 取得当期时间日期。
2023-11-24 20:47:59
2377
2
原创 null, message from server: “Host ‘192.168.170.1‘ is not allowed to connect to this MySQL server“
远程连接MySQL报错：java.sql.SQLException: null, message from server: "Host '192.168.170.1' is not allowed to connect to this MySQL server"
2023-11-15 11:38:32
829
原创 hiv启动报：ConnectException: Call From xxxx/192.168.170.111 to xueai:8020 failed on connection exception
Exception in thread "main" java.lang.RuntimeException: java.net.ConnectException: Call From xueai/192.168.170.111 to xueai:8020 failed on connection exception: java.net.ConnectException: 拒绝连接;看下自己的hadoop集群是否启动【jps】，看是否有没有哪个进程没有启动起来，没有启动起来就查看对应的日志文件。
2023-11-15 10:55:27
399
原创 Sqoop的安装和使用
-hive-import 的配置项要在 --hive-database 之前。将满足条件的数据抽取到hdfs或hive,需要用到配置参数为。注意： where一般位于--table。查看hive中是否导入成功。--where '表达式'3.改名和配置归属权限。
2023-11-01 15:48:13
620
原创 hive启动报错：Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientCaused by: MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transpor
2023-11-01 10:01:09
1342
原创 机器学习（python）笔记整理
归一化与规范化类似，也是将特征的值域缩小到[0,1]之间，但与规范化不同的是，归一化是对整个数据集的缩放，而规范化是对单个特征的缩放。标准化是将特征值转换为标准正态分布，使得特征值的均值为0，标准差为1，以消除特征值之间的量纲影响，并提高模型的精度。在这里，我们以xgboost模型为例进行训练。规范化的目的是将特征的值域缩小到[0,1]之间，以消除各特征值域不同的影响，并提高模型的精度。在数据中存在重复值的情况下，可以采用删除重复值、保留重复值、统计重复值等方式进行重复值处理。1.one-hot编码。
2023-10-26 09:46:27
812
原创 spark报错：apache.spark.memory.TaskMemoryManager - Failed to allocate a page (6710 bytes), try again.
17510 [Executor task launch worker for task 2.0 in stage 1.0 (TID 3)] WARN org.apache.spark.memory.TaskMemoryManager - Failed to allocate a page (67108864 bytes), try again.17195 [Executor task launch worker for task 4.0 in stage 1.0 (TID 5)] WARN org.
2023-10-20 14:44:52
469
原创 Sqoop技术文档笔记
1.解压缩2.改名3.添加环境变量输入内容：刷新配置文件：source /etc/profile4.添加权限root:root=>所属组名：所属组群名5.修改配置文档6.配置mysql的Driver驱动器放在sqoop的lib中7.测试是否配置成功。
2023-10-19 15:24:18
141
原创 Hadoop启动报错 master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
Starting namenodes on [master]master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).Starting datanodesStarting secondary namenodes [master]master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
2023-10-18 11:15:43
4167
4
原创 hive初始化报错：.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!
org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!Underlying cause: java.io.IOException : Schema script failed, errorcode 2org.apache.hadoop.hive.metastore.HiveMetaException: Schema
2023-10-17 20:12:37
1297
原创 Sqoop:Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils
Sqoop:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils
2023-10-17 16:08:59
417
原创 ssh 报错：Permission denied, please try again.
ssh 报错：Permission denied, please try again.
2023-10-17 10:10:09
780
原创 Window 窗口函数 (Spark Sql)
在 Spark SQL 中，Window 函数是一种用于在查询结果集中执行聚合、排序和分析操作的强大工具。它允许你在查询中创建一个窗口，然后对窗口内的数据进行聚合计算。
2023-10-17 08:49:17
1095
原创 ssh 连接：Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
2023-10-16 21:17:07
2044
原创 echarts关于一次性绘制多个饼图 (基于vue3)
在echarts中，`dataset` 和 `source` 是用来配置数据的选项。是一个包含数据相关配置的对象，用于指定数据的来源和格式。它可以包含多个维度的数据集，每个维度都可以有自己的名称和数据。是 `dataset` 中的一个子项，用于指定数据的具体内容。在这个例子中，`source` 的值是一个二维数组，表示具体的数据。每一行代表一个数据条目，每一列代表一个维度。数据格式为dataset: {source: [
2023-10-15 17:21:31
3142
原创 clickhouse报错：＜Error＞ not match the owner of the data (clickhouse). Run under ‘sudo -u clickhouse‘.
clickhouse报错信息： Application: DB::Exception: Effective user of the process (root) does not match the owner of the data (clickhouse). Run under 'sudo -u clickhouse'.
2023-10-13 11:33:32
707
原创 sparksql 中的concat_ws 和sort_array 和collect_list的使用方法
`concat_ws`用于将多个字符串连接成一个以指定分隔符分隔的单个字符串。- 语法：`concat_ws(separator, str1, str2, ...)`- 示例：```sql```结果将是一个字符串："apple,banana,cherry"
2023-10-08 20:05:30
3161
原创 javaScript 中的localeCompare方法及其使用
localeCompare方法是JavaScript中比较字符串时常用的方法之一，其主要功能是根据指定的语言环境比较两个字符串的大小关系，可以用于排序、查找、去重等操作。
2023-10-05 13:20:52
3833
原创 Sqark Sql 的percentile_approx计算中位数
percentile_approx` 聚合函数，用于计算指定列的近似分位数。具体来说，`percentile_approx` 函数的参数包括三个部分：- 第一个参数是要计算分位数的列，这里使用 `$"order_money"` 表示使用名为 "order_money" 的列进行计算。- 第二个参数是要计算的分位数的百分比，这里使用 `lit(0.5)` 表示计算中位数（50% 的分位数）。
2023-09-28 11:22:20
1891
原创 spark 集成 ClickHouse 和 MySQL (读和写操作)（笔记）
【代码】spark 集成 ClickHouse 和 MySQL (读和写操作)（笔记）
2023-09-28 08:49:19
1986
原创 Spark集成ClickHouse(笔记)
在大数据处理和分析领域，Spark 是一个非常强大且广泛使用的开源分布式计算框架。而 ClickHouse 则是一个高性能、可扩展的列式数据库，特别适合用于实时分析和查询大规模数据。将 Spark 与 ClickHouse 集成可以充分发挥它们各自的优势，使得数据处理和分析更加高效和灵活。
2023-09-26 19:05:11
2251
原创 spark集成clickhouse报错： .ClassNotFound Failed to find data source: clickhouse. Please find packages at
Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: clickhouse. Please find packages at http://spark.apache.org/third-party-projects.html at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(Da
2023-09-25 15:41:02
778
原创 报错：Code: 210. DB::NetException: Connection refused (localhost:9000). (NETWORK_ERROR）
报错：Code: 210. DB::NetException: Connection refused (localhost:9000). (NETWORK_ERROR）clickhouse-client -m --password 123456 启动 clickhouse命令。cd /var/log/clickhouse-server/ //进入日志文件目录。
2023-09-23 18:05:41
2876
原创 （本地安装clickhouse）执行 nstall/doinst.sh时报错： cp: 无法创建普通文件“/usr/bin/clickho
root@bigdata1 clickhouse-common-static-21.9.4.35]# install/doinst.shcp: 无法创建普通文件"/usr/bin/clickhouse": 文本文件忙
2023-09-23 11:10:25
916
原创 关于ClickHouse的表引擎和SQL操作
在 ClickHouse 中创建表的 SQL 语句与 MySQL 类似，但是需要指定引擎类型，例如，使用 MergeTree 引擎存储数据：
2023-09-21 22:45:21
762
原创 clickhouse简单安装部署
在一个真正的列式数据库管理系统中，除了数据本身外不应该存在其他额外的数据。例如，10亿个UInt8类型的数据在未压缩的情况下大约消耗1GB左右的空间，如果不是这样的话，这将对CPU的使用产生强烈影响。即使是在未压缩的情况下，紧凑的存储数据也是非常重要的，因为解压缩的速度主要取决于未压缩数据的大小。0.0.0.0 //将这个注释打开。注意：必须按照以下顺序解压，并且每解压一个都要执行该解压后文件的install/doinst.sh文件。
2023-09-21 16:57:16
1708
2
原创 2024最新：关于基于vue-cli脚手架创建vue项目（图文版）
它确保各种构建工具与合理的默认值一起顺利运行，因此您可以专注于编写应用程序，而不是花费数天时间争论配置。同时，它仍然提供了调整每个工具配置的灵活性，而无需弹出。TypeScript 是一个 JavaScript 的超集，包含并扩展了 JavaScript 的语法，需要被编译输出为 JavaScript 在浏览器运行。代码风格检查和格式化（如：ESLint）【建议选择】vue-router（Vue 路由）【建议选择】。vuex（Vue 的状态管理模式）。E2E（端到端）测试。概述（来源于官方文档）
2023-09-21 11:52:31
709
2
大数据应用与开发-离线数据处理（附有国赛样题卷和对应代码，仅供参考）
2024-01-04
大数据应用与开发-E模块解析
2024-01-04
大数据应用与开发赛项-可视化电商数据
2024-01-03
Hadoop平台搭建 1.搭建 步骤文档 2.搭建时要用到的组件安装包
2023-12-22
echarts.min.js 本地echarts包（可下载学习使用）
2023-12-07
Vue经典脚手架项目 - TodoList (大学生期中期末项目，可供下载学习)
2023-12-04
PHP大学生期末项目（可供免费下载学习）
2023-12-04
hadoop-3.1.3 大数据生态集群（可供免费下载学习）
2023-12-01
Tomcat-8.5.63 （可免费下载学习使用）
2023-11-29
echarts.js 前端离线图表工具包（可直接下载学习）
2023-11-28
axios.js 本地包，前端接口请求（可免费下载学习使用）
2023-11-28
基于springboot的电影管理系统，大学生期中/期末项目，毕设等
2023-11-28
sqoop-1.4.7（可直接下载学习使用）附有安装配置教程！
2023-11-26
clickhouse-21.9.4.35（可直接下载学习使用）附有安装配置教程！
2023-11-26
hive-3.1.2（可供直接下载学习）
2023-11-26
Spark 3.1.1（可供免费下载学习）
2023-11-26
mysq-connector-java- 5.1.49l驱动包（可供免费下载学习）
2023-11-26
dolphincheduler-3.1.4（安装包可供免费下载学习）
2023-11-26
Azkaban-3.84.4 安装包（可供免费下载学习）
2023-11-26
《秋兴八首 - 其一》优秀PPT- 可供下载使用
2023-11-25
Python员工管理系统（大学生期末作业项目）
2023-11-25
大学生前端期末考试项目（飞机大战）
2023-11-25
vue2(脚手架创建）初始化项目，可直接拿来开发使用，环境已配置好！（空项目包）
2023-11-25
vue3(脚手架创建）初始化项目，可直接拿来开发使用，环境已配置好！
2023-11-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人