- 博客(53)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 linux慎用 rm -rf
注意：rm -rf命令后面不能加“/”，否则它会把你的系统文件全部删除，在此着重关注一下！ 如果你接触过linux，肯定没少听过rm -rf的故事，这个恐怖的命令执行后到底会产生什么样的效果呢？接下来就带大家在虚拟机中演示一下。 注意：：：一定不能在生产环境中执行此命令，否则没有后悔药可买的！ 因此平时操作的过程中要养成良好的习惯，尽量不要用rm命令，可以...
2018-11-21 12:01:10
810
原创 讯飞星火和deepseek针对一段transformer代码给的注释
这段代码实现了一个用于Transformer模型中的**位置编码（Positional Encoding）**模块。位置编码的作用是为序列中的每个位置添加一个独特的编码，以便模型能够区分不同位置的词或符号。2.从输出内容上，1）DeepSeek更详细，在文章结尾，给出一个实例，让初学者更明白模型的原理。2）DeepSeek深入到代码中，解释具体代码的含义这一点对初学者很友好。1.从输出形式上来看，讯飞星火更有好一些。把注释嵌入到代码中。DeepSeek逐行分析。
2025-03-24 10:09:00
357
原创 deepseek、讯飞星火、智谱清言三个模型针对一段transformer代码的回答，第二回合（续各有特色）。
在这个数据集中，序列数据是按时间顺序排列的每小时数据点。模型通过学习历史数据的模式来预测未来的目标变量。具体来说，模型会接收过去一段时间的历史数据作为输入，并输出未来一段时间的目标变量预测值。大模型时代，是毛主席描述的《沁园春.长沙》的意境时代。
2025-03-12 15:58:52
897
1
原创 deepseek、讯飞星火、智谱清言三个模型针对一段transformer代码的回答，各有特色。
这段代码的作用是为输入序列添加位置信息，让Transformer模型能够感知序列中每个元素的位置。通过正弦和余弦函数生成的位置编码，模型可以捕捉到序列中的相对位置关系。如果有其他问题，欢迎继续提问！
2025-03-12 15:35:06
899
原创 ZPQY的AI绘画测试
这幅画是根据您提到的沁园春长沙”中的诗句“看万山红遍，层林尽染，漫江碧透，百舸争流”创作的。画面采用了简洁的绘画风格，通过简单的线条和色彩描绘出了红色覆盖的山峦、色彩斑斓的森林、清澈的河流以及河上竞相行驶的小船。画面展现了一幅传统中国风格的山水画，山峦被丰富的红色植被覆盖，层层树木呈现出不同的红色调，营造出一种生动而深邃的景象。在这幅画的基础上，我已经增加了“漫江碧透，百舸争流”的景色。用简洁的绘画风格，创作一幅简笔画，内容根据沁园春长沙中的“看万山红遍，层林尽染，漫江碧透，百舸争流“做一幅画。
2025-02-24 10:43:20
287
原创 pyspark初学含义
如果使用jupyter调试pyspark程序，可以配置spark.sql.repl.eagerEval.enabled选项，可以像pandas一样直接执行df即可查看数据（不需要手动调用show函数）：
2023-07-07 09:47:47
320
原创 idea无法显示scala插件怎么办
新安装idea，无论怎么搜plugin这里都没有scala,后来有帖子说，项目中没有scala文件，但是没说具体怎么弄。后来想了一下，在项目中新建一个文件，后缀改为.scala,果然这个出现了，具体如下：新建了这个.scala文件...
2022-01-20 17:32:23
1613
原创 深度实践SPARK机器学习_学习笔记_第二章2.4探索数据1
2.4.1 数据统计信息schemauser.describe("userid","age","gender","occupation","zip").show()
2022-01-09 21:03:55
1400
原创 【如何把hive表中的数据放入模型中去训练】
网上的都是使用txt导入模型。如下：Classification and regression - Spark 2.2.0 Documentational data = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")// Automatically identify categorical features, and index them.// Set maxCategories so feature
2021-12-27 11:16:56
330
原创 scala加工特征遇到数组越界问题解决
1.在scala加工模型特征过程中，libsvm形式的数据报错内容：executor 40): java.lang.ArrayIndexOutOfBoundsException: 1判断方法：如果部分样本可以跑通，全量数据无法跑通，99%的概率为数据问题。比如分隔符错误划分特征，把不是特征的字段分割为特征。感谢cong哥～...
2021-12-06 16:08:24
382
原创 本地运行报错 java.lang.ClassNotFoundException: org.apache.spark.SparkConf
报错1:本地运行scala，报如下错误：java.lang.ClassNotFoundException: org.apache.spark.SparkConf，或调试：在pom文件中注掉红色字体一行 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_${scala.version...
2021-11-30 10:30:46
4034
2
转载 type struct和struct
报错内容：Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Column features must be oftype struct<type:tinyint,size:int,indices:array<int>,values:array<double>> but was actuallystruct<type:tinyint,size
2021-11-29 23:36:53
720
原创 如何txt数据导入到hive表中
报错1:Error: java.io.FileNotFoundException: Path is not a file背景：建orc表报错1 FIELDS TERMINATED BY '\t'STORED AS ORCTBLPROPERTIES ('orc.compress'='SNAPPY');解决方法：修改表格式为text表 FIELDS TERMINATED BY '\t' stored as textfile;语句：load data inpath 'hdfs:&a...
2021-11-29 14:43:10
2692
2
原创 scala特征加工中的报错记录和调试
错误1:You provided indices and values, which exceeds the specified vector size 13错误1:va.lang.IllegalArgumentException: requirement failed: You provided 262 indic分析：特征数量不匹配，特征中的和在计算过程中计算的不一致，检查代码特征数量计算是否有错误错误2:java.lang.NumberFormatException: For input
2021-11-26 10:07:24
1388
原创 关于empty collection的报错 scala
Exception in thread "main" java.lang.UnsupportedOperationException: empty collection整了很久，mark一下，是因为RDD里面没有数据，报这个错误。
2021-07-19 09:20:53
807
1
原创 初学Scala如何调试代码——关于ScalaWorksheet的使用
1.如何进入ScalaWorksheet使用idea，file -》 new -》ScalaWorksheet，如下图：2.如何调试调试语句如下：zipval symbols = Array("[","-","]")val counts = Array(2,5,2)val pairs = symbols.zip(counts)for((x,y) <- pairs) Console.print(x * y)运行结果：symbols: Array[String]
2021-07-09 11:11:18
549
原创 fondFirstNegative是scala中的一个函数吗
import scala.collection.mutable.ArrayBufferval a = ArrayBuffer[Int]()a += (1,2,3,4,5,-1,-3,-5,-7)
2021-05-28 14:31:28
84
原创 hive中时间戳和日期相互转化
select distinct unix_timestamp(‘2011-12-07 13:01:03’);select distinct from_unixtime(1323234063,‘yyyy/MM/dd HH:mm:ss’) ;
2021-04-20 17:20:52
1730
原创 scala打包
非常感谢小伙伴帮我调bug，虽然没有当面感谢，但很感动在聪哥的指导下，开始打包；执行mvn -U package试试原因是手动打包xgb失败，报错：Caused by: java.lang.ClassNotFoundException: ml.dmlc.xgboost4j.scala.spark.XGBoostClassifier先想想mvn -U package怎么写？mvn -U model.xgbmodelmvn -U -X model.xgbmodel报错：[Help 1] htt
2021-03-04 01:05:54
484
2
原创 Mac安装Scala、idea基本操作
Mac 查找java安装路径/usr/libexec/java_home -V2.打开配置文件open .bash_profile3.配置Scala和java配置文件（参考其他链接）export SCALA_HOME="/路径"PATH="$PATH:/路径"Export JAVA_HOME=/路径4.查看java是否安装成功java -version...
2021-02-28 19:09:40
616
原创 Spark sql :load和save操做--spark学习笔记之一
对于spark SQL的DataFrame来说，无论是从什么数据源创建出来的DataFrame，都有一些共同的load和save操作。load操作主要用于加载数据，创建出DataFrame；save操作主要用于将DataFrame中的数据保存到文件中。scala实现：package **.tag.testimport org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkConf, SparkContext}.
2020-06-03 16:55:22
508
原创 如何提交jar包到集群上执行？如何把电脑本机路径的文件上传到服务器上
如何提交jar包到集群上执行？spark-submit --class 包名+类名 /home/****/myScala.jar> rizhi.txt其中：spark-submit 是命令–class 包名+类名， 包名为jj.tag.test 类名为 DataFrameOperation>rizhi.txt 是把日志打在rizhi.txt文件中*如何将电脑本机路径的文件上传的服务器上？hadoop dfs -put /home/**** hdfs://****其中
2020-06-03 14:34:58
350
原创 验数时需要去掉分隔符前后在数据，怎么办？
在这里插入图片描述1000000#食品饮料#136.4352001841384，想用电子表格提取#前中后的字符串：step1:=MID(H5,FIND("#",H5)+1,50)得到结果食品饮料#136.4352001841384step2：=MID(I5,FIND("#",I5)+1,50)得到结果136.4352001841384step3:=LEFT(H5,6) 这是为了取出带一个分隔符的字符串step4:=IF(ISERROR(FIND("#",L5)),L5,LEFT(L5,
2020-05-15 16:26:17
198
原创 scala开发新建文件，不显示scala class
scala开发新建文件，不显示scala class首先，鼠标选定项目，单击右键，，其次，选择Add FrameWorks Support,弹出第二张图，选择scala。图片展示如下：（改方法仅限配置好plugin，选择文件夹为source之后还不出现scala class的情形）欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们
2020-05-11 15:38:08
473
原创 如何将hive中字符串解析（字符串的连接、解析）
场景：（1）将表中的字段转化成json数组，合并列，然后再合并行。建测试表，1315 、11729为表中某字段的值分属于不同的行，123、456为另一字段的对应行数字。准备测试数据，样例如下：[{"c1":"1315","c2":"123"},{"c1":"11729","c2":"456"}]。（2）将上述样例解析为表中的字段值1315、123。1.准备测试数据的方法：1)用：连接s...
2019-08-16 14:45:33
2882
转载 深度学习中Multinoulli分布
Multinoulli分布Multinoulli 分布是多项式分布（multinomial distribution）的一个特例。 多项式分布是{0; : : : ; n}k 中的向量的分布，用于表示当对 Multinoulli 分布采样 n 次时 k 个类中的每一个被访问的次数。很多文章使用 “多项式分布’’ 而实际上说的是 Multinoulli 分布，但是他们并没有说是对 n = 1 ...
2019-08-05 10:26:22
2591
原创 跟老齐学pythonP127 2.5.1 做猜数字游戏代码调试
作为图书发布，我觉得最基本的标准是应该保证代码正确如果按原书代码执行，则报错如下：TypeError: '>' not supported between instances of 'str' and 'int'作为初学者磨灭了学习兴趣，还需要去解决问题。之后在代码第5行，做字符类型转换，把输入的字符类型由字符串转换为整数intimport randomi = 0num =...
2019-07-11 18:15:14
183
原创 跟老齐学python数据分析学习笔记（之一）
第一章 numpy基础和应用1.1 数组对象基础1)numpy版本查询import numpy as npnp.__version__2)数组元素的类型，新建数组：data = np.array([1,2,3,4,5])type(data) --查看数组类型dir(data) --查看data.dtype 查看数组元素类型3)根据指定类型生成新数...
2018-12-07 18:07:55
853
原创 跨集群拷贝表
hadoop distcp –m 200 -update –skipcrccheck /user/集市名称/数据库名称/table_a hdfs://BJHTYD-Hope-27-202.hadoop.jd.local:8020/user/集市名称/数据库名称/table_a...
2018-12-04 10:17:53
283
转载 [Shell]使用find命令查找最近修改过的文件
find命令：在指定的目录搜索文件常用的option：-name：指定文件名，或者使用“*.py”来指定文件的后缀名，如在/home目录下搜索所有py文件 [cpp] view plain copyfind /home -name '*.py' -type：指定要搜索的文件类型，常见的文件类型有：b表示块设备，c字符设备，d文件目录，f普通文件等，例如在/dev目录下搜索...
2018-12-04 10:17:00
1650
原创 HIVE简明教程学习笔记（一）——数据库及表的操作HIVE DDL
1.创建数据库create database if not exists aa_db;2.查看数据库定义describe database aa_db;3.查看数据库列表show databases;4.删除数据库drop database if exists testdb cascade;**删除数据库时，如果库中存在数据表，是不能删除的，要先删除所有表，然后删除数据库。添加ca...
2018-11-21 11:00:33
235
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人