- 博客(202)
- 收藏
- 关注
RSS订阅
原创 AUC的相关知识及K-S曲线和K-S值介绍
1. AUC的直观解释大家都知道AUC是ROC下方的面积，ROC是什么？ROC怎么画呢？TRR = (TPTP+FN)\left(\frac{TP}{TP+FN}\right)(TP+FNTP) 又称真正率FPR = (FPFP+TN)\left(\frac{FP}{FP+TN}\right)(FP+TNFP) 又称负正率或假正率TP、FN、FP、TN如图：我们先建立坐标系，纵...
2019-11-28 00:00:57
2852
原创 python3.7的新特性——dataclass 用来代替输出dict
在这个例子中，我们定义了一个名为Point的类，它有两个属性：x和y。因此，我们可以直接print(Point(1, 2))，它会打印出Point(x=1, y=2)。它是一个工具，用于自动添加特殊方法到用户定义的类中，如__init__ ，__repr__等方法。因此，我们可以直接使用Point(1, 2)创建一个新的Point对象，而不需要手动写__init__方法。因此，我们可以直接使用Point(1, 2) == Point(1, 2)，它会返回True。
2023-05-12 15:24:03
1077
原创 python Selenium 使用 报错AttributeError: ‘WebDriver‘ object has no attribute ‘find_element_by_xpath‘
无
2022-11-16 16:48:53
5532
原创 github上传后文件夹有白色箭头无法打开解决办法
最近整理代码发现文件夹出现白色箭头 且无法正常打开查询发现这是因为其他工程下有.git文件，Github视其为子系统模块。删除文件夹下的.git文件即可git rm --cached <File Name>git add . git commit -m "delete .git"git push再次查看成功！！...
2022-05-05 18:20:43
1943
4
原创 Kaggle特征工程技巧target-encoding
target encoding是近年来在kaggle大赛中非常实用的针对针对类别特征一种处理方法代码示例# 2021 爱奇艺大赛# using target encoding# Tutorial: https://www.kaggle.com/ryanholbrook/target-encodingdef target_encoding(name, df, m=1): df[name] = df[name].str.split(";") df = df.explode(name)
2022-01-17 20:25:53
1528
原创 Pytorch模型训练中的变量
突发奇想，想看pytorch中某个变量更新状态，在model初始化时：emb = []# 初始化模型参数for i,model in enumerate(models): for j,param in enumerate(model.parameters()): if i==0 and j==1: emb = param print("************",emb.shape)在模型反向传播后
2022-01-05 20:53:38
931
原创 python两层嵌套 [i for x in L for i in x]
大家都见过 [x for x in L ]可能没见过 [i for x in L]positive_pairs = [(1,2),(3,4),(5,6),(7,8),(70,80)]negtive_pairs = [(10,20),(30,40),(50,60),(70,80)]print([i for x in positive_pairs])结果： [range(0, 4), range(0, 4), range(0, 4), range(0, 4), range(0, 4)]p
2022-01-04 17:06:41
2244
4
原创 BatchNormalization 与 LayerNormalization 区别讲解
BNBatchNormalization于2015年被谷歌提出，简称BN。计算方式如下：就是对每个batch_size 的数据进行标准化，变成均值为0，标准差为1的数据，消除特征间的量纲差别。同事还引入了两个可学习的参数: β 和 γ分别为 scala 和shift，让模型学习适应的分布。值得注意的是，BN是对不同batch内样本的同一个特征进行归一化，例如有身高体重和年龄三个特征。是一种“列缩放”。BN能够解决梯度弥散。通过将输出进行适当的缩放，可以缓解梯度消失的状况。拿sigmoi
2021-11-23 10:59:31
1709
转载 搜索评价指标——NDCG
转载自：胖喵~的博客概念NDCG，Normalized Discounted cumulative gain 直接翻译为归一化折损累计增益，可能有些晦涩，没关系下面重点来解释一下这个评价指标。这个指标通常是用来衡量和评价搜索结果算法（注意这里维基百科中提到了还有推荐算法，但是我个人觉得不太适合推荐算法，后面我会给我出我的解释）。DCG的两个思想：1、高关联度的结果比一般关联度的结果更影响最终的指标得分；2、有高关联度的结果出现在更靠前的位置的时候，指标会越高；累计增益（CG）CG，c
2021-11-22 10:36:49
5100
原创 java 两个array比较
记录走过的路径 List时import java.util.ArrayList;import java.util.List;public class HelloWorld { public static void main(String []args) { List<int[]> old = new ArrayList(); int[] a = {1,2}; old.add(a); int[] b = {2,2}; old.add(b); i
2021-11-07 11:33:32
440
原创 JAVA 字符串查找是否包含另一个字符串
String s = "abcdefsdsds"; String t ="dfs";List<Integer> tmp = new ArrayList();int l = s.length();for(int i=0;i<l;i++){ if(t.contains(""+s.charAt(i))) { tmp.add(i); }}不能直接t.contains(s.charAt(i) )因为 字符串的contains方法不接收 cha
2021-11-06 18:57:30
382
原创 Linux利用jupyter的python连接oracle数据库
前提条件1.cx_Oracle包 下载地址2.oracle install client 下载链接安装步骤安装cx_Oraclecx_Oracle的下载需要对应自己的python版本如何查看python版本import sysprint(sys.version)我的是py3.6 故下载 ——>cx_Oracle-8.2.1-cp36-cp36m-manylinux1_x86_64传到服务器上后，打开anaconda的目录即XXXX/anaconda3/bin 下./p
2021-10-11 22:09:55
777
原创 scala Word2VecModel导入报错
import org.apache.spark.mllib.feature.{Word2Vec, Word2VecModel}import org.apache.spark.sql.{DataFrame, Row, SparkSession}model 保存：参考：http://spark.apache.org/docs/2.3.4/api/scala/index.html#org.apache.spark.mllib.feature.Word2VecModelvar model = Word2V
2021-09-26 16:17:00
262
原创 java scala获取项目当前路径 this.getClass.getResource()
println(this.getClass.getResource("./"))获取到当前代码文件所在目录println(this.getClass.getResource("/"))获取到当前项目 target/classes/路径下注： 该方法获取路径只能返回上层目录 两次返回上层则 返回nullprintln(this.getClass.getResource("./…/data"))返回正常上层路径println(this.getClass.getResource("./…/.
2021-09-26 11:12:25
1384
原创 Linux Centos 7 安装 redis
下载Redis进入官网找到下载地址 https://redis.io/download传到服务器 或者直接服务期内wget http://download.redis.io/releases/redis-6.2.5.tar.gz解压：tar -zvxf redis-6.2.5.tar.gz改名与移动mv redis-6.2.5 redismv ./redis /usr/local编译cd /usr/local/redismake问题1：bash: make:
2021-09-24 15:38:21
527
原创 scala 中的 break
scala 中的 break需要导入类import scala.util.control.Breaks.{break, breakable}breakable { for((account, prob)<-accountDistribution){ addProb += prob if(addProb>=randomDouble){ firstAccount = account break }}}否则 直接使用 break 会报错！！！...
2021-09-23 19:15:29
503
原创 Java语法中的Arrays.asList(arr)方法
参考Java集合细节（二）：asList的缺陷array 转为 Listpublic static void main(String[] args) { int[] ints = {1,2,3,4,5}; List list = Arrays.asList(ints); System.out.println("list'size：" + list.size()); } ------------------------------------
2021-09-05 23:01:54
439
原创 IDEA项目 重命名导致项目不可用问题修复
IDEA的项目想更改文件名 改完之后 出现之前可以运行的代码都无法运行pom项目名称和文件名称问题首先明确一点如果出现项目名称后面有一个 [] 这就说明你的项目名称和pom中的项目名称不一致，后面的为pom中的名称如下pom文件所示：改一下pom文件中名称为文件名即可。改名后无法创建java和scala类重命名文件夹后，载pom重新进入项目，发现原来可运行的java和scala都无法运行，且无法创建java和scala类这个问题是改名后的文件source folders 消失了，需要重
2021-09-02 18:06:32
9737
原创 如何在anaconda中使用pip 和更改镜像
在anaconda中使用pipanaconda 下使用conda -install 报错使用pip 在anaconda 下安装需要的包：自带的anaconda 环境 下：cd ./anaconda3/lib/python3.6/site-packages我的版本是 python 3.6 所以是 /python3.6在这里直接 pip install XXX 就可以设置用清华的源下载临时使用pip install -i https://pypi.tuna.tsinghua.edu
2021-08-31 15:54:38
385
原创 scala python 用循环创建变量
scala参考用字典代替变量，想调用变量 用key来代替：val strMap = scala.collection.mutable.Map[String, Int]()for(j<-0 until 5) strMap+=(s"a${j}"->j*100)println(strMap("a1"))结果： 100python参考Python中的locals 方法createVar = locals()listTemp = range(1,10)for i,.
2021-08-25 17:16:27
142
原创 python pandas 数据探索
来源于： Kaggle Lending Club Loan Data数据可视化分析与不良贷款预测#对特征缺失值的处理计算特征缺失值比例的函数:def draw_missing_data_table(data): total = data.isnull().sum().sort_values(ascending=False) percent = (data.isnull().sum() / data.shape[0]).sort_values(ascending=False) m
2021-07-06 15:46:36
528
原创 tensorflow2.0 的Layer 的 call build init方法
官方API显然，这三个函数都是从tf.keras.layers.Layer处继承而来的。_init_ 可以在其中进行所有与输入无关的初始化build 知道输入张量的形状，并可以进行其余的初始化call 可以在其中进行前向计算官方API的例子：class MyDenseLayer(tf.keras.layers.Layer): def __init__(self, num_outputs): super(MyDenseLayer, self).__init__() sel
2021-05-12 16:31:04
1501
原创 java array和list互相转换
打印注：打印时不是地址而是值System.out.println(Arrays.toString(nums));list转arraylistName.toArray(new String[listName.size()]);toArray 内写的是array的初始化方法 new String[size]例1：import java.util.*;List<String> list=new ArrayList<>();list.add("dog");l
2021-05-11 11:27:30
9865
原创 scala和java 获取当前文件所在的相对路径和绝对路径
原理上都是调用了java.io.File 包只不过由于scala语法与java语法有些差别javaimport java.io.FileFile directory = new File("");//设定为当前文件夹System.out.println(directory.getCanonicalPath());//获取标准的路径System.out.println(directory.getAbsolutePath());//获取绝对路径scalaimport java.io.
2021-05-10 11:44:13
2905
原创 scala 中的flatMap和map
网上很多分析flatMap和Map的不同，找几个还不错的，在加上自己的理解：参考1 https://www.jianshu.com/p/c64f278a9902map操作val lineArray = Array("hello you","hello me","hello world")val lines = sc.parallelize(lineArray, 1)val words = lines.map(line =>{ line.split(" ") })words.for
2021-04-19 20:29:42
953
原创 spark DataFrame使用collection()方法和groupBy()、isDefined
collect()把 dataframe格式转化为 Array[Row]格式以movieLens数据前7行位例userdata.show()部分数据展示：+------+-------+------+----------+|userId|movieId|rating| timestamp|+------+-------+------+----------+| 1| 2| 3.5|1112486027|| 1| 29| 3.5|111248467
2021-04-19 17:17:26
1461
转载 [转]SparkSQL中DataFrame的getAs和getString函数解析
JSON数据{"name":"Michael","age":10, "adress": "beijin"}{"name":"Andy", "age":30, "adress": "beijin"}{"name":"Justin", "age":19, "adress": "beijin"}getAs函数peopleDF.map(x => x.getAs[String]("adress")).show()//运行结果+------+| value|+------+|beijin|
2021-04-19 15:59:33
1394
原创 scala中的排序sortBy和map例子
API接口点击一直不会用sortBy，都是用sortWith,今天偶然看到一个sortBy的写法，觉得很高级，分享一下 var ll = List[(String, Int, Int)](("a",1, 400),("b",3, 600),("m",3, 100),("c",2, 40)) println(ll) var a = ll.map{case Tuple3(name:String, age:Int, salary:Int)=>(name,age, salary)
2021-04-16 18:02:39
1314
原创 IDEA打开项目文件只有配置
只剩下external Libraries 配置文件了解决办法：删除项目中最上册的.idea文件，重新载入即可！！！
2021-04-15 18:41:36
1120
1
原创 剑指offer 62题 约瑟夫环
点击进入leetcode递推公式：x为当前索引y为还原到上一层索引n为上一层的长度m为题目中的删除第m个数字y = (x+m)%n参考：https://blog.youkuaiyun.com/u011500062/article/details/72855826
2021-04-01 19:38:12
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人