- 博客(49)
- 收藏
- 关注
RSS订阅转载 广告中的API与SDK
API：应用程序接口SDK：软件开发工具包SDK中包含多个API广告中的API与SDK：https://zhuanlan.zhihu.com/p/104999439?utm_source=wechat_sessionAPI对接方式，就是媒体方按接口协议规范约定，将监测方需要的参数，在自己的软件系统中组装好，在产生广告曝光或点击时，给监测方服务端发送请求。而SDK对接方式，媒体方要做的，是首先在媒体的软件中集成该SDK软件包，在产生广告曝光或点击时，媒体按规范调用SDK软件包中的.
2020-11-17 13:24:08
2876
转载 Linux shell vim 编辑器
linux中 vi / vim显示行号或取消行号命令1. 显示行号:set number或者:set nu2. 取消行号显示:set nu!3. 每次打开都显示行号 修改vi ~/.vimrc 文件，添加：set numberLinux Vim批量注释和自定义注释快捷键连续行的注释其实可以用替换命令来完成。换句话说，在指定范围行加"#"注释，可以使用 ":起始行，终止行 s/^/#/g"，例如：:1,10s/^/#/g表示在第 1~10 行行首加"#"..
2020-11-17 11:17:11
277
转载 Linux shell
: 命令“:”="true" 由于“:”是内置命令，所以运行速度比true稍微快那么一点eval命令exit n命令exit命令使脚本以退出码n结束运行。如果允许自己的脚本程序在退出时不指定一个退出状态，那么该脚本中最后一条被执行命令的状态将被用作为返回值。在脚本程序中提供一个退出码总是一个良好的习惯。在Shell脚本编程中，退出码0表示成功，退出码1~125是脚本程序可以使用的错误代码。expr命令expr命令是一个手工命令行计数器，用于在UNIX/LINUX下求...
2020-11-17 10:29:57
303
原创 oCPC初识
1、为什么需要ocpc?从收益最大的角度出发，广告主希望按照CPA收费，而媒体希望按照CPC收费，因此产生了不一致。因此产生了OCPC。即媒体按照广告主希望受众做出的A甚至是S（销售，也可以叫做转化，即conversion）作为他们（媒体）调整广告投放策略和流量分配的优化依据，而实际的付费还是按照C来进行。即媒体配合广告主想办法优化A或者S，但是定价还是按照C来。 这种方式双方都可以接受。参考文章：oCPC效果到底怎么样，不搞清楚的话还是别玩信息流广告了...
2020-11-07 15:38:53
429
转载 maven的groupId和artifactId的区别
groupid和artifactId被统称为“坐标”是为了保证项目唯一性而提出的，如果你要把你项目弄到maven本地仓库去，你想要找到你的项目就必须根据这两个id去查找。 groupId一般分为多个段，这里我只说两段，第一段为域，第二段为公司名称。域又分为org、com、cn等等许多，其中org为非营利组织，com为商业组织。举个apache公司的tomcat项目例子：这个项目的groupId是org.apache，它的域是org（因为tomcat是非营利项目），公司名称是apache，artiga
2020-08-03 10:10:53
443
原创 spark foreach println 无显示
在集群上运行spark程序时，rdd的操作都在worker机上，因此输出rdd的元素将在worker机的标准输出上进行，驱动节点上不会运行，故直接才程序中写如下代码 rdd.foreach(println(_))并不能产生期望的结果。此时应该先收集数据，再进行打印，即可得到预期结果 rdd.collect.foreach(println(_))...
2020-07-28 16:10:54
1356
转载 Spark中reduceByKey(_+_)的说明
https://blog.youkuaiyun.com/CDW2328/article/details/90319420
2020-07-27 17:04:41
2292
转载 hive中简单介绍分区表(partition table)，含动态分区(dynamic partition)与静态分区(static partition)
https://www.iteye.com/blog/yugouai-1578244
2020-07-27 14:30:46
292
转载 scala 语法 ( 变量，数据类型，类关系图 )
https://blog.youkuaiyun.com/qq_34319644/article/details/985839081、关注Scala的变量之间的关系图。2、Nothing ：Nothing类型在Scala的类层级的最低端；它是任何其他类型的子类型。当一个函数，我们确定没有正常的返回值，可以用Nothing 来指定返回类型，这样有一个好处，就是我们可以把返回的值（异常）赋给其它的函数或者变量（兼容性）。如下：抛异常 ： Nothing 的使用object Aa2 { def main(a.
2020-07-24 20:37:02
264
转载 DataFrame registerTempTable(注册临时表)
将数据存成数据集的方式是实现数据各种操作非常有效的一种方式。也能够迅速实现数据的导入与导出。Spark DataFrame提供了registerTempTable这样的接口，可以将数据对象存成临时表，便于后续的各种查询操作等。如select, join等。以前都是直接从数据中读入数据，生成一个dataframe对象，都没有遇到 table not found的问题。然而今天用手工创建的时候，总是会报这个错误。res1.registerTempTable("hello") 表示是将res1这.
2020-07-24 20:07:00
6743
原创 Scala 与spark 7.23
知识点：@transient如果用transient声明一个实例变量，当对象存储时，它的值不需要维持。换句话来说就是，用transient关键字标记的成员变量不参与序列化过程。这对于需要被临时保存的缓存数据而言是合理的。例如：@transient val sparkContext: SparkContext,Scala多行字符串 之stripMargin方法https://www.jianshu.com/p/08986dbab540如： var s...
2020-07-23 21:58:14
272
原创 c++ static 用法
一、c++static用法二、c++四种作用域本地变量在栈（又会被叫做堆栈）中，new得到的变量在堆中，全局变量在一个全局数据区中，常量，比如"helloworld"是在代码段中的...
2019-10-27 16:23:43
214
转载 c++ 拷贝构造函数和拷贝赋值运算符
我们都知道C++有浅拷贝和深拷贝的概念。默认情况下，用户编写一个类，而没有编写拷贝构造函数的时候，C++编译器会生成一个默认的拷贝构造函数（也叫合成拷贝构造函数），这个默认的拷贝构造函数只进行浅拷贝，如果类中包含指针，文件句柄，socket等资源的时候，这些资源就只有一个副本。拷贝构造函数就是用来给用户提供一个初始化接口，实现对象资源的深拷贝。还有一个拷贝赋值的概念：一个对象给另外一个对象赋值的时...
2019-10-25 16:52:58
453
原创 c++ 继承时产生的二义性问题与虚基类
问题现象一：问题现象二：但是上面这种无二义性的解决办法会产生很多冗余，也会浪费空间。问题二解决方案的例子：在base1和base2中就只存放了指向base0的指针，所以在derived对象中，就只存在一份base0了。这个时候的构造函数有点特殊：示例：虽然base1，base2的构造函数中都为base0传递了参数，但是只有...
2019-10-24 21:39:53
311
原创 c++ 派生类构造函数
派生类的构造函数中还需要负责传递基类需要的初始化参数。c++11的这种情况只适用于当派生类很少增加新的数据成员或者不增加新的数据成员的情况。因为这样从基类继承过来的构造函数只能初始化从基类继承的成员，派生类新增的数据成员则不能通过构造函数初始化。如果说派生类的新增数据成员定义了类内初始值，那就可以用类内的初始值去初始化这些新增的数据成员，如果没有定义类内的初始值，那就只能通过...
2019-10-24 20:55:52
435
原创 c++ public、protected、private继承方式
公有继承：私有继承：私有继承可以将基类的原有对外接口都封闭的作用。那么在派生类之外，通过派生类的对象就不能直接访问从基类继承来的成员和成员函数，因为通过private这种方式继承的时候，继承过来的那些基类的成员都变成了私有的了，所以在派生类外就不能访问了，但是在派生类里面，还是可以访问的。所以这个时候，如果还是想访问基类中的成员，就必须在派生类中重新定义对外的访问接口。...
2019-10-24 20:22:44
335
原创 c++ 使用new进行动态内存分配
使用new进行动态内存分配，返回的结果是分配的地址，所以接受返回结果的应该是一个指针变量。使用new进行动态内存分配，需要自己在函数中，当不再使用那个变量的时候，需要使用delete手动释放内存，否则会导致内存泄漏。1、定义头文件Point.h：class Point{public: Point(); Point(int x, int y); ~Point(); voi...
2019-10-24 17:02:48
1551
转载 c++ typedef void (*funcptr)(void)的含义
fun a;//等价于void (*a)();这样声明起来就方便多了void (*a)();表示a是个指针，指向一个不带参数、返回值为空的函数定义一个函数指针类型。比如你有三个函数：void hello(void) { printf("你好!"); }void bye(void) { printf("再见！"); }void ok(void) { printf("好的！");...
2019-10-23 17:01:37
692
原创 c++指针与数组
c++指针与二维数组：注意：上面的代码int*pLine[3]的理解方式是从右向左理解：首先知道定义的是一个大小为3的数组，这个数组的名字叫做pLine，然后知道数组中存放的是指向int的指针。也就是我们的名为pLine的数组中存放的是3个指向int类型的指针。但是如果定义的是int (*pLine)[3] ,那么，这个时候需要从内向外理解：首先是圆括号括起来的部分，*p...
2019-10-23 16:52:01
984
原创 c++ virtual function（虚函数）
一、关于c++虚函数的用处：C++中的虚函数的作用主要是实现了多态的机制。关于多态，简而言之就是用父类型别的指针指向其子类的实例，然后通过父类的指针调用实际子类的成员函数。这种技术可以让父类的指针有“多种形态”，这是一种泛型技术虚函数是指一个类中你希望重载的成员函数 ，当你用一个 基类指针或引用 指向一个继承类对象的时候，调用一个虚函数时, 实际调用的是继承类的版本。 ——摘自M...
2019-10-23 11:28:09
287
原创 c++ 引用
最后一条中，i*3肯定是会有一个结果，但是这个结果没有一个有名字的变量存放这个结果，i*3的结果是运行之后，存放在一个临时的匿名变量中，因为没有名字，所以不能将i*3的结果作为引用传递给func函数。因为引用不是对象，所以不能取地址，所以定义一个指向引用的指针是非法的，所以有上面第二条。但是指针是对象，所以可以定义int*&p；因为引用不是对象，所以自然，也就没有引...
2019-10-21 16:01:29
123
原创 c++中的const关键字
以上代码运行时是会报错的。首先“helloworld”这是一个常量，是存放在代码段中的。是不可改变的。因为char *s=“helloworld”这句代码只会将“helloworld”在代码段中的地址交给s这个指针。所以下面的那句s[0]='B',是通过s这个指针访问代码段中的“helloworld”这个常量，因为常量是不可更改的，所以程序会报错。所以，其实，对...
2019-10-21 11:03:00
216
转载 C++中string::npos的一些用法总结
https://blog.youkuaiyun.com/JIEJINQUANIL/article/details/51789682
2019-10-14 17:23:16
1875
转载 c++中size_t和size_type的区别
size_type：由string类类型和vector类类型定义的类型，用以保存任意string对象或vector对象的长度，标准库类型size_type定义为unsigned类型。ps ：为了使自己的程序有很好的移植性，c++程序员应该尽量使用size_t和size_type而不是int，unsigned。1. size_t是全局定义的类型；size_type是STL类...
2019-10-14 17:20:29
691
原创 c++ 初始化
一、默认初始化、值初始化、拷贝初始化、直接初始化和列表初始化：默认初始化依赖于类的默认行为，函数外定义的类如果没有初始值，将被默认初始化为这个类“0”这个概念对应的值。函数内定义的未初始化的值执行默认初始化时有两种情况，当这个类是C++内置类的时候，比如说int,float，这个值不被初始化；当这个类是用户定义的或者是我们使用类模板定义的，将被构造函数初始化。其中如果这个类的对象被隐式初始化为...
2019-10-14 17:18:48
287
转载 机器学习模型的容量，过拟合与欠拟合
容量(capacity) 通过调节机器学习模型的容量，可以控制模型是否偏于过拟合还是欠拟合。 容量从本质上说是描述了整个模型的拟合能力的大小。 如果容量不足，模型将不能够很好地表示数据，表现为欠拟合； 如果容量太大，那么模型就很容易过分拟合数据，因为其记住了不适合与测试集的训练集特性，表现为过拟合。 因此控制好模型的...
2019-08-23 20:49:40
1296
原创 机器学习中参数模型和非参数模型
网上关于机器学习中的参数模型和非参数模型之间的解释并没有一个完全一致的解答，有从是不是对数据的分布做了相关假设进行分析的也有是从模型的参数量大小进行解答的二者好像是一致的，但是个人觉得如下使用是不是对数据分布进行了假设来区分并不是特别好理解。非参数模型（non-parametric model）和参数模型（parametric model）作为数理统计学中的概念，现在也常用于机器...
2019-08-23 20:25:23
16407
2
转载 MapReduce的shuffle过程详解（分片、分区、合并、归并。。。）
内容访问原博客：https://blog.youkuaiyun.com/asn_forever/article/details/81233547
2019-05-04 13:39:10
938
转载 什么是挂载？mount的用处在哪？
1.提一句Windows下，mount挂载，就是给磁盘分区提供一个盘符（C,D,E,...）。比如插入U盘后系统自动分配给了它I:盘符其实就是挂载，退优盘的时候进行安全弹出，其实就是卸载unmount。2.Linux下，不像Windows可以有C,D,E,多个目录，Linux只有一个根目录/。在装系统时，我们分配给linux的所有区都在/下的某个位置，比如/home等等。3.提问者插入了新...
2019-05-04 13:36:57
6669
转载 剑指offer：二进制中1的个数（Python）& 0xffffffff
题目描述输入一个整数，输出该数二进制表示中1的个数。其中负数用补码表示。解题思路思路1首先，这种基础的求二进制中1的个数的问题，对于强大的Python，一定存在一些好用的库函数。果不其然，代码如下：Python代码1def NumberOf1(self, n): if n >= 0: return bin(n).count('1') else...
2019-03-31 21:33:34
2231
转载 脚本语言的第一行是用来干什么的？
脚本语言的第一行，目的就是指出，你想要你的这个文件中的代码用什么可执行程序去运行它，就这么简单。#!/usr/bin/python是告诉操作系统执行这个脚本的时候，调用 /usr/bin 下的 python 解释器；相当于写死了python路径;#!/usr/bin/env python(推荐）:会去环境设置寻找 python 目录，这种用法是为了防止操作系统用户没有将 pytho...
2019-03-29 14:49:21
833
转载 如何轻松愉快地理解条件随机场（CRF）？
https://blog.youkuaiyun.com/dcx_abc/article/details/78319246
2019-03-27 20:45:47
265
原创 python——python中list.reverse()函数得到的结果为None
剑指：翻转单词顺序class Solution(object): def reverse_string(self,original_string): if len(original_string)==0: return None string_list=original_string.split(' ') pr...
2019-03-25 14:08:08
8229
转载 RF、GBDT、XGboost特征选择重要性计算 或 如何做特征选择的？
RF、GBDT、XGboost都可以做特征选择，属于特征选择中的嵌入式方法。比如在sklearn中，可以用属性feature_importances_去查看特征的重要度, 比如：from sklearn import ensemble#grd = ensemble.GradientBoostingClassifier(n_estimators=30)grd = ensemble.Rand...
2019-03-17 20:17:40
7509
转载 深度学习——批归一化
深入理解BatchNormalization批标准化 https://blog.youkuaiyun.com/ytusdc/article/details/85382518深度学习】对batch Normalization（批归一化）的理解https://blog.youkuaiyun.com/qq_36302589/article/details/84939038透彻分析批归一化B...
2019-03-09 11:52:38
545
转载 机器学习哪些算法需要归一化
机器学习中需要归一化的算法有SVM,逻辑回归，神经网络，KNN,线性回归，而树形结构的不需要归一化，因为它们不关心变量的值，而是关心变量分布和变量之间的条件概率，如决策树，随机森林，对于树形结构，树模型的构造是通过寻找最优分裂点构成的，样本点的数值缩放不影响分裂点的位置，对树模型的结构不造成影响，而且树模型不能进行梯度下降，因为树模型是阶跃的，阶跃是不可导的，并且求导没意义，也不需要归一化。2、...
2019-03-09 11:26:33
4247
转载 平方损失函数与交叉熵损失函数 & 回归问题为何不使用交叉熵损失函数
讲解平方损失函数与交叉熵损失函数 适用的情况以及 解释了原因。特别是回归问题为什么不能使用 交叉熵损失函数。博客链接：https://blog.youkuaiyun.com/m_buddy/article/details/80224409平方损失函数与交叉熵损失函数交叉熵与均方差 https://blog.youkuaiyun.com/dawnranger/article/det...
2019-03-09 10:19:18
7161
1
转载 深度学习—— 最小二乘法 & 极大似然估计 & 梯度下降法
一、最小二乘法狭义的最小二乘，指的是在线性回归下采用最小二乘准则（或者说叫做最小平方），进行线性拟合参数求解的、矩阵形式的公式方法。所以，这里的「最小二乘法」应叫做「最小二乘算法」或者「最小二乘方法」，百度百科「最小二乘法」词条中对应的英文为「The least square method」。狭义的最小二乘方法，是线性假设下的一种有全局最优的闭式解的参数求解方法，最终结果为全局最优；而广义...
2019-03-07 15:32:30
7121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人