- 博客(55)
- 资源 (13)
- 问答 (1)
- 收藏
- 关注
原创 【校招】【社招】字节跳动UG营销算法工程师招聘
字节跳动增长智能-激励中台团队负责公司国内字节所有主要App(包含但不仅限于抖音/抖音极速版/抖音火山版/今日头条/头条极速版/番茄小说/番茄畅听/西瓜视频)的激励玩法算法策略工作,通过因果推断、运筹优化、迁移学习、推荐技术等前沿机器学习技术助力以联动活动、创新玩法、激励导量以及游戏结合激励的方式拉动字节各端DAU增长和业务增长。
2024-06-06 19:40:13
442
1
原创 Spark SQL,DataFrame 和Datasets 指南--Spak2.4.3
目录SQLDatasets和DataFrame出发吧:SparkSession创建DataFrameUntyped Dataset操作(即DataFrame操作)SQL查询全局临时视图创建Dataset与RDD交互使用反射机制进行推理schema编程指定schema聚合ubtyped 用户自定义聚合函数类型安全的用户自定义聚合函数Spark SQL是一个结构化数据处理模块。不像Spark RDD...
2019-06-15 23:40:24
788
原创 Spark Streaming 指南--Spark2.4.3
目录总览快速入门基本概念连接初始化StreamingContext离散Streams(DStreams)输入DStreams和接收器基本数据源高级数据源Receiver的可靠性DStreams上的transformationsUpdateStateByKey 操作transformation操作window操作Join操作Stream-stream joinStream-dataset joinD...
2019-06-15 00:19:36
1460
原创 gragh embedding相关论文小结(四)
本篇针对dynamic graph相关的论文做一个总结Time Evolution of the Importance of Nodes in dynamic NetworksDynamic Network Embedding:An Extended Approach for Skip-gram based Network Embedding************T...
2019-03-26 19:08:00
1102
原创 graph embedding相关论文小结(三)
GNN模型拟合PageRank等ranking算法The Graph Neural Network ModelGraph Neural Network for Ranking Web PagesAdaptive Page Ranking with Neural NetworkRanking Web Pages using Machine Learning Approaches...
2018-10-09 21:37:27
939
1
原创 gragh embedding相关论文小结(二)
-Net2Net:ACCELERATING LEARNING VIA KNOWLEDGE TRANSFER -DynGEM:Deep Embedding Method for Dynamic Graphs -DepthLGP: Learning Embedding of Out-of-Sample Nodes in Dynamic Networks -Inductive Represen...
2018-08-15 09:25:45
1369
原创 tensorflow学习笔记三
分布式tensorflow就是多台服务器参加一个tensorflow图的分布式执行,分布式我感觉就是原来在一台计算机上面运行好几个进程这些进程交互是由OS控制的,而分布式就是把这些进程放在了不同的机器上面运行,他们之间的交互是由分布式框架控制的,实际分布式的核心或者说基本点还是运行的进程。一提到分布式就会有客服端进程和服务端进程概念,TensorFlow 的分布式集群由多个服务器进程和客户端进程组...
2018-07-16 09:17:54
409
原创 gragh embedding相关论文小结(一)
以下是对所读过的各篇论文中的思想简短总结A Comprehensive Survey of Graph Embedding-problems,Techniques and ApplicationsDeepWalk: Online Learning of Social Representationscode2vec: Learning Distributed Representations...
2018-07-04 20:54:09
3393
原创 DL&ML基础学习六
Google发表的<The Case for Learned Index Structures>论文采用神经网络取代数据库经典的索引方法例如B-Tree/Hash-Index/Bloom FIlter,论文中先是使用很native的两层前馈神经网络来学习已经排序的records数据的分布情况,而结果是比BTree索引慢了两个数量级.作者分析出了四条原因,其中有两条值得思考.一个是神经网...
2018-06-30 00:01:45
442
原创 linux(二)
whatis command查看命令简要说明,同时whatis支持-w选项使用正则表达式。更加详细的文档在info command,man num command查看说明文档,分为9个类别,即num取1~9.查看命令的安装路径:which command,查看linux对命令的搜索路径whereis command。文件操作:创建目录mkdir dir_name;删除目录rm -rf di
2018-06-29 23:59:22
301
原创 比赛总结
刚刚参加完第四届高校云计算应用与创新大赛,得了命题赛二的二等奖,作品则是一个依图写诗的应用,按照用户上传的图片识别其中的关键物体,之后生成一首七言或五言诗,并且在网页中展示出来。网址http://neupoet.cn,可能有时会访问不了,因为部署在实验室服务器上,如果服务器不连外网则无法访问。整个比赛持续时间还是比较长的,而且分为预赛,复赛和决赛。我们参加的命题赛二的比赛,要求完成k8s的搭建过程...
2018-05-06 15:42:35
3342
原创 tensorflow学习笔记二
batchX_placeholder = tf.placeholder(tf.float32, [batch_size, truncated_backprop_length])batchY_placeholder = tf.placeholder(tf.int32, [batch_size, truncated_backprop_length])init_state = tf.placehol...
2018-04-05 22:44:55
284
原创 windows基于anaconda安装tensorflow小结
anaconda(python=3.6)版本内置了诸多开发包,包括常用的numpy,scipy,matplot,pandas等,但是没有tensorflow。通过conda install tensorflow试了几次也不成功,之后安装网上的教程安装上了但是在pycharm中不能用。之前在ubuntu 16.04中安装过tensorflow,也是通过anaconda安装。如果在windows上通过...
2018-04-03 21:19:11
326
原创 TensorFlow学习笔记一
Tensorflow:一个用于计算的框架。Tensorflow架构中分为设备管理和通信层、数据操作层、图计算层、API接口层、应用层。Tensorflow使用的符号编程而不是一般的命令编程,符号式编程将计算过程抽象为计算图,计算流图可以方便的描述计算过程,所有输入节点、运算节点、输出节点均符号化处理。计算图通过建立输入节点到输出节点的传递闭包,从输入节点出发,沿着传递闭包完成数值计算和数据流动,直...
2018-03-28 10:02:52
515
原创 DL&ML基础学习三
机器学习中泛化误差等于偏差的平方+方差+噪声。传统的机器学习方法难点在于一个是解决过拟合和欠拟合问题,另一个所有的传统机器学习方法都需要提供数据的特征,而特征需要人为定义,特征定义的好坏直接决定模型的性能。以神经网络为代表深度学习技术一大特点就在于不用事先定义特征,因为神经网络可以自己抽取特征,而且效果很好,但是仍然具有不可解释性,而且也是面临过拟合欠拟合的问题。另外统计学习学习的必须是有规律的事
2018-01-31 11:36:14
582
原创 python方法
python可以用for迭代的都是Iterable,可以next()的都是Iterator。集合类是Iterable而非Iterator。python中类是一个模板,必须绑定的属性强制填写进类中,而实例instance可以自由绑定属性,可以删除更改。__init__(self,args)中的args就是属性,建立实例时需要必须填写的。所有实例方法都需要第一个参数为self。通过help(objec...
2018-01-28 20:36:49
478
原创 DL&ML基础学习五
CNN应用在NLP自然语言处理上面,基本原理是输入是一句话,将一句话分词,每个词表示成一个向量,作为矩阵的一行,所以一句话形成一个矩阵,这个矩阵就类似于图片的像素点矩阵作为输入。该矩阵作为CNN的输入数据。此时CNN的卷积核的特点在于其每个卷积核的宽度都和输入数据的长度相同,宽度仍然是超参。其他原理相同。CNN的优势一个是快速,他可以并行运算,而且前后不具有依赖性。他的表示效果更有效。CNN的卷积...
2018-01-26 00:15:50
746
原创 An overview of gradient descent optimization algorithms
《An overview of gradient descent optimization algorithms 》论文2017年发表,是一篇综述类论文,介绍了很多基于梯度下降方法的改进方法以及分布式执行的方法。其中先是介绍了三种典型的梯度下降算法:批量梯度下降、随机梯度下降和微批量梯度下降,区别在于他们的更新参数的时间点不同,计算梯度的方法相同。这是基础知识。重点在于后面。文中提出四个至今仍
2017-12-29 20:25:08
642
原创 linux(一)
linux中,存放配置文件的是在/etc目录下,而存放命令的则是在/bin /sbin / usr/bin / usr/sbin中,命令当然都是以文件形式存放的。/sbin/中存放的是基本系统命令例如ifconfig、dump等,只有root可以执行,是super bin。而/bin存放的是普通命令例如ls 、chmod、kill等,root和普通用户都可以执行。/usr/bin里面存放的用户后期
2017-12-07 16:24:46
998
原创 neural networks and deep learning 学习笔记
neural network and deep learning笔记
2017-09-12 14:04:34
582
原创 DL&ML基础学习二
对于神经网络的解释有很多,多是从不同的视角进行阐述,包括生物学的视角、空间变换的视角、数学的角度、特征工程的角度等等。如果从生物学的角度看,神经网络是模拟人的神经元工作激励,当所受刺激信号达到一定程度之后会向下传递信号,从而完成各层的信号传递,但是梯度下降法训练可能在人脑中没有,有的是当我们为之前做出的决定或反应所极大地伤害或者说我们的利益因为决定而受损则导致我们在下一次调整决策的策略,可是实际生
2017-09-09 11:47:24
648
原创 DL&ML基础学习一
神经网络中常用的激活函数sigmoid,tanh等,第一次听到sigmoid函数是在逻辑回归的部分,实际从该角度看神经网络是高级的分类模型,而逻辑回归也是为了分类目标,他们可以使用相同的loss function,而神经网络则是即为灵活的模型,模型自身结构可以变化,参数设定可以变,单元之间的机制可以改变,使用的激活函数、损失函数可以变化等等。激活函数是为了引入非线性性质,进行非线性分类。sigmo
2017-09-09 11:19:25
1571
原创 南京大学MOOC用python玩转数据课程笔记
常用的python数据处理库:numpy,pandas,matplotlib,IPython,SciPy,scikit-learn,Theano。对于python自身属性的定义,可以视作为胶水语言可以与其他语言集成开发,是一门脚本语言,是一门OOP语言。python官网上的PyPI页面代表python软件包索引,一般使用pip命令进行安装python库,一般python环境都具备pip命令
2017-08-16 16:05:01
3011
原创 不能错过的资源链接 持续更新
1 IT技术优秀文章汇总 http://www.xuanfengge.com/it-article.html2 100个java个高质量开发者博客 http://www.programcreek.com/2012/11/top-100-java-developers-blogs/3 码农周刊 http://weekly.manong.io/issues/?ref=blog4 编程...
2016-11-13 00:22:15
785
原创 java基础知识总结
面向对象软件开发的优点有哪些? 答:开发模块化,更易维护和修改;代码之间可以复用;增强代码的可靠性、灵活性和可理解性。多态的定义? 答:多态是编程语言给不同的底层数据类型做相同的接口展示的一种能力。一个多态类型上的操作可以应用到其他类型的值上面。继承的定义? 答:继承给对象提供了从基类获取字段和方法的能力。继承提供了代码的重用行,也可以在不修改类的情况下给现存的
2016-10-06 22:41:20
757
原创 java实现生产者与消费者
package concurrent;import java.util.concurrent.ArrayBlockingQueue;import java.util.concurrent.BlockingQueue;/** * Created by geekgao on 16-3-4. */public class ProducerAndConsumer2 {
2016-09-09 01:35:29
745
原创 编程之美中的NIM游戏及异或性质应用
最近看《编程之美》一书,感叹思维之妙,不过看过之后又在很多数学方面的书里面找到了同样的解法例如《组合数学》、《图论导引》等,之后才知道其实很多书上的算法都是源自数学、图论、博弈论知识,同时也一直有一种感觉:未来是数据的天下,同时也是数学威力大大展现的时候。在《编程之美》1.11~1.13中讲的都是NIM游戏。所以在网上查查资料,汇总如下,以备review。给出n列珍珠,两人轮流取珍珠,每次
2016-09-09 01:05:16
3467
谱方法 算法 分析与应用
2018-10-15
网络表示即network representation综述
2018-07-26
GoogleNet Inception v3经过Imagenet数据训练好的模型参数文件
2018-02-01
javaGC 对Servlet的回收
2017-02-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人