_wells的博客

翻译 Map-Reduce和Spark

Overview回顾python中的函数式编程python中的map和reduce函数用map写并行代码Map-Reduce编程模型用python写spark程序ReadingIntroduction to Parallel Computing, Blaise Barney, Lawrence Livermore National Laboratory.De

转载 Spark原理总结

一、Spark 是什么　 　Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用分布式并行计算框架。Spark拥有hadoop MapReduce所具有的优点，但和MapReduce 的最大不同之处在于Spark是基于内存的迭代式计算——Spark的Job处理的中间输出结果可以保存在内存中，从而不再需要读写HDFS，除此之外，一个MapRe

原创 YARN原理总结

问题导读1.hadoop1.x中mapreduce框架与yarn有什么共同点？2.它们有什么不同点？3.yarn中有哪些改变？4.yarn中有哪些术语？yarn是比较难懂的一个地方，也是很重要的一个组件，不止hadoop使用yarn，spark，storm也可以使用yarn。因此yarn的理解是非常重要的。如果刚开始学习，其实还是挺难懂的。因为很多的概念比较抽象

原创 HDFS原理总结

1. HDFS优缺点1.1 优点1.1.1高容错性可以由数百或数千个服务器机器组成，每个服务器机器存储文件系统数据的一部分；数据自动保存多个副本；副本丢失后检测故障快速，自动恢复。1.1.2适合批处理移动计算而非数据；数据位置暴露给计算框架；数据访问的高吞吐量；运行的应用程序对其数据集进行流式访问。1.1.3适合大数据

翻译 Tensorflow LSTM连续序列预测方法实践

本文展示了如何使用循环神经网络去估计一个向量序列，我们会使用到LSTM的网络。我在网上找的大多数用到LSTM的例子都是用来解决自然语言处理方面问题的，还没有找到相关的例子可以用在预测连续值序列上，所以写下了本文。所以本文的任务是基于历史观察数据去预测一系列连续的实数。传统的神经网络做不到这一点，但是循环神经网络可以解决该问题，因为他们能够存储历史信息来预测未来事件。

原创 RNN的简单理解-part2

Part 2

原创 RNN的简单理解

Part 1 在本文中，我们会构造一个RNN接受一个二进制的X序列输入，来预测一个二进制序列Y输出。序列按如下方式构造:输入序列X ： 在时间步t, Xt有一半的几率为0，另一半几率为1，X可能是[1,0,0,1,1,...].输出序列Y :   在时间步t,Yt有50%的几率为0，另一半几率为1。                      如果X(t-3)是1，那

原创 了解sklearn中的pipeline及FeatureUnions

pipeline模块是sklearn中一个可以让你链式操作系一列transformer和estimators的单元。当你需要做一系列数据提取、变换、规则化和训练的操作时往往是非常麻烦的。       第一次参加一些数据竞赛，我会经常以以下的代码模式起手。 _file('data/train.tsv')train_y = extract_targets(train)train_essay

原创 如何在MacOS上玩儿汇编?

在Mac上写汇编还是相当方便的。本文通过写一个Helloworld程序来入门。首先，MacOS 自带nasm,只是版本有点老,编译不了64位程序，只要上官网下一个最新的，替换一下就行了。有一点需要注意的是mac上gcc编译.o文件的默认入口是_main,而使用ld命令的时候默认的事start.下面创建helloworld.asm文件：SECTION .data

原创 Tensorflow分布式并行技术实践

本文实践了tensorflow的分布式并行技术Tensor的分布式有几种模式，In-graph replication模型并行，将模型的计算图的不同部分放在不同机器执行；                                 between-graph replication数据并行，每台机器使用完全相同的计算图，但是计算不同的batch数据。此外，还有异步并行和同步

原创 Tensorflow实例分析Google Inception v3 网络

本文直接从Inception v3的代码实现入手，分析其中值得借鉴的思想首先要知道一个slim的组件，可以给参数自动赋值，可以省去很多操作def inception_arg_scope(weight_decay=0.00004, use_batch_norm=True, ba

原创 Word2Vec+CNN+tensorflow实现恶意网页链接的检测

一、综述恶意网页链接的检测方案有很多例如http://fsecurify.com/using-machine-learning-detect-malicious-urls/该文使用了机器学习的方法，仅使用逻辑回归就达到了98.5% 的准确率但是该算法存在一些问题，一个是用TFIDF方法来获取词频，该方法的缺陷就是只能获取单词在整段文字的词频信息，没办法联系上下文，从语境中提取文

原创 Ubuntu16.04下基于Docker的Caffe-GPU版本环境搭建总结

Caffe的GPU环境搭建比较复杂，所需依赖如下，本文全部会说明安装方法GNU/Linux x86_64 with kernel version > 3.10Docker >= 1.9 (official docker-engine, docker-ce or docker-ee only)NVIDIA GPU with Architecture > Fermi (2.1)NVIDIA

转载 基于Spark MLlib平台的协同过滤算法---电影推荐系统

说到推荐系统，大家可能立马会想到协同过滤算法。本文基于Spark MLlib平台实现一个向用户推荐电影的简单应用。其中，主要包括三部分内容：协同过滤算法概述基于模型的协同过滤应用---电影推荐实时推荐架构分析    一、协同过滤算法概述        本人对算法的研究，目前还不是很深入，这里简单的介绍下其工作原理。

转载 使用Python MrJob的MapReduce实现电影推荐系统

原文链接：http://www.sobuhu.com/archives/567                  http://blog.youkuaiyun.com/lzt1983/article/details/8777884最近发现一个很好玩的Python库，可以方便的使用在Python下编写MapReduce任务，直接使用Hadoop Streaming在Hadoop上跑。

转载 RCTF-200 welpwn 地址泄露实例

转载地址：http://blog.youkuaiyun.com/SmalOSnail/article/details/53436113题目来源RCTF 2015 welpwn http://oj.xctf.org.cn/files/welpwn_932a4428ea8d4581431502ab7e66ea4b题目分析先获取程序的基本信息： 然后用ida静态分析程序代码，main函数如下： 主函数中re

转载 借助DynELF实现无libc的漏洞利用小结

转自：http://bobao.360.cn/learning/detail/3298.html   前言在没有目标系统libc文件的情况下，我们可以使用pwntools的DynELF模块来泄漏地址信息，从而获取到shell。本文针对linux下的puts和write，分别给出了实现DynELF关键函数leak的方法，并通过3道CTF题目介绍了这些方法的

原创 一图看懂GOT表覆写原理

翻译 200 CSAW2016 Tutorial writeup

拿到程序，运行后直接段错误打开ida看看怎么回事void __fastcall __noreturn main(__int64 a1, char **a2, char **a3){v15 = *MK_FP(__FS__, 40LL); optval = 1; sigemptyset(&v4); fd = socket(2, 1, 0); if ( fd == -1 )

原创 利用ret2libc绕过DEP安全机制

文中的例子是引用了别人的，计作转载吧，具体哪里引用的忘记了数据执行保护：        DEP就是将非代码段的地址空间设置成不可执行属性，一旦系统从这些地址空间进行取指令时，CPU就是报内存违例异常，进而杀死进程。栈空间也被操作系统设置了不可执行属性，因此注入的Shellcode就无法执行了  导向系统库函数执行(ret2libc)攻击方法：      系统函数库（

原创 浅析ELF中的GOT与PLT

一、ELF简介现在PC平台流行的可执行文件格式主要是Windows下的PE（portable Executable）和Linux的ELF（Excutable Linkable Format）。 编译器编译源代码后生成的文件叫做目标文件，从目标文件的结构上讲，它是已经编译后的可执行文件格式，只是还没有链接的过程，其中可能有些符号或有些地址还没有被调整。其实它本身就