水的只能学-优快云博客

原创并行计算--第一章

并行执行内存架构Single instruction, single data(SISD)使用一个单独的指令执行单独的数据流Single instruction, multiple data(SIMD)多个处理器，但是只有一个控制流进行控制Multiple instruction, single data(MISD)独有控制单元的多个处理器，通向一个单独的内存单元Multiple instr

2017-07-11 15:19:58 434

原创深度强化学习－－第一讲

deep reinforcement learningdeep: 能够处理复杂的场景输入以及计算真实复杂函数reinforcement learning：能够选择复杂的actions强化学习遇到的问题* 人类可以快速学习－－－深度强化学习很慢* 人类可以重复使用过去的知识－－－迁移学习是深度强化学习的一个开放问题* 不清楚reward函数是什么* 不清楚预测规则是什么什么是强化学习机

2017-06-04 19:43:15 535

原创通信-RPC模型

通信-RPC模型通信模型分为4种：远程过程调用（RPC）、远程方法调用（RMI）、面向消息中间件（MOM）以及流（stream）。这里主要讨论远程过程调用（RPC）通信模型。 RPC的目的在于将消息传递的大部分复杂性隐藏，比较实用与客户-服务器应用程序。定义：当机器A上的进程调用机器B上的进程时，A上的调用进程被挂起，B上被调用进程开始执行。调用方可以通过使用参数将信息传递给被调用方，而后

2016-10-26 19:55:20 627

原创 maven 源

国内连接maven官方的仓库更新依赖库，网速一般很慢，收集一些国内快速的maven仓库镜像以备用。====================国内OSChina提供的镜像=================== CN OSChina Central

2016-07-19 16:38:42 535

原创 tensorflow 安装问题解决

系统ubuntu 12.04参考官方安装方式 VirtualEnv 链接TensorFlow但是在import tensorflow时出现错误：错误一：GLIBC_2.17 not found解决步骤：wget http://launchpadlibrarian.net/137699828/libc6_2.17-0ubuntu5_amd64.debwget http:

2016-06-22 20:43:48 3168

原创 IntelliJ IDEA 编写spark项目

这里假设已经安装好来spark和jdk以及IDEA，scala创建scala项目选择project SDK和Scala SDK在src目录下新建一个scala.claas在这个文件中写入之后选择File下的PRoject Structure选择Liberaies点“+”加入spark到jar包首先选择java之后在安装spark中到lib

2015-11-11 12:12:59 619

原创 Ubuntu 安装SBT

wget http://apt.typesafe.com/repo-deb-build-0002.deb sudo dpkg -i repo-deb-build-0002.deb sudo apt-get update sudo apt-get install sbt一次执行这4条命令即可

2015-11-10 22:15:45 613

原创 Haoop ， Spark安装实例教程--Spark安装

spark安装是在之前安装好的hadoop之上进行安装的，之前的hadoop安装地址：Haoop ， Spark安装实例教程--Hadoop安装平台：RHEL6，RHEL6，ubuntu14.04scala:scala-2.10.4Spark:spark-1.5.0-bin-hadoop2.6.tar.gz第一步：安装，配置Scala路径：将scala存放在/u

2015-11-07 20:14:15 815

原创 Hadoop 元模式之作业归并

最近在使用hadoop处理日志统计相关字段的频率与数量，目前只有一个输入文件900M ，需要处理到任务有4个，分别是统计IP，HTTP 状态码，响应时间，已经接口到总频次。开始想到到是使用作业链到方式，但是考虑IO和网络数据传输到限制，最总选择使用作业归并来处理。自己理解中到作业归并：作业归并优点：数据只需要加载一次和解析一次与作业链比较，將多个map使用一个map来进行处理同

2015-11-01 22:21:31 558

原创 Java ”22/Sep/2015:00:18:59“转换格式

”22/Sep/2015:00:18:59“日志文件，转化为2015.09.22:00:18:59的形式”22/Sep/2015:00:18:59“ 的形式为：”dd/MMM/yyyy:HH:mm:ss“"2015.09.22:00:18:59" 的形式为：”yyyy.MM.dd:HH:mm:ss“String StrTime = "22/Sep/2015:00:18:59";Si

2015-11-01 15:22:32 665

原创 HDFS 解析

介绍 HDFS是Hadoop的存储组件，HDFS分布式文件系统是在Google 2003年发表的论文文件系统GFS（中文）这篇论文后实现的。HDFS的特点： HDFS利用超大数据块和数据局部性优化来减少网络输入/输出(I/O) 可扩展性和可使用性 HDFS按照配置的副本数（3个副本）复制文件，可容忍硬件和软件的错误，

2015-10-31 19:07:41 561

原创感知哈希算法

感知算法（Preceptatual hash algorithm），它的作用是对每一张图生成一个64位哈希值，之后比较不同图片的哈希值，结果越接近，说明图片越相似。下面是简单的实现：第一步：缩小尺寸。将图片缩小到8x8的尺寸，总共64个像素，这一步的作用是去除图片的细节，仅仅保留结构等基本信息，忽略不同尺寸、比例带来的图片差异第二步：简化色彩，进行灰度处理将缩小的图片，转换成

2015-10-31 15:12:36 1624

原创 Haoop ， Spark安装实例教程--Hadoop安装

系统：ubuntu12.04 64位hadoop：hadoop-2.6.0spark：spark-1.4.0-bin-hadoop2.4JDK：jdk1.7.0_79Scala:scala-2.10.41：这里默认使用root，因为进行其他设置到时候要对权限更改，root比较方便，因为ubuntu默认是不开启root用户到，这里要开启root用户：登录roo

2015-10-30 21:40:25 923

原创网络爬虫介绍

一：网络爬虫的工作原理网络爬虫即Web Spider 。其原理如下图所示。网络爬虫在搜索时通常采用一定的策略，来提高搜索效率。（1）广度优先策略网络爬虫先抓取其实网页链接到的所以网页，然后在选择其中的一个链接网页继续抓取在此网页中链接的所有网页，这种方法可以让网络蜘蛛并行处理，提高抓取速度（2）深度优先策略网络蜘蛛会从起

2015-09-15 17:52:47 937

原创服务器性能分析几个点

1：CPU 系统的CPU的使用率2：吞吐率：包括网络吞吐量，事务吞吐量服务器单位时间内处理的请求数3：TPS：服务器每秒处理的事务数

2015-09-14 16:17:15 648

原创 nginx 安装阶段整个项目的配置文件分析

在Nginx版本的主目录 configure脚本文件进行整个Ngin所需要的所有配置工作auto/options ---------------------------------------->整个项目的默认配置参数auto/init---------------------------------------------->模块的初步配置auto/sources----------

2015-09-14 16:13:16 561

原创 nginx 源码分析之框架

这里的介绍是从百度获取的。。。Nginx 一个高性能的HTTP和反向代理服务器，也是一个 IMAP/POP3/SMTP服务器，Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的，第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。 Ngin

2015-09-14 14:15:08 655

原创 linux 下调试用到的工具集

首先：毫无疑问的gdb工具进行调试其次：Linux下的strace和ltrace分别可以用来查看一个应用程序在运行过程中所发起的系统调用和动态库调用。strace常用选项： -p pid :通过进程号来指定被跟踪的进程 -o filename: 将跟踪信息输入到指定文件 -f: 跟踪通过fork产生的子进程 -t:: 输出每一个系统调用的发起时间

2015-09-14 07:52:08 467

原创 ubuntu nginx configure 需要额外安装的库

系统：ubuntu安装nginx ./configure 报错误：the HTTP rewrite module requires the PREC Liberary安装 PREC Liberary这使用的是root 用户apt-get upgradeapt-get install libpcre3 libpcre3-dev

2015-09-11 09:03:35 627

paopaoTT的博客