- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 经典拥塞控制算法介绍
网络传输的本质是对于网络资源合理的共享和复用，用于发送控制的拥塞控制算法便成为了网络传输最核心的设计之一，它不仅需要关注用户传输的性能还需要关注传输的公平性。在传输协议规范化之后便陆续诞生了许多经典的拥塞控制算法，虽然随着网络的发展，这些算法有着或多或少的历史局限性，但他们传输控制的设计思想对后续的拥塞控制算法设计产生了深远的影响。
2024-04-01 11:09:10
1117
1
原创 PySpark调用cuda例子（附测试）
PySpark本质上不支持cuda调度，所以如果想使用cuda只能借助一些第三方的Python支持库或者自己编写使用cuda的c++函数然后封装成Python可以调用的库供Python调用，在此我们采取第二种方案：使用cython编写cuda核函数，封装成lib供Python使用。cython包装cuda函数本例子程序已经同步至github（https://github.com/zhangji...
2020-01-06 19:32:43
726
原创 cython理解（一）
之前和大家简单介绍过一些cython的简单使用方法，显然只了解这些在大型的工程中为c++封装Python可以调用的动态库是远远不够的。举一个很简单的例子，众所周知，Python和c++的很多的特性是不一样的，比如说Python中你赋值给变量a为1，实际的计算机中变量a的位宽是64位，而在c++中这个变量可能只有32位，所以本身来说为Python编写动态库相对而言是一件非常危险的事情：比如你处理一个...
2020-01-04 17:39:27
291
原创 如何在Java和Scala中使用JNI调用c++动态库.so
本文所用的全部样例demo已经同步上传至github(https://github.com/zhangjiaxinghust/java_call_cpp)，样例在ubuntu16.04下均有一键运行脚本，可以运行感受一下，下面我们就根据这四个样例来介绍JNI的使用，方便大家后续在Java和Scala工程中直接调用外部动态链接库。JNI介绍众所周知，JAVA和SCALA都运行在JVM之上，具有跨...
2019-12-25 14:56:54
994
原创 Spark RDD理解
Spark RDD理解RDD设计是整个Spark中最为核心的设计理念，理解了RDD的设计之后自然而然就可以理解Spark为什么要这么设计，首先呢我们要先从Spark和Hadoop的渊源说起。Spark&HadoopHadoop在之前几年是非常火的，统领了大数据分析将近十年的浪潮，但是从2015年之后，整个Hadoop市场在逐渐萎缩，取而代之的是Spark市场逐渐扩张，同样是做批处理为...
2019-12-21 12:09:37
183
原创 Hadoop3.2 +Spark3.0全分布式安装
Hadoop3.2 +Spark3.0全分布式安装目前Apache官网已经推出了最新版的Haoop3.2和最新版的Spark3.0，比原来增加了很多新特性。Hadoop的安装主要是为Spark提供HDFS的支持和yarn的调度。那么我们将在本文介绍全分布式的Hadoop和Spark的安装方法，供大家参考。安装系统：Ubuntu 16.04主节点（Master）数量：1从节点（Slave）数...
2019-12-16 20:22:04
5268
1
原创 基于Hadoop3.2伪分布式安装Spark3.0
在安装Spark3.0之前我们需要先安装Hadoop3.2。Hadoop 3.2伪分布式安装安装Java JDK并配置好Java_HOME环境变量Hadoop3.0之后的版本只支持Java8以后的版本。下载完jdk解压之后放置于’/usr/lib/jvm’下面（目录可以更改），下载完之后在‘/etc/profile’中配置相关的环境变量export JAVA_HOME=/usr/lib/j...
2019-12-12 20:42:28
1367
1
原创 cython简单使用方法
cython简单使用方法一、 介绍python是一种高层级的，动态的，解释性的，易学的语言，但是其带来的副作用是，运行效率可能会比静态编译语言慢几个数量级。我们可以使用python调用外部接口的方式，极大的提高python的运行效率，cython正是一种可以为Python编写接口的语言。相当于Python做前端的计算，后台的运行就交给用c或者c++实现的这些动态库来完成了，效率相比之前快了很多...
2019-12-09 23:54:57
1021
原创 从cuda函数库cub看如何高效实现数组加法
从cuda函数库cub看如何高效实现数组加法近期，我们测试了了engine中关于数组求和和zdb中关于数组求和的速度，结果我们发现zdb中关于数组求和的速度快了10%左右，那么cub是如何更高效的利用cuda实现数组求和的呢？我们又可以从中获得什么启发呢？传统数组求和如果不考虑并行计算的话，数组求和貌似只有一个方法，从头扫描到尾，但是如果考虑到并行，并且是有用几千核算力的GPU实现并行，可...
2019-12-09 16:28:44
4524
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人