- 博客(60)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 redis与linux系统调用epoll
redis 是一个单线程却性能非常好的内存数据库， 主要用来作为缓存系统。 redis 采用linux网络IO多路复用技术(epoll)来保证在多连接的时候， 系统的高吞吐量。redis的高并发与epoll介绍如下：redis的高并发的原因：1）绝大部分请求是内存操作，非常快速2）单线程，避免了不必要的上下文切换3）IO内部实现采用l...
2019-09-02 23:13:12
424
2
原创 kafka与linux系统调用
尽管kafka的消息保存在磁盘中，kafka依然有着高吞吐率，支持每秒百万级的写入请求，一个重要的原因是kafka使用了多项linux系统调用，使得读写速度那么快。本篇首先简要介绍kafka，然后说明kafka使用的linux系统调用mmap和sendfile。 kafka的broker为消...
2019-09-02 23:11:23
419
转载 Java中其他各式各样的问题
这部分包含 Java 中关于 XML 的面试题，JDBC 面试题，正则表达式面试题，Java 错误和异常及序列化面试题125）嵌套静态类与顶级类有什么区别？(答案)一个公共的顶级类的源文件名称与类名相同，而嵌套静态类没有这个要求。一个嵌套类位于顶级类内部，需要使用顶级类的名称来引用嵌套静态类，如 HashMap.Entry 是一个嵌套静态类，HashMap 是一个顶级类，Entry是一个嵌...
2019-03-09 10:38:09
414
转载 关于 OOP 和设计模式
这部分包含 Java 面试过程中关于 SOLID 的设计原则，OOP 基础，如类，对象，接口，继承，多态，封装，抽象以及更高级的一些概念，如组合、聚合及关联。也包含了 GOF 设计模式的问题。103）接口是什么？为什么要使用接口而不是直接使用具体类？接口用于定义 API。它定义了类必须得遵循的规则。同时，它提供了一种抽象，因为客户端只使用接口，这样可以有多重实现，如 List 接口，你可以...
2019-03-09 10:36:41
1064
转载 Java 最佳实践
包含 Java 中各个部分的最佳实践，如集合，字符串，IO，多线程，错误和异常处理，设计模式等等。76）Java 中，编写多线程程序的时候你会遵循哪些最佳实践？(答案)这是我在写Java 并发程序的时候遵循的一些最佳实践： a）给线程命名，这样可以帮助调试。 b）最小化同步的范围，而不是将整个方法同步，只对关键部分做同步。 c）如果可以，更偏向于使用 volatile 而不是 synchr...
2019-03-09 10:36:02
697
转载 Java IO 和 NIO基础知识
IO 是 Java 面试中一个非常重要的点。你应该很好掌握 Java IO，NIO，NIO2 以及与操作系统，磁盘 IO 相关的基础知识。下面是 Java IO 中经常问的问题。66）在我 Java 程序中，我有三个 socket，我需要多少个线程来处理？67）Java 中怎么创建 ByteBuffer？ByteBuffer bb = ByteBuffer.wrap(newbyte[...
2019-03-09 10:34:15
990
转载 Java 集合框架
这部分也包含数据结构、算法及数组的面试问题48) List、Set、Map 和 Queue 之间的区别(答案)List 是一个有序集合，允许元素重复。它的某些实现可以提供基于下标值的常量访问时间，但是这不是 List 接口保证的。Set 是一个无序集合。49）poll() 方法和 remove() 方法的区别？poll() 和 remove() 都是从队列中取出一个元素，但是 po...
2019-03-09 10:33:15
227
转载 java关于内存的基本概念
Java 基本概念面试题44）“a==b”和”a.equals(b)”有什么区别？如果 a 和 b 都是对象，则 a==b 是比较两个对象的引用，只有当 a 和 b 指向的是堆中的同一个对象才会返回 true，而 a.equals(b) 是进行逻辑比较，所以通常需要重写该方法来提供逻辑一致性的比较。例如，String 类重写 equals() 方法，所以可以用于两个不同对象，但是包含的字母...
2019-03-09 10:31:45
342
转载 JVM 底层 与 GC（Garbage Collection）
31）64 位 JVM 中，int 的长度是多数？Java 中，int 类型变量的长度是一个固定值，与平台无关，都是 32 位。意思就是说，在 32 位 和 64 位 的Java 虚拟机中，int 类型的长度是相同的。32）Serial 与 Parallel GC之间的不同之处？Serial 与 Parallel 在GC执行的时候都会引起 stop-the-world。它们之间主要不同...
2019-03-09 10:30:35
294
转载 数据类型和 Java 基础
17）Java 中应该使用什么数据类型来代表价格？如果不是特别关心内存和性能的话，使用BigDecimal，否则使用预定义精度的 double 类型。18）怎么将 byte 转换为 String？可以使用 String 接收 byte[] 参数的构造器来进行转换，需要注意的点是要使用的正确的编码，否则会使用平台默认编码，这个编码可能跟原来的编码相同，也可能不同。19）Java 中怎...
2019-03-09 10:28:25
417
转载 多线程、并发及线程的基础问题
多线程、并发及线程的基础问题1）Java 中能创建 volatile 数组吗？能，Java 中可以创建 volatile 类型数组，不过只是一个指向数组的引用，而不是整个数组。我的意思是，如果改变引用指向的数组，将会受到 volatile 的保护，但是如果多个线程同时改变数组的元素，volatile 标示符就不能起到之前的保护作用了。2）volatile 能使得一个非原子操作变成原子操...
2019-03-09 10:23:28
215
转载 线程安全与死锁总结
1) 什么是线程？线程是操作系统能够进行运算调度的最小单位，它被包含在进程之中，是进程中的实际运作单位。程序员可以通过它进行多处理器编程，你可以使用多线程对运算密集型任务提速。比如，如果一个线程完成一个任务要100毫秒，那么用十个线程完成改任务只需10毫秒。Java在语言层面对多线程提供了卓越的支持，它也是一个很好的卖点。2) 线程和进程有什么区别？线程是进程的子集，一个进程可以有很多线程，...
2019-03-09 10:18:07
577
原创 python sklearn预处理方法
1. 标准化(scale)标准化目的是去均值。变换后各维特征有0均值，单位方差。也叫z-score规范化（零均值规范化）。计算方式是将特征值减去均值，除以标准差。import numpy as npfrom sklearn import preprocessingin_data = np.array([[5.1, -2.9, 3.3],[-1.2, 7.8, -6.1]])da...
2018-12-31 13:27:52
381
原创 presto部署连接postgresql
Presto配置依据官网介绍（https://prestodb.io/docs/current/installation/deployment.html）按步骤配置并启动presto。下载presto-server并解压重命名为presto，进入presto并新建etc、data文件夹； 依据官网介绍，在etc文件夹下增加并配置presto各配置文件。 3. 增加postgre...
2018-12-26 15:16:31
3635
翻译 spark部署所需硬件资源
存储系统 由于大多数Spark作业可能必须从外部存储系统（例如Hadoop文件系统或HBase）读取输入数据，因此将其尽可能靠近此系统放置非常重要。我们建议如下： 如果可能的话，在与HDFS相同的节点上运行Spark。最简单的方法是建立一个Spark 独立模式集群同一节点上，并配置Spark和Hadoop的内存和CPU的使用情况，以避免相互干扰（Hadoop的，相关的选项是 ma...
2018-12-15 13:23:10
725
1
原创 windows7搭建vscode运行vue
vscode下载安装https://code.visualstudio.com/Download设置中文字体https://jingyan.baidu.com/article/7e44095377c9d12fc1e2ef5b.html运行vue工程在下侧控制台，打开“终端”，可执行如下命令运行工程npm run dev ...
2018-12-10 16:31:56
726
原创 docker-compose部署kafka
docker-compose部署kafka介绍如下：编写docker-compose.yml文件，将文件中IP修改为本机ip，docker-compose.yml文件内容如下：version: '2'services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafk...
2018-12-09 14:42:10
1518
原创 streamsets docker版安装部署
首先确保系统安装并启动docker 打开streamsets官网，选择docker image，如下图所示 参照官网介绍即上图所示，执行docker run...命令，完成streamset安装部署 ...
2018-12-09 14:37:00
2791
3
原创 streamingpro部署
部署环境为centos7,部署步骤如下 下载与编译运行 按照如下步骤，下载编译运行git clone https://github.com/allwefantasy/streamingpro .cd streamingpro./dev/make-distribution.shcp streamingpro-bin-1.1.3.tgz /tmpcd /tmp &...
2018-12-09 14:13:22
326
原创 CentOS7下PostgreSQL安装过程
参考： CentOS7下PostgreSQL安装过程 修改密码，需首先执行connect： connectALTER USER postgres PASSWORD '123456';
2018-11-28 13:51:30
209
原创 kafka consumer partition分配
成功Rebalance的结果是，被订阅的所有Topic的每一个Partition将会被Consumer Group内的一个（有且仅有一个）Consumer拥有。每一个Broker将被选举为某些Consumer Group的Coordinator。某个Cosnumer Group的Coordinator负责在该Consumer Group的成员变化或者所订阅的Topic的Partititon变化时协...
2018-10-19 18:58:07
2638
原创 superset安装与问题解决
1.centos7环境安装superset Installation & Configurationsuperset介绍跟环境搭建CentOS7下安装python-pip2. superset docker经验证，在centos7下面这种方法可用superset安装与使用参考：Superset搭建及其简单使用3.问题（1）Was unable to ...
2018-10-16 09:31:50
3930
原创 kafka-manager-1.3.3.18.zip(centos7编译)
centos7编译kafka-manager-1.3.3.18.zip, 支持kafka1.1.01. sbt安装curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repoyum install -y sbt2. 下载 kafka-manager-1.3.3.18.zip...
2018-10-11 17:19:43
1345
转载 CentOS 7下安装配置 VNC Server
vncserver安装参考：CentOS 7下安装配置 VNC Servervncserver设置开机自启动vncserver在centos7下设置开启自启动命令：systemctl enable vncserver@:1.service vncserver查询启动服务命令vncserver -list ...
2018-10-09 17:34:27
271
原创 docker部署大数据软件
1. hdfs 使用Docker部署单节点hadoop操作如下：docker pull sequenceiq/hadoop-docker:2.7.1 docker run -it sequenceiq/hadoop-docker:2.7.1 /etc/bootstrap.sh -bash 2. zookeeper 使用Docker部署单节点zookeeper操作如下：...
2018-10-09 17:31:40
575
原创 mongodb部署与开机自启动
1. 创建文件夹root用户mkdir /usr/local/mongodbchown docker:docker /usr/local/monogdbmkdir -p /data/mongodbchown -R docker:docker /data/mongodbdocker用户cd /data/mongodbmkdir db logs2解压将mongo...
2018-10-09 16:42:58
938
原创 suse12 redis-sensienl-keepalived双击热备部署
1. 部署环境本次部署环境为suse12，部署方式为离线部署2. 软件版本软件版本为redis-3.0.5，keepalived-1.3.6，依赖包有libopenssl-devel-1.0.1i-18.1.x86_64.rpm，zlib-devel-1.2.8-8.1.x86_64.rpm3. 部署过程部署过程参考，《利用redis-sentinel+keepalived...
2018-05-20 09:28:04
2078
2
原创 docker制作nginx静态网站示例
1. 环境centos72. 配置步骤本次配置的路径/home/dockerdir/，建立sample文件夹cd /home/dockerdirmkdir samplecd sample2.1Dockerfile配置进入/home/dockerdir/sample目录，touch Dockerfile，vim Dockerfile输入以下内容FROM centosMAINTAINER ZHA...
2018-04-30 08:43:44
577
原创 nginx在centos7环境下配置webserver
1.nginx在centos7环境安装打开linux终端输入如下命令，安装nginxyum updateyum -y install nginx或者rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpmyum -y install nginx2.ngi...
2018-04-30 00:26:02
559
原创 centos7 连接不上mongodb
使用mongodb的java api编写程序，连接mongodb服务连不上，mongodb服务、客户端程序在不同机器上。发现有两种原因，第一：mongodb服务所在机器防火墙未关；第二：mongodb启动该时绑定ip。以下是centos防火墙关闭、查询，及mongodb启动命令[root@localhost Desktop]# systemctl stop firewalld.servi...
2017-12-21 13:01:29
2184
原创 通过MessageAndMetadata获取key和message
createDirectStream方式通过以下四步，获取key和message1. 获取Topic上次消费到的offset，信息保存在inputTopicLockMaster参数配置的zk中,即,localhost:21812. Create direct kafka stream with brokers and topics2. 利用MessageAndMetadata，重写接口PairFunction<T, K, V>的方法，获取key和message4. 获取rdd每个元素的key、mes
2017-09-09 23:42:27
4537
翻译 createDirectStream官网例子
区别Receiver接收数据，这种方式定期地从kafka的topic+partition中查询最新的偏移量，再根据偏移量范围在每个batch里面处理数据，使用的是kafka的简单消费者api 优点：1. 简化并行，不需要多个kafka输入流，该方法将会创建和kafka分区一样的rdd个数，而且会从kafka并行读取。 2. 高效，这种方式并不需要WAL，WAL模式需要对数据复制两次，第一次
2017-09-09 23:04:18
5150
原创 predictionio执行train、deploy、eval的命令和执行命令后的打印输出分别如下
predictionio执行train、deploy、eval的命令和执行命令后的打印输出分别如下
2017-06-29 22:30:06
2095
原创 predictionio_train解析-执行pio train代码解析
predictionio_train解析-执行pio train代码解析
2017-06-11 22:48:53
780
原创 spark-streaming kafka api（KafkaUtils.createDirectStream）使用
本程序参照spark-streaming kafka官方示例注意：官方提供的spark-streaming-kafka调用借口，java和scala使用是不同的1.本次的程序为（以local[2]方式启动）本次主要学习spark-streaming-kafka接口KafkaUtils.createDirectStream
2017-05-14 02:20:18
11904
1
翻译 kafka部署与简单使用
本次部署参照官方的quick start，链接：http://kafka.apache.org/quickstart本次部署kafka版本 kafka_2.11-0.10.2.0.tgz，下载地址为http://kafka.apache.org/downloads
2017-05-14 01:28:54
2134
翻译 predictionio部署
predictionio部署安装。predictionio由两部分组成：eventserver和predictionserver，eventserver负责数据源的收集，predictionserver为推荐引擎。三类数据需要保存：数据源eventdata、模型（modeldata）、metadata。三类数据默认保存在PostgreSQL，可在pio-env.sh中配置，pio-env.sh文件位置为apache-predictionio-0.10.0-incubating/conf，默认提供的模版文件p
2017-04-02 16:57:20
2204
1
人工智能平台openpai配置文件与github下载包
2022-07-14
python_whl_pandas_sikitlearn.rar
2020-04-15
python机器学习入门-鸢尾花data建立python机器学习
2019-01-01
suse12 redis-sensienl-keepalived双击热备部署
2018-05-20
mongodb连接不上记录文档
2017-12-21
predictionio部署
2017-04-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人