5. 大数据
关注
分享
扫一扫
gobitan
这个作者很懒，什么都没留下…
展开
-
遥感科普|中国高分系列卫星综述(2020版)
遥感科普|中国高分系列卫星综述(2020版)文章来源：卫星遥感大数据公众号高分系列卫星概述中国高分系列卫星是"高分专项"所规划的高分辨率对地观测的系列卫星。它是《国家中长期科学和技术发展规划纲要（2006～2020年）》所确定的16个重大专项之一。该专项系统于2010年经过国务院批准启动实施。截止到目前(2020-10)为止，高分系列已经从高分一号发展到高分十三号，其中：[1]“高分一号”为光学成像遥感卫星；[2]“高分二号”也是光学遥感卫星，但全色和多光谱相机的空间分辨率都提高了一原创 2020-10-30 12:57:26 · 18592 阅读 · 0 评论 -
热烈祝贺高分十三号卫星发射成功
热烈祝贺高分十三号卫星发射成功2020年10月12日0时57分，高分十三号卫星在西昌卫星发射中心由长征三号乙运载火箭成功发射。高分十三号卫星由中国航天科技集团有限公司五院研制，是一颗高轨光学遥感卫星，主要用于国土普查、农作物估产、环境治理、气象预警预报和综合防灾减灾等领域，可为国民经济建设提供信息服务。另外，执行本次发射任务的长征三号乙运载火箭由航天科技集团一院研制。高分十三号卫星的成功发射为高分家族再填新成员，也将丰富卫星遥感应用的数据源！"卫星遥感大数据"公众号为...原创 2020-10-13 12:50:10 · 536 阅读 · 0 评论 -
Apache Phoenix：HBase之上的SQL工具[2]:部署与SQL快速入门
Apache Phoenix：HBase之上的SQL工具[2]:部署与SQL快速入门作者：胡佳辉(Dennis) 时间：2019年1月1日 优快云博客：https://blog.youkuaiyun.com/gobitan Phoenix部署第一步：版本选择与下载目前Phoenix最新的版本为5.0.0，这里选取当前较为稳定的4.14.1版本，它可以。安装包可以在这里下载：http...原创 2019-01-01 23:14:31 · 348 阅读 · 0 评论 -
图数据库JanusGraph实战[4]: Linux下JanusGraph的安装
图数据库JanusGraph实战[4]: Linux下JanusGraph的安装作者：胡佳辉 优快云博客：https://blog.youkuaiyun.com/gobitan 图数据库JanusGraph实战是一个系列文章，将全面介绍JanusGraph的各个方面。本文是该系列的第四篇，主要介绍Linux下JanusGraph的基本安装、简单使用。 说明：本文以CentOS7操作系统...原创 2018-12-24 23:43:40 · 3321 阅读 · 0 评论 -
图数据库JanusGraph实战[3]: Windows下JanusGraph的安装
图数据库JanusGraph实战[3]: Windows下JanusGraph的安装作者：胡佳辉 优快云博客：https://blog.youkuaiyun.com/gobitan 图数据库JanusGraph实战是一个系列文章，将全面介绍JanusGraph的各个方面。本文是该系列的第三篇，主要介绍JanusGraph在Windows下的安装，采用JanusGraph+Berkeley+ES...原创 2018-12-23 23:33:01 · 5260 阅读 · 6 评论 -
图数据库JanusGraph实战[2]: JanusGraph架构
图数据库JanusGraph实战[2]: JanusGraph架构作者：胡佳辉 优快云博客：https://blog.youkuaiyun.com/gobitan 图数据库JanusGraph实战是一个系列文章，将全面介绍JanusGraph的各个方面。本文是该系列的第二篇，主要介绍JanusGraph的架构。JanusGraph是一个图数据库引擎。JanusGraph本身专注在图数据的序...原创 2018-12-23 23:24:35 · 1837 阅读 · 0 评论 -
图数据库JanusGraph实战[1]: JanusGraph简介
图数据库JanusGraph实战[1]: JanusGraph简介作者：胡佳辉(家辉) 优快云博客：https://blog.youkuaiyun.com/gobitan 图数据库JanusGraph实战是一个系列文章，将全面介绍JanusGraph的各个方面。本文是该系列的第一篇《图数据库JanusGraph实战[1]: JanusGraph简介》，主要包括JanusGraph的介绍、J...原创 2018-12-23 23:13:44 · 3075 阅读 · 0 评论 -
Hive 2.x集成Tez0.9.0引擎指南(Hive-on-Tez)
Hive 2.x集成Tez0.9.0引擎指南(Hive-on-Tez)作者：家辉 日期：2018年12月19日 优快云博客：https://blog.youkuaiyun.com/gobitan 目录Hive为什么集成TezTez版本选择Tez版本下载Tez编译Tez安装配置tez-site.xml环境变量配置/etc/profile解决Hadoop版本兼容性问...原创 2018-12-19 22:52:53 · 4038 阅读 · 0 评论 -
图数据库JanusGraph介绍及使用(二)：架构
图数据库JanusGraph介绍及使用(二)：架构作者：家辉，日期：2018-07-03 优快云博客： http://blog.youkuaiyun.com/gobitan 说明：这是图数据库JanusGraph系列的第二篇，后面会陆续介绍。图数据库JanusGraph介绍及使用(一)：简介 https://blog.youkuaiyun.com/gobitan/article/details/8093...原创 2018-07-06 12:51:36 · 8313 阅读 · 3 评论 -
图数据库JanusGraph介绍及使用(一)：简介
图数据库JanusGraph介绍及使用(一)：简介作者：家辉，日期：2018-07-01 优快云博客： http://blog.youkuaiyun.com/gobitan 说明：这是图数据库JanusGraph系列的第一篇，后面会陆续介绍。图数据库JanusGraph介绍及使用(一)：简介 https://blog.youkuaiyun.com/gobitan/article/details/8...原创 2018-07-06 12:44:12 · 25297 阅读 · 2 评论 -
Hadoop2.7.3单机伪分布式环境搭建
Hadoop2.7.3单机伪分布式环境搭建作者：家辉，日期：2018-07-10 优快云博客： http://blog.youkuaiyun.com/gobitan说明：Hadoop测试环境经常搭建，这里也做成一个模板并记录下来。基础环境：CentOS7模板，参考：https://blog.youkuaiyun.com/gobitan/article/details/80993354 CentOS7_64位操作系统模板...原创 2018-07-10 23:10:51 · 3076 阅读 · 0 评论 -
图数据库JanusGraph实战[5]: JanusGraph可视化之Gephi
图数据库JanusGraph实战[5]: JanusGraph可视化之Gephi作者：胡佳辉(家辉) 日期：2018年12月29日 优快云博客：https://blog.youkuaiyun.com/gobitan 图数据库JanusGraph实战是一个系列文章，将全面介绍JanusGraph的各个方面。本文是该系列的第五篇，主要介绍JanusGraph的可视化工具Gephi。 Jan...原创 2018-12-29 23:52:40 · 13872 阅读 · 6 评论 -
Apache Phoenix：HBase之上的SQL工具[1] 简介与架构
Apache Phoenix：HBase之上的SQL工具[1] 简介与架构作者：胡佳辉(Dennis) 时间：2019年1月1日 优快云博客：https://blog.youkuaiyun.com/gobitan Phoenix简介Phoenix最早是saleforce的一个开源项目，后来成为Apache基金的顶级项目。Apache Phoenix接受用户输入的SQL查询，将其编译为一...原创 2019-01-01 23:11:41 · 687 阅读 · 0 评论 -
免费开放《图数据库JanusGraph实战》教程，速领！
免费开放《图数据库JanusGraph实战》教程，速领！作者：胡佳辉(家辉) 日期：2019年4月22日 优快云博客：https://blog.youkuaiyun.com/gobitanJanusGraph是一个优秀的开源分布式图数据库，支持与各类大数据系统集成，目前已经在很多大型公司生产环境使用，但除了官网之外，其他开放的资料比较少，初学者入门学习起来困难较大。从去年下半年开始，我一...原创 2019-04-22 12:41:09 · 4321 阅读 · 3 评论 -
图数据库HugeGraph简介与快速入门
图数据库HugeGraph简介与快速入门作者：胡佳辉(家辉)，日期：2019年2月10日 优快云博客：https://blog.youkuaiyun.com/gobitan 1. HugeGraph简介1.1 HugeGraph概述HugeGraph是一款由百度开源的图数据库(Graph Database)系统，可以存储海量的顶点(Vertex)和边(Edge)， 基于Apache...原创 2019-02-11 09:00:37 · 21485 阅读 · 0 评论 -
全球主流云计算厂商托管的云图数据库盘点
全球主流云计算厂商托管的云图数据库盘点作者：胡佳辉(家辉) 优快云博客：https://blog.youkuaiyun.com/gobitan 概述近年来随着大数据的深入发展，图数据库以其处理复杂网络分析特有的优势迎来了快速发展，在众多领域得到了广泛应用。如社交网络、金融风控、知识图谱、网络安全、物流等。Neo4j以其优秀的产品体验，成熟的社区占据了接近图数据库市场的半壁江山，是目前...原创 2019-02-10 16:20:37 · 1223 阅读 · 0 评论 -
《Neo4j 3.x入门经典》已正式出版，各大网店均有售！
《Neo4j 3.x入门经典》已正式出版，各大网店均有售！ 大家好，由我参与翻译（第二译者）的《Neo4j 3.x入门经典》已拿到批号正式出版，在各大网店均有售！京东链接：https://item.jd.com/41497370796.html天猫链接：https://detail.tmall.com/item.htm?id=587002748115本书是张帜老师主...原创 2019-02-21 22:58:09 · 1075 阅读 · 0 评论 -
Neo4j常用Cypher查询语句
Neo4j常用Cypher查询语句作者：胡佳辉， 优快云博客：https://blog.youkuaiyun.com/gobitan [1] 查看图数据库中所有的标签match (n) return distinct labels(n)[2] 查询所有节点和关系match (n) return n[3] 删除所有的节点和关系match (n) detach delete...原创 2019-01-16 11:11:25 · 3060 阅读 · 0 评论 -
Apache Phoenix：HBase之上的SQL工具[5]: 事务与索引
Apache Phoenix：HBase之上的SQL工具[5]: 事务与索引作者：胡佳辉(Dennis) 时间：2019年1月1日 优快云博客：https://blog.youkuaiyun.com/gobitan Phoenix事务事务，通俗地讲，可以看做是多于一个修改，要么全部生效，要么都不生效，从而确保数据的完整性、一致性。HBase采用Apache Tephra作为Transacti...原创 2019-01-01 23:21:54 · 950 阅读 · 0 评论 -
Apache Phoenix：HBase之上的SQL工具[4]:Phoenix常用命令
Apache Phoenix：HBase之上的SQL工具[4]:Phoenix常用命令作者：胡佳辉(Dennis) 时间：2019年1月1日 优快云博客：https://blog.youkuaiyun.com/gobitan 查看帮助!help 创建表create table user(id integer not null primary key, i.first_nam...原创 2019-01-01 23:19:00 · 742 阅读 · 0 评论 -
Apache Phoenix：HBase之上的SQL工具[3]:快速入门之Java API(JDBC)
Apache Phoenix：HBase之上的SQL工具[3]:快速入门之Java API(JDBC)作者：胡佳辉(Dennis) 时间：2019年1月1日 优快云博客：https://blog.youkuaiyun.com/gobitan Phoenix快速入门之Java API(JDBC)第一步：创建工程mvn archetype:generate -DgroupId=cn.d...原创 2019-01-01 23:17:10 · 649 阅读 · 0 评论 -
图数据库JanusGraph介绍及使用(三)：安装与初步使用
图数据库JanusGraph介绍及使用(三)：安装与初步使用作者：家辉，日期：2018-07-05 优快云博客： http://blog.youkuaiyun.com/gobitan 说明：这是图数据库JanusGraph系列的第三篇，后面会陆续介绍。图数据库JanusGraph介绍及使用(一)：简介 https://blog.youkuaiyun.com/gobitan/article/details...原创 2018-07-16 17:19:26 · 16913 阅读 · 2 评论 -
Scala语言入门之Hello world
Scala语言入门之Hello world作者：家辉，日期：2018-05-08，优快云博客：http://blog.youkuaiyun.com/gobitan摘要：Scala是Scalable Language的缩写，意为可扩展的语言。Scala是一门多范式语言，同时支持面向对象和函数式编程。近些年Scala在大数据领域应用较多。写此博文为training用。第一步：环境搭建说明：本文的操作系统基于C...原创 2018-05-08 23:16:42 · 771 阅读 · 2 评论 -
基于CentOS7搭建Kafka单机环境
基于CentOS7搭建Kafka单机环境作者：家辉，日期：2018-04-13 优快云博客： http://blog.youkuaiyun.com/gobitan摘要：本文基于CentOS7搭建了Kafka单机版，并做了简单使用测试。安装准备[1] 更新CentOS 7的系统[root@localhost ~]# yum update -y[root@localhost ~]# reboot[2] 安装JD...原创 2018-04-13 15:33:40 · 2287 阅读 · 0 评论 -
Nutch1.7学习笔记3：Injector源代码分析
Nutch1.7学习笔记3：Injector源代码分析作者：雨水，时间：2013-11-13 博客地址：http://blog.youkuaiyun.com/gobitanInjector的主要功能Injector的主要功能是将urls目录下的文本文件中的URL地址注入到CrawlDb中。Injector类基本构成(1) 三个主成员变量nutchScoreMDNamenutch原创 2013-11-30 09:28:45 · 3521 阅读 · 0 评论 -
Nutch1.7学习笔记1：基本环境搭建及使用
Nutch1.7学习笔记1：基本环境搭建及使用作者：雨水，时间：2013-10-31博客地址：http://blog.youkuaiyun.com/gobitan说明：Nutch有两个主版本1.x和2.x，它们的主要区别是2.x引入了Gora作为存储抽象层，从而支持各种NoSQL数据库，如HBase，Cassandra等。本文是以1.x的最新版Nutch1.7 (发布于2013年6月25日)为例。环原创 2013-10-31 21:39:36 · 9965 阅读 · 3 评论 -
Nutch1.7学习笔记2：基本工作流程分析
Nutch1.7学习笔记2：基本工作流程分析作者：雨水，时间：2013-11-13博客地址：http://blog.youkuaiyun.com/gobitan说明：本文的工作流程分析基于1.x的最新版Nutch1.7。找到分析源头分析软件的基本工作流程，通常都是从它的运行命令开始。在前面的一文 (地址：http://blog.youkuaiyun.com/gobitan/article/detai原创 2013-11-30 09:25:03 · 3565 阅读 · 4 评论 -
Nutch1.7学习笔记4：Generator源代码分析
Nutch1.7学习笔记4：Generator源代码分析作者：雨水，时间：2013-11-14博客地址：http://blog.youkuaiyun.com/gobitanGenerator分析Generator的功能主要是将注入的URL按照一定的规则生产一系列CrawlDb的子集。这里的规则包括：抓取时间是否符合要求，是否符合设定过滤规则，根据页面评分进行排序，根据URL的host/ip/doma原创 2013-11-30 09:38:32 · 3442 阅读 · 0 评论 -
Hadoop2.2.0版本多节点集群安装及测试
Hadoop2.2.0版本多节点集群安装及测试作者：雨水， 日期：2013-10-28， 优快云博客：http://blog.youkuaiyun.com/gobitan摘要：本文记录了Hadoop2.2.0版本多节点集群安装过程，并做了基本配置，启动运行和测试了一个单词统计例子。 环境说明：基于Windows下的VMware Player4.0.3中的ubuntu12.04-64ser原创 2013-10-29 10:45:47 · 15263 阅读 · 3 评论 -
Octave：替代Matlab的免费数值计算工具
Octave是一个免费的数值计算软件，可以作为免费版本的Matlab用，但功能没有Matlab多。在机器学习课程里会用到它。下面是摘自官方的介绍：GNU Octave is a high-level interpreted language, primarily intended for numerical computations. It provides capabilities fo原创 2013-03-20 15:36:10 · 2006 阅读 · 0 评论 -
Apache Drill: 大数据集互动分析的分布式框架
偶然间看到Drill，顺便看了下，这个东东对于大数据的查询很有用。Apache Drill是为大数据集的互动分析而生，是Google的Dremel的开源版本。它的目标是可以高效地对大数据集进行分析，可以运行在1000台以上的服务器，在几秒内处理PB级的数据和万亿条的数据记录。目前Drill还在Apache进行孵化。参考资料：1. Apache推出Google Dre原创 2013-03-20 12:29:28 · 2747 阅读 · 1 评论 -
Zookeeper集群环境搭建实践
Zookeeper集群环境搭建实践雨水/Dennis Hu 2013-3-11摘要：Zookeeper是一个很好的集群管理工具，被大量用于分布式计算。如Hadoop以及Storm系统中。这里简单记录下Zookeeper集群环境的搭建过程。本文以Ubuntu 12.04 LTS作为操作系统环境。准备：这里以三台ubuntu机器为例搭建一个最小的集群环境，三台服务器或者三台虚拟机均可。安装原创 2013-03-11 14:14:05 · 47188 阅读 · 1 评论 -
Nutch1.7学习笔记5：Fetcher源代码分析
Nutch1.7学习笔记5：Fetcher源代码分析作者：雨水，时间：2013-11-15 博客地址：http://blog.youkuaiyun.com/gobitanFetcher分析Fetcher是以生产者/消费者模式来处理网页抓取的。QueueFeeder作为生产者，从前面Generator中产生的读取出来，然后加入到FetchItemQueues队列中，加入的时候需处理队列已满等异常情原创 2013-11-30 09:40:04 · 3683 阅读 · 0 评论 -
Nutch1.7学习笔记6：ParseSegment源代码分析
Nutch1.7学习笔记6：ParseSegment源代码分析作者：雨水，时间：2013-11-17 博客地址：http://blog.youkuaiyun.com/gobitanParseSegment分析 ParseSegment类的结构相对要简单一些，与Injector等在内部类中实现map和reduce的方式不同，它直接在类中实现。 核心方法解析：map方法的功能包括：(1)原创 2013-11-30 10:38:23 · 3965 阅读 · 0 评论 -
Neo4j Windows压缩版本的使用
Neo4j Windows压缩版本的使用作者：家辉 日期：2018年3月7日 优快云博客：http://blog.youkuaiyun.com/gobitan第一步：下载解压并添加到环境变量从http://www.we-yun.com/index.php/blog/releases-56.html下载最新的neo4j-community-3.3.1的windows的zip版本。然后解到本地磁盘，如G:\s...原创 2018-03-07 11:10:00 · 1631 阅读 · 0 评论 -
图数据库Neo4j入门
图数据库Neo4j入门作者：雨水/家辉 日期：2017年3月31日 优快云博客：http://blog.youkuaiyun.com/gobitan摘要：Neo4j是目前应用最为广泛的图数据库，它特别适合于处理复杂网络关系。Neo4j支持多种不同的操作系统，这里以windows为例简单介绍Neo4j的基本入门使用情况。第一步：下载Neo4j安装包Neo4j安装包的下载可以直原创 2017-03-31 19:48:22 · 9690 阅读 · 1 评论 -
Coursera上的Andrew Ng《机器学习》学习笔记Week2
Coursera上的Andrew Ng《机器学习》学习笔记Week2作者：雨水/家辉，日期：2017-01-18，优快云博客：http://blog.youkuaiyun.com/gobitanLecture 1: Linear Regression with Multiple Variables多元线性回归多个参数的线性回归与单参数并没有特别不同。但有一点有所不一样：当有多个参数的时候原创 2017-01-19 12:47:58 · 975 阅读 · 0 评论 -
Coursera上的Andrew Ng《机器学习》学习笔记Week1
Coursera上的Andrew Ng《机器学习》学习笔记Week1作者：雨水/家辉，日期：2017-01-17，优快云博客：http://blog.youkuaiyun.com/gobitan注：本课程结合Octave讲解！Octave是类似MATLAB的数值计算软件。Lecture 1: Introduction什么是机器学习？机器学习就是不通过显示地编程而赋原创 2017-01-17 17:27:53 · 2346 阅读 · 0 评论 -
R语言入门之Hello world
R语言入门之Hello world作者：雨水/家辉，日期：2016-12-20，优快云博客：http://blog.youkuaiyun.com/gobitan摘要：R语言被称为统计语言。在数据分析上用得很多，尤其是统计学及相关专业。随着大数据的火热，这门语言应用得就越来越多。R语言是一种区分大小写的解释型语言。注释与大多数解释型语言类似，如Python，使用#。它的赋值符号比较特别，为原创 2016-12-20 18:31:53 · 12575 阅读 · 0 评论 -
Hadoop2.2.0单节点安装及测试
Hadoop2.2.0单节点安装及测试作者：雨水， 日期：2013-10-24优快云博客：http://blog.youkuaiyun.com/gobitan摘要：本文记录了Hadoop单节点安装过程，并做了基本配置，启动运行和测试了一个单词统计例子。 一：环境准备：基于Windows下的VMware Player4.0.3中的ubuntu12.04-64server.下载免费的VM原创 2013-10-25 14:43:49 · 23755 阅读 · 13 评论