Quick Start Guide for Apache Hawq[作者:盛想]

osg自学笔记1——《OpenSceneGraph 快速入门指导》 这里写自定义目录标题《OpenSceneGraph Quick Start Guide》学习笔记1、 1.3 运行 osgviewer2、1.5 场景图形初步3、 1.6 OpenSceneGraph 概览4、2.1 内存管理5、2.2 叶节点(Geode)和几何信息1、osg::Vec2,osg::Vec2Array,osg::Vec3Array2、Drawables 类 《OpenSceneGraph Quick Start Guide》学习笔记 《OpenSceneGraph Quick Start 阅读详情


Apache HAWQ became an Apache open source project several weeks ago. Today I will introduce how we install and start Apache HAWQ.


Basic Requirements

Basic requirements has two parts, basic environments and some dependencies.


The first thing is to get a redhat 6.5 server and install the development tools during the setup of the system.


There are some dependencies you must install before the compiling. You should compile the libraries’ and install the libraries. Most libraries should compile and install to your system using the basic several steps :

       cd $LIBRARY_CODE_HOME

      ./configure

       make

Become root user and run :

      make install


This way would install the libraries` headers to /usr/local/include and libraries file to /usr/local/lib or /usr/local/lib64. If you want to install the libraries in another place, you can use the --prefix=/the/path option when you run configure. For example:

      ./configure --prefix=/the/path/you/want

But don`t forget to add the /the/path/you/want to your LD_LIBRARY_PATH in case of HAWQ cannot find the libraries while compiling.


We have a libraries list that you should install before compile HAWQ. The list contains the library name , version and download url.


NameVersionDownload Url
gperf3.0.4http://ftp.gnu.org/gnu/gperf/gperf-3.0.4.tar.gz
snappy1.1.3https://github.com/google/snappy/releases/download/1.1.3/snappy-1.1.3.tar.gz
bzip21.0.6http://www.bzip.org/1.0.6/bzip2-1.0.6.tar.gz
python2.6.2https://www.python.org/ftp/python/2.6.2/Python-2.6.2.tgz
libevent1.4.6https://github.com/downloads/libevent/libevent/libevent-1.4.6-stable.tar.gz
json-c0.9http://oss.metaparadigm.com/json-c/json-c-0.9.tar.gz
krb51.11.3http://web.mit.edu/kerberos/dist/krb5/1.11/krb5-1.11.3-signed.tar
libuuid2.26.2http://mirrors.163.com/centos/6.7/os/x86_64/Packages/libuuid-devel-2.17.2-12.18.el6.x86_64.rpm
libgsasl1.8.0ftp://ftp.gnu.org/gnu/gsasl/libgsasl-1.8.0.tar.gz
libxml22.7.8http://xmlsoft.org/sources/libxml2-2.7.8.tar.gz
zlib1.2.3http://zlib.net/fossils/zlib-1.2.3.tar.gz
readline6ftp://ftp.gnu.org/gnu/readline/readline-6.0.tar.gz
openssl0.9.8ftp://ftp.openssl.org/source/openssl-0.9.8ze.tar.gz
protobuf2.5.0https://github.com/google/protobuf/tree/v2.5.0
boost1.56http://sourceforge.net/projects/boost/files/boost/1.56.0/boost_1_56_0.tar.bz2
bison2.5http://ftp.gnu.org/gnu/bison/bison-2.5.tar.gz
thrift0.9.1-1http://archive.apache.org/dist/thrift/0.9.1/thrift-0.9.1.tar.gz
apr1.2.12http://archive.apache.org/dist/apr/apr-1.2.12.tar.gz
libyaml0.1.1http://pyyaml.org/download/libyaml/yaml-0.1.1.tar.gz
curl7.44.0http://www.curl.haxx.se/download/curl-7.44.0.tar.gz
flex2.5.35http://sourceforge.net/projects/flex/files/flex-2.5.35.tar.gz/download
libhdfs3   git clone https://github.com/PivotalRD/libhdfs3.git 
Install libhdfs3 follow the steps specified in README.md


Get Source Code

The Apache HAWQ source code can be obtained from Github. Click "Read More" in the bottom of this article to view the source code of HAWQ on Github. You could get the source code using git clone :

      git clone https://github.com/apache/incubator-hawq.git


Install Procedure

The source code includes libyarn under $HAWQ_CODE_HOME/depends directory. And you need to compile and install it by hand. Change directory to libyarn folder and read README

      cd $HAWQ_CODE_HOME/depends/libyarn/

To build libyarn, some libraries listed in the README are needed. You should install the libraries first and compile libyarn follow the steps specified in the README.


The first step of the building is to check whether you have installed all the dependencies. This is done by running the configure script.This script will run a number of tests to determine values for various system dependent variables and finally create the makefile. For a default installation simply run:

      ./configure

You could use --prefix=/hawq/install/path to change the HAWQ install path. Otherwise HAWQ would be install to /usr/local/ .


After finished configure, you can start to build HAWQ.To start the build, run:

      make

To build concurrently, run make with -j option.For example :

      make -j8

The build will take a few minutes depending on your hardware. The last line displayed should be:

      All of HAWQ successfully made. Ready to install.

Become root user and run :

      make install

You have installed HAWQ to your system !


Start Apache HAWQ

Since HAWQ bases on HDFS, you should ensure HDFS work before we init HAWQ. You could refer details from : http://hawq.docs.pivotal.io/docs-hawq/topics/InstallingHAWQ.html#preparingtoinstallhawq.


Now you can init and start HAWQ.

      cd $APACHE_HAWQ_HOME

      source greenplum_path.sh

      hawq init cluster

Once you have inited successful, you can start HAWQ using:

      hawq start cluster

To enter the database:

      psql -d postgres


You can run the create database query to test that HAWQ is running:

[gpadmin@localhost ~]$ psql -d postgres

psql (8.2.15)

Type "help" for help.

postgres=# create database tpch;

CREATE DATABASE

postgres=# \c tpch

You are now connected to database "tpch" as user "gpadmin".

tpch=# create table t(i int);

CREATE TABLE

tpch=# \timing

Timing is on.

tpch=# insert into t select generate_series(1,100);

INSERT 0 100

Time: 166.311 ms

tpch=# select count(*) from t;

count

-------

100

(1 row)

Time: 127.698 ms


Basic Operations

When you want to stop hawq cluster, run:

      hawq stop cluster

Or to restart the cluster:

      hawq restart cluster

The usage of command hawq is

      hawq <command> [<object>] [options]

The most commonly used hawq "commands" are:

      start              Start hawq service

      stop              Stop hawq service

      init                 Init hawq service

      restart           Restart hawq service

The object are:

      cluster            Operate hawq cluster.

      master            Operate hawq master.

      segment         Operate local segment node.

      standby          Operate hawq standby.

      allsegments    Operate all segments.

If you want to know all the hawq command , just run hawq or hawq --help. You can find all the usage of hawq command.


OpenSceneGraph源码分析:osg模块 济南友泉软件有限公司 osg库是OpenSceneGraph最为重要的一个模块,也是OS从第一个版本到当前版本一直都存在的库。osg库提供了场景节点管理、图形绘制、渲染状态管理等功能。 一、内存管理 OSG通过引用计数提供了一种自动管理内存的机制。在OSG中,引用计数机制由osg::ref_ptr和 osg::Referenced实现。 所有的OSG的节点和场景图形数据(状态信息 顶点数组 法线 纹理坐标)都派生于osg::Referenced类进行内存引用计数。 二、场景管理 OS.. 阅读详情

相关推荐

OpenSceneGraph快速入门指南与实战教程

让我们动手实现一个带 GLSL 着色器的蓝色立方体,体验一下 OSG 的“对象化”优势。// 定义8个顶点});// 手动构造索引(构成6个四边形面)i < 6;++j)// 创建并绑定着色器程序\n"\n"}\n"));\n"}\n" // 蓝绿色));📌关键点解析:顶点顺序很重要!我们按逆时针方式定义四边形顶点,确保正面朝外,配合默认的CullFace设置才能正确剔除背面。

weixin_31641077的博客 969

Hadoop源码编译支持Snappy压缩(Linux环境下联网利用Maven编译)

前言 hadoop的类库中是不带有snappy的,但是考虑到snappy的优点(压缩速度较快,压缩比率较好,虽然不支持切片,但是满足在mr中的shuffle阶段和输出结果压缩!)后面我会再整理下hadoop常用压缩格式,以及各自的优劣点! 资源准备 CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的,以为需要用到Yum来进行安装!Yum安装...

Mr.Zheng的博客 531

snappy-1.1.3.tar.gz

支持hadoop snappy压缩

0、hadoop3.1.4的centos7-snappy编译

本文介绍hadoop 3.1.4版本在centos 7的环境中编译步骤。本示例是以root用户进行操作的,如果非root用户可能会需要root权限。

alanchanchn的专栏 8万+

snappy.tar.gz

snappy.tar.gz

OpenSceneGraph Quick Start Guide

OSG快速入门教程,很有用

Hadoop安装snappy(编译源码)

目录了解Hive的数据压缩Hadoop安装snappy(编译源码)第一步:配置阿里云yum源第二步:配置/etc/resolv.conf第三步:下载Hadoop源码并解压第四步:配置JDK第五步:安装配置maven第六步:protobuf-2.5.0安装第七步:snappy安装第八步:安装CMake第九步:hadoop编译第十步:hadoop配置修改(1)修改core-site.xml(2)修改mapred-site.xml测试疑惑详解 了解Hive的数据压缩 hive 的数据压缩 == MR的数据压缩

蔡政洁的博客 1869

OpenSceneGraph_Quick_Start_Guide_中文版

OpenSceneGraph_Quick_Start_Guide

Hadoop添加snappy压缩支持

启动hadoop后,使用如下命令查看压缩支持: hadoop checknative 出现下列输出,snappy为false,则需要手动添加snappy支持 Native library checking: hadoop: true /opt/bigdata/hadoop/hadoop-3.1.4/lib/native/libhadoop.so.1.0.0 zlib: true /lib/x86_64-linux-gnu/libz.so.1 zstd : true /lib/x86_64-li

Python_Billy的博客 1663

OpenSceneGraph_Quick_Start_Guide

图形学OpenSceneGraph快速入门指导,特别适用于初学者~~ 本书是一本对于OpenSceneGraph(OSG)的简明介绍。OSG 是一个跨平台 的开源场景图形程序开发接口(API)。本书特别地针对OSG 1.3 的版本。OSG 在3D 应用程序的层级中扮演着重要的角色。它作为中间件(middleware)为应 用软件提供了各种高级渲染特性,IO,以及空间结构组织函数;而更低层次的 OpenGL 硬件抽象层(HAL)实现了底层硬件显示的驱动。 一直以来,OSG 都是以源代码作为可阅读的文档资料。OSG 的发布版本中 包含了一些示例程序,用于介绍各种不同渲染效果的实现,以及OSG 与终端用 户软件的集成方法。有相当部分的开发者可以通过这些示例程序,以及使用调试 工具深入了解OSG 的核心,成长为熟练的OSG API 程序员。 尽管根据以往的经验,源代码足可起到编程文档的作用,但是它仍然不能替 代正式格式的编程文档。图形和表格是编程手册中常见的易于理解的教学工具, 但是它们在源代码中几乎无法体现。正因为OSG 的迅速发展和愈发复杂的体系, 对于它的新用户来说,在缺乏参考文档的情况下学习OSG 所需的时间也就越长, 这是我们所不愿看到的。事实上,在这本书面世以前,由于编程文档的匮乏,一 部分开发者已经对OSG 的成熟性和稳定性产生了疑问,怀疑它是否能胜任专业 级应用程序的开发工作。 2006 年中期,Don Burns 和Robert Osfield 认识到了编写OSG 书籍的重要性。 Don 的客户之一,计算机图形系统开发公司(CGSD),要求编写一定量的OSG 图书和文档。Don 将这一文档开发工作转交给Paul Martz,而Robert 则建议第一 本OSG 的书籍应当是免费且通俗易懂的。因此,《OpenSceneGraph 快速入门指 导》诞生了。这本书是一个简短的编程指南,它介绍了基本和核心的OSG API 函数。它同时也是一系列计划出版的OSG 书籍的第一部,OSG 的文档将随着这 个系列的发行而逐渐完善。《OpenSceneGraph 快速入门指导》的编写目的如下。

Pintos project 1 实验报告(代码分享)

任务一 Alarm Clock 用到的相干目录有: pintos/src/devices time.h && time.c pintos/src/threads thread.h && thread.c 预期pass希望:暂无,安装pintos之后,第一次对threads进行make check操作,可以发现以alarm--开头的前六个文件,以及mlfqs-fair-2和mlfqs-fair-20文件,一开始就测试成功pass。但是为了避免对后期的修改有影响,这里还是要

m0_53112875的博客 6874

osg::ref_ptr<osg::Image> image = osgDB::readImageFile(fileName); image指针为空

前言 使用《OpenSceneGraph Quick Start Guide》中文版及源码,里面的一个例子TextureMapping,在我本机上运行没有问题,但拷贝到公司电脑,发现总是运行异常,无法读取纹理图片, 调试到136行 image创建出来总是为空,纹理文件是有的, #include "osgDB/ReadFile" #include "osg/Geode" #include "osg/Geometry" #include "osg/StateSet" #include "osg/StateAt

aoxuestudy的专栏 1752

推荐一个基于opencv开源跨平台分析小动物视频活动和路径跟踪的程序

本文主要介绍一种基于OpenCV的多平台程序可以可靠且可重复地跟踪啮齿动物或昆虫等小动物的运动,并量化包括距离和速度在内的动作参数,以便检测由于处理,环境富集或温度变化而引起的活动变化。该系统提供了一种准确且可重现的实验方法,具有潜力,可以在各种模型系统中对运动和行为进行简单,快速和灵活的分析。 介绍 大多数实验性体内手术模型或动物会导致影响行为和运动的生理效应。例如,诱发慢性疼痛或对光敏感可...

图像算法Imalg的博客 2659

Hbase支持snappy压缩格式

说明 本篇文章整个操作都是在root账号下进行,所有操作步骤完成后,可以根据实际的需求,更改目录权限。 整个操作的目的有两个: 安装snappy包,安装完成后所在路径是/usr/local/lib/ 安装hadoop依赖的snappy包,安装完成后所在路径是 $HADOOP_HOME/lib/native 然后将上面两个拷贝分发到所有节点,其中第2个在安装hadoop时会拷贝,通常第一个分发......

硅谷工具人 748

OCEAN 电路仿真

介绍利用 Cadence OCEAN 进行电路脚本仿真的方法

weixin_43249158的博客 4406

RK3576 调试ov2735 mipi-csi摄像头

摘要:本文记录了基于RK3576平台调试OV2735 MIPI摄像头的全过程。开发环境采用Linux 6.1内核和Buildroot文件系统。调试步骤包括:1)硬件检查(电源、晶振和引脚连接);2)驱动配置(设备树节点、ISP通道设置);3)驱动验证(通过ID检测和I2C工具测试);4)推流测试(使用v4l2和gstreamer工具)。重点解决了复位引脚配置、时钟命名匹配等关键问题,并通过寄存器检查确保初始化正常。最终实现了摄像头数据流的成功输出,为嵌入式视觉应用开发提供了完整参考方案。

qq_45147279的博客 1065

Snappy压缩源码编译

编译前资源准备 1.CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意:采用root角色编译,减少文件夹权限出现问题 2.jar包准备(hadoop源码、JDK8 、maven、protobuf) (1)hadoop-2.7.2-src.tar.gz (2)jdk-8u144-linux-x...

ITBOY_ITBOX博客 1460

Go语言爬虫:chromedp 的详细使用

chromedp 是 Go 语言中无头浏览器自动化的终极利器。它能驱动真实的 Chrome 浏览器,处理 JavaScript 渲染、复杂交互和反爬虫机制

数据知道的博客 4495
上一篇: Apache Hawq Data Locality简介 (1) [作者:张桓]
下一篇: Introducing The Newly Redesigned Apache HAWQ [作者:常雷]
大数据社区
博客等级 码龄11年 45粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值