大数据系统开发
关注
分享
扫一扫
文章平均质量分 61
boy
这个作者很懒，什么都没留下…
展开
-
一步一步安装vertica7.0.x（操作系统：CentOS6.x）
在CentOS6.x系统中一步一步地安装vertica7.0.x，新手可以直接照做原创 2014-01-22 09:37:13 · 2362 阅读 · 0 评论 -
用JDBC连接Vertica数据库的例子源代码
JDBC连接Vertica数据库的例子源代码原创 2014-03-14 19:18:15 · 8690 阅读 · 0 评论 -
用JDBC连接Vertica数据库后插入一行数据的例子源代码（接上篇）
接上篇：用JDBC连接Vertica数据库的例子源代码conn = DriverManager.getConnection( "jdbc:vertica://docd04.verticacorp.com:5433/dbname", myProp); System.out.println("Connected!"); //连接数据库成功后 Statement stmt = conn.原创 2014-03-15 14:02:12 · 2579 阅读 · 0 评论 -
JDBC操作Vertica数据库，用PreparedStatements对象实现批量插入数据
用PreparedStatements对象实现批量插入数据（JDBC操作Vertica数据库）原创 2014-03-15 14:17:40 · 6149 阅读 · 0 评论 -
如何把其他数据库中AUTO_INCREMENT约束的字段（如ID）导入Vertica数据库
如果在Vertica数据库在建一张同样带AUTO_INCREMENT约束字段（ID）的表，由于AUTO_INCREMENT约束的限制，COPY导入数据时会发生冲突，导致COPY执行失败。经过分析研究及测试，先创建SEQUENCE，然后创建表并设置ID字段的缺省值为NEXTVAL('schemaname.sequencename')，就可COPY导入AUTO_INCREMENT约束字段的数据。原创 2014-04-29 08:31:59 · 1819 阅读 · 0 评论 -
vertica时间计算SQL语句实例：统计一天内登录的用户
vertica统计一天内登录的用户（时间计算SQL语句实例）原创 2014-06-01 15:30:34 · 2326 阅读 · 0 评论 -
vertica从其他表迁移数据到新表（insert into 语句用法实例）
vertica从本地其他表迁移数据到新表（insert into 语句用法实例）原创 2014-05-22 15:06:09 · 3120 阅读 · 0 评论 -
Vertica修改带UNIQUE约束字段的长度
先删除“UNIQUE”约束alter table wb_play.user_weibo drop CONSTRAINT C_UNIQUE_1 CASCADE;再执行alter table public.user alter name set data type varchar(52);然后重新加上“UNIQUE”约束alter table public.user add CONSTRAINT C_UNIQUE_1 UNIQUE(name);原创 2014-05-25 23:03:42 · 2531 阅读 · 0 评论 -
Vertica用于时间计算的SQL语句大全
三个字：强、大、全，强力推荐之原创 2014-05-31 22:15:59 · 3615 阅读 · 0 评论 -
java API 操作 hbase 数据库（这不是简单的例子，是可以用于运营系统的高性能源码）
这不是简单的例子，是可以用于运营系统的高性能源码（例：http://htok.net/web），可根据实际需求稍加升级后直接使用原创 2014-02-05 18:53:04 · 2870 阅读 · 4 评论 -
轻松互联网开发平台（Easy do it，原名WebEasy）20150120更新
集成IKAnalyzer，简化了中文分词（详见下载包内的开发手册）。终身免费使用，能开发：大型手机App服务端系统 大型功能性网站开发（如：电子商务网站、社区、门户等） 大数据系统应用开发（与vertica无缝集成） 应用解决方案，如电子政务系统、管理系统、协作系统、企业ERP/DRP/MRP等原创 2015-01-21 10:03:35 · 1934 阅读 · 7 评论 -
轻松互联网开发平台（Easy Do IT，原WebEasy）升级预告
强化移动App服务器开发功能直接书写json文件直接书写xml文件进一步优化HTML5支持强化JspEasy扩展开发功能进一步简化并扩展大数据数据源集成集成并强化Web编辑器原创 2015-05-06 05:13:44 · 1600 阅读 · 21 评论 -
Easy do it，轻松互联网开发平台（原WebEasy，简称轻开平台）升级公告补充
轻开平台的最大优势就是Easy，基本上解决了传统开发的不能克服的由于应用需求变更而导致开发无法继续进行和前边提到的“信息孤岛”问题，基于轻开平台的直接好处是......原创 2015-05-17 01:13:00 · 2635 阅读 · 8 评论 -
Easy do it，轻松互联网开发平台（原WebEasy，简称轻开平台）升级公告
Easy do it，轻松互联网开发平台（原WebEasy，简称轻开平台）是一个运行于JVM+HTTP（及HTTPS协议）的应用服务器开发平台。轻开平台基于汉语的思维方式并巧妙地结合中英文思维方式的优点设计了一套轻松Easy的开发规则，用java语言开发实现为一个强大的开发平台，为开发者提供了一个直接轻松面向应用的开发环境。原创 2015-05-13 01:59:30 · 1613 阅读 · 6 评论 -
优化hbase JVM GC 参数，避免由于JVM内存回收引发的ZooKeeper会话超时进程退出事件
hbase默认内存为1G，官方文档中明确地指出这是无法支撑长时间正常运行的，是肯定要引发ZooKeeper会话超时事件，从而导致服务退出的。文档中给出了4个不怎么有用的建议 ... ...原创 2014-01-21 01:25:59 · 4252 阅读 · 1 评论 -
让Tomcat启动时加载所有hbase的jar包，避免出现NoClassDefFoundError错误
避免出现NoClassDefFoundError错误，配置Tomcat启动时加载所有hbase的jar包，不用一个一个地复制到lib下原创 2014-01-31 23:22:13 · 2265 阅读 · 1 评论 -
Vertica数据库的关键字（词）列表。建议收藏开发时方便查找
Vertica 数据库的关键字（词）列表：ABORT, ABSOLUTE, ACCESS, ACCESRANK, ACCOUNT, ACTION, ADD, ADMIN, AFTER, AGGREGATE, ALL, ALSO, ALTER, ANALYSE, ANALYZE, AND, ANY, ARRAY, AS, ASC, ASSERTION, ASSIGNMENT, AT, AUTHORIZATION, AUTO, AUTO_INCREMENT, AVAILABLE ...翻译 2014-01-22 22:40:37 · 2052 阅读 · 0 评论 -
Vertica 数据库的保留字（词）列表。建议收藏开发时方便查找
Vertica 数据库的保留字（词）列表：ALL, ANALYSE, ANALYZE, AND, ANY, ARRAY, AS, ASC ...翻译 2014-01-22 23:05:59 · 1168 阅读 · 0 评论 -
Linux添加交换分区
cd /mntdd if=/dev/zero of=swap.xz bs=1024 count=1048576mkswap swap.xzswapon swap.xzswapon -sfree添加到fstab文件以下次开机生效vi /etc/fstab在最后一行添加/mnt/swap.xz swap原创 2014-01-20 18:08:34 · 913 阅读 · 0 评论 -
hadoop2.2.0开机启动的后台服务脚本（请结合上一篇学习）
编辑vi hadoop.server内容如下：#!/bin/bash## chkconfig: 2345 88 33# description: Starts and stops Hadoopserver# Open files numberstart(){ # # Start Hadoop原创 2014-01-20 18:16:02 · 1017 阅读 · 0 评论 -
编译安装hbase0.96.x(系统为CentOS，完全避免运行时出现系统版本冲突)
请结合前两篇学习，调整目录名称及相关软件版本即可直接一步一步照做添加专门用户和组# groupadd my_term# useradd -g my_term myhbase设置用户口令为mypassword# passwd myhbase建一个专用目录# mkdir /home/myhbase/res把相关软件包都下载到这里安装JDK# cd原创 2014-01-20 23:52:15 · 961 阅读 · 0 评论 -
安装及优化配置CentOS（远程桌面管理等，新手可直接一步一步照做）
安装:安装CentOS6.2或OpenSUSE11.2尽可能多地使用物理内存#sysctl vm.swappiness=30#gedit /etc/sysctl.conf加vm.swappiness=30#cat /proc/sys/vm/swappiness修改SSH端口和用户/etc/ssh/sshd_config原创 2014-01-20 17:01:10 · 1297 阅读 · 0 评论 -
编译安装Mysql5.1.x（新手可直接一步一步照做，其他版本的稍改动即可）
开始安装MySQL:# cd /# mkdir home/mysql# cd home/mysql# mkdir res把mysql-5.1.51.tar.gz下载到/home/mysql/res解压源代码文件及添加用户# cd /home/mysql/res# groupadd ShiPin# use原创 2014-01-20 17:52:54 · 850 阅读 · 0 评论 -
安装sphinx并与mysql集成（请结合下一篇）
# cd /home/mysql/res# tar xzvf sphinx-0.9.9.tar.gz# cd sphinx-0.9.9# ./configure --prefix=/home/mysql/sphinx --with-mysql=/home/mysql/mysql# make# make insatll在/etc/ld.so.conf.原创 2014-01-20 18:03:55 · 1029 阅读 · 0 评论 -
编译安装Mysql5.1.x并集成Sphinx（新手可直接一步一步照做，其他版本的稍改动即可）
如果需要就安装gcc# rpm -ivh kernel-headers-2.6.18-53.el5.i386.rpm # rpm -ivh glibc-headers-2.5-18.i386.rpm # rpm -ivh glibc-devel-2.5-18.i386.rpm # rpm -ivh libgomp-4.1.2-14.el5.i386.rpm原创 2014-01-20 18:06:31 · 1180 阅读 · 0 评论 -
编译安装hadoop2.2.0(系统为CentOS，完全避免运行时出现系统版本冲突，如64位)
添加专门用户和组# groupadd my_term# useradd -g my_term myhadoop设置用户口令为mypassword# passwd myhadoop建一个专用目录# mkdir /home/myhadoop/res把相关软件包都下载到这里安装JDK# cd /home/myhadoop/res# tar -zvxf jd原创 2014-01-20 18:12:35 · 2341 阅读 · 0 评论 -
hbase0.96.x开机启动的后台服务脚本（请结合上一篇，修改一下文件和目录名，即可直接复制使用）
编辑vi hbase.server内容如下：#!/bin/bash## chkconfig: 2345 82 37# description: Starts and stops HBase serverstart(){ # # Start HBase # /home/myhbase/hbase/原创 2014-01-21 00:12:13 · 1625 阅读 · 0 评论 -
中小企业需要大数据吗？要解答这个问题，企业（或其他机构）首先要仔细分析清楚自己的信息现状
中小企业管理者经常会提出这样的问题：我们公司不是淘宝、京东、新浪这样的大网站（甚至不是互联网企业），没有那么多用户和流量，我们需要大数据吗？这是一个很有意思的问题。比较幽默的回答就是如果您们是12306.cn，那您们就肯定需要大数据了。原创 2014-02-16 23:48:00 · 1576 阅读 · 0 评论 -
安装vertica-console7.0.x（操作系统：CentOS6.x）
把软件包vertica-console-7.0.0-0.x86_64.RHEL5.rpm复制到当前目录rpm -Uvh --force vertica-console-7.0.0-0.x86_64.RHEL5.rpm原创 2014-02-28 17:40:59 · 1774 阅读 · 1 评论 -
轻松访问多种类型数据库，database.xml文件的配置方法
轻开平台理论上支持所有能通过JDBC或ODBC访问的数据库，如：MySQLMS SQLServerOracleSyBaseDB2InfomixTeradata...及MPP架构的Vertica而且只需要简单地配置即可访问上述数据库，配置文件为database.xml，具体用法及配置方法如下：ESql标签：SQL语句module：连接数据库原创 2015-09-13 00:10:29 · 9404 阅读 · 1 评论