
newLISP与大数据
文章平均质量分 80
炼器散人
乒乓球+节食=减肥
展开
-
用newLISP读取Hive的元数据
思想是通过调用hive -e命令,然后解析返回的结果。下面的hive.lsp文件是一个例子,提供了读取本地hive数据库名称,表名,表结构和根据hive表的创建语句生成对应的MySQL的创建语句。最新代码参考我在gitlab.com上的开源项目:https://gitlab.com/newlisp/armory.git;; hive.lsp;; @module hive;; @descrip原创 2014-05-31 14:06:57 · 3225 阅读 · 0 评论 -
远程运行newLISP代码
newLISP提供了一个简单的MapReduce的方式,利用net-eval函数,可以向远程运行这newlisp服务进程的机器发起调用。本文介绍最简单的方法:首先服务器启动newlisp进程newlisp -l -c -d 4711 &-l 代表记录日志,默认是打印到终端-c 是不会出现常见的newlisp的会话终端-d 是在连接之间保存状态,一个边际效应就是后续的请求必须等待前面的请求已经完成才原创 2014-05-20 19:58:50 · 2848 阅读 · 0 评论 -
使用Artful MySQL模块出错
总是报错:root@gitlab:/opt# newlispnewLISP v.10.6.0 64-bit on Linux IPv4/6 UTF-8 libffi, options: newlisp -h> (load "/opt/mysql.lsp")ERR: string expected in function import : libmysqlclient结果发现是Ubuntu原创 2014-04-25 00:15:49 · 3152 阅读 · 0 评论 -
Ubuntu上使用Hadoop 2.x 九 HDFS cluster拓扑管理
什么是rack awareness?如何设置拓扑信息?需要设置core-site.xml文件,官方手册:http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-common/core-default.xml参考文章:http://bigdataprocessing.wordpress.com/2013/07/30/hadoop原创 2014-03-11 22:36:22 · 3221 阅读 · 0 评论 -
newlisp跟踪jobtracker状态
基本思路,通过newlisp定时下载jobtracker页面,用正则表达式解析html中的table元素,然后获得最新的mapreduce的状态。每次获得装提数据后,存入mysql数据库,然后用tableau将mapreduce集群状态用报表呈现。这是jobtracker站点的数据这是Tableau绘制的报表这样就可以用数据可视化的方式展示Hadoop集群计算的压力状态。下面是newlisp代码,原创 2014-11-01 20:37:16 · 2486 阅读 · 0 评论 -
MapReduce 编程 系列十二 用Hadoop Streaming技术集成newLISP脚本
本文环境和之前的Hadoop 1.x不同,是在Hadoop 2.x环境下测试。newLISP脚本,在stdin中读取数原创 2014-10-04 21:13:58 · 3172 阅读 · 1 评论 -
newLISP处理mysql escape character
什么是转义字符mysql的escape character指的是需要转义的特殊字符,这些字符出现在sql语句中,如果没有转移会导致sql语法报错或者有sql注入攻击的可能。主要有以下几种都需转义:\x00, \n, \r, \, ', " and \x1a. 比如' 就需要变成\'下面是sql测试:mysql> INSERT INTO nodes(name) VALUES ('select a.d原创 2015-01-20 23:48:43 · 2477 阅读 · 0 评论 -
newLISP访问MySQL中文乱码
使用newLISP 的标准mysql模块或者Artful Code模块都得到的中文乱码。解决方法如下:首先确保mysql内部设置的是UTF-8,但是用newlisp查看的时候,仍然一部分时latin.用下面的命令可以解决:> (MySQL:query "SET character_set_client = utf8;")true(MySQL:query "SET character_set_原创 2014-07-21 15:54:01 · 3089 阅读 · 0 评论 -
newlisp 使用gnuplot绘图
gnuplot是个很好的数学绘图工具,eamcs org mode 中可以使用,1现在发现newlisp早就支持了。先演示一个例子,看图:此图有三根折线,分别可以用三个list表示数据。参考下面的newlisp代码:#!/usr/bin/newlisp;;(module "plot.lsp")(load "b.lsp")(set 'plot:title "集群存储总结") (set 'p原创 2015-07-24 17:34:32 · 2354 阅读 · 0 评论