
大数据
vah101
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
scylladb 4.1 分布式安装部署
命令行执行如下操作:curl -o /etc/yum.repos.d/scylla.repo -L http://downloads.scylladb.com.s3.amazonaws.com/rpm/centos/scylla-4.1.repoyum install -y gcc gcc-c++yum install scylla -ymkdir -p /home/scylla/workmkdir -p /home/scylla/datamkdir -p /home/scylla/com原创 2022-02-21 19:12:02 · 935 阅读 · 0 评论 -
docker部署单机hdfs
docker run -i -t --network host -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042 -p 49707:49707 -p 50010:50010 -p 50075:50075 -p 50090:50090 sequenceiq/hadoop-docker:2.6.0 /etc/bootstrap.sh -bash原创 2021-12-03 20:01:25 · 2152 阅读 · 0 评论 -
nebula查询数据时报错Storage Error: part: xx error: E_RPC_FAILURE(-3).
Storage Error: part: xx error: E_RPC_FAILURE(-3).IndexScanExecutor failed, error E_RPC_FAILURE, part xx可能是由于数据量太大,处理超时了,可以在graphd的配置文件里面添加storage_client_timeout_ms, storage_client_timeout_ms默认为60秒,你可以增大。修改nebula-graphd.conf,将超时时间改为:--storage_cli.原创 2021-09-27 19:00:15 · 3935 阅读 · 0 评论 -
hadoop使用kerberos报错GSSException的处理
hdfs使用kerberos以后,执行hadoop fs -ls命令,报错如下:Failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]; Ho转载 2021-07-04 18:24:00 · 2836 阅读 · 0 评论 -
vxbox导入虚拟机报错VERR_SUP_VP_UNEXPECTED_VALID_PATH_COUNT
vxbox导入虚拟机报错如下:Failed to load R0 module C:\Program Files\Oracle\VirtualBox/VMMR0.r0: Signature #2/3: Expected at least 2 valid paths, not 1.: \Device\HarddiskVolume2\Program Files\Oracle\VirtualBox\VMMR0.r0 (VERR_SUP_VP_UNEXPECTED_VALID_PATH_COUNT).Fai原创 2021-02-15 08:50:14 · 3653 阅读 · 1 评论 -
修改postgresql库表的owner
执行psql -Upostgres,使用管理员账号登录pg执行如下脚本,其中database为需要修改owner的库,username为需要修改的新owner名称,schema1可以去掉:\c database;DO $$DECLARE r record; i int; v_schema text[] := '{public,schema1}'; v_new_owner varchar := 'username';BEGIN FOR r IN原创 2021-02-01 14:34:01 · 3920 阅读 · 0 评论 -
postgresql创建用户并创建库表
使用管理员账号登录psql -U postgres按提示输入密码创建用户执行CREATE USER testUser WITH PASSWORD 'xxxx';为该用户创建数据库,注意要设置ownercreate database testUserDatabase with owner=testUser;输入exit退出psql使用新创建的用户登录数据库psql -U testUser -d testUserDatabase按提示输入密码,就可以创建数据表.原创 2021-02-01 14:30:23 · 1012 阅读 · 0 评论 -
greenplum gpcc 登录时报错 Error: Incorrect username/password
进入greenplum的命令行,重置gpmon的密码:gpadmin@master-0:~$ psqlpsql (9.4.24)Type "help" for help.gpadmin=# alter user gpmon with password '123456';ALTER ROLEgpadmin=# \q原创 2021-01-20 22:20:05 · 552 阅读 · 0 评论 -
kubernetes部署greenplum
http://greenplum-kubernetes.docs.pivotal.io/2-3/index.html部署监控程序GPCChttps://greenplum-kubernetes.docs.pivotal.io/2-3/gpcc.html原创 2021-01-18 11:03:50 · 1069 阅读 · 0 评论 -
pytorch和tensorflow查看GPU信息命令
pytorch查看GPU信息import torchtorch.cuda.is_available()#cuda是否可用;torch.cuda.device_count()#返回gpu数量;torch.cuda.get_device_name(0)#返回gpu名字,设备索引默认从0开始;torch.cuda.current_device()tensorflow查看GPU信息:import tensorflow as tffrom tensorflow.python.原创 2020-09-21 21:07:54 · 813 阅读 · 0 评论 -
查看spark任务日志
登录resource manager所在服务器,进入/var/log/hadoop-yarn/yarntail rm-audit.log 读取日志,找到如下内容:2018-10-31 07:11:27,148 INFO resourcemanager.RMAuditLogger: USER=admin OPERATION=Application Finished - Succe...原创 2018-10-31 19:17:45 · 2374 阅读 · 0 评论 -
ambari配置SNMP
https://community.hortonworks.com/articles/74370/snmp-alert.htmlhttps://community.hortonworks.com/articles/92687/ambari-snmp-notifications-opennms.htmlhttps://github.com/apache/ambari/tree/trunk/c...原创 2018-10-25 17:29:02 · 551 阅读 · 0 评论 -
elasticsearch head + xpack 用户名密码访问
修改配置文件elasticsearch.yml,增加http.cors.allow-headers: Authorization访问head时,url如下所示:http://192.168.100.100:9100/?auth_user=elastic&auth_password=changeme原创 2018-08-01 18:29:22 · 17583 阅读 · 2 评论 -
HBase报错ERROR: DISABLED: Security features are not available解决
ERROR: DISABLED: Security features are not availablehttp://dy.163.com/v2/article/detail/DDB8IVJ10511E4FG.html转载 2018-07-10 18:18:33 · 4235 阅读 · 0 评论 -
phoenix日志输出sql
修改log4j.properties文件中的:# Define the root logger to the system property "plsql.root.logger".log4j.rootLogger=./sql.log# Logging Threshold to INFO for queryserver. root logger still at WARN for sqlline ...原创 2018-05-16 15:43:31 · 2700 阅读 · 0 评论 -
连接freeipa验证ldap登录,java代码demo
import com.sun.org.apache.xerces.internal.impl.dv.util.*;import java.security.MessageDigest; import java.security.NoSuchAlgorithmException; import java.util.Hashtable; import java.util.logging....原创 2018-04-11 16:51:11 · 2219 阅读 · 0 评论 -
JupyterHub + toree安装说明
1. 下载安装python 3.6yum install sqlite-devel openssl-develwget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgztar zxvf Python-3.6.5.tgzcd Python-3.6.5./configuremake install2. 安装nodejscd /usr/lo...原创 2018-04-02 18:21:44 · 1777 阅读 · 0 评论 -
hdfs nfs 报错:cp: 无法创建普通文件: 输入/输出错误
使用mount.nfs $nfs_ip:/ /mnt/hdfs之后,向/mnt/hdfs拷贝文件保存cp: 无法创建普通文件: 输入/输出错误于是,修改hdfs的配置项:dfs.namenode.accesstime.precision将其从默认的0,修改为3600000,重启hdfs后,问题解决。参考:http://www.itweet.cn/blog/2017/07/20/write-da...原创 2018-03-01 19:52:32 · 5190 阅读 · 0 评论 -
hdfs的httpfs配置流程
https://henning.kropponline.de/2014/11/21/install-httpfs-gateway-kerberized-cluster/转载 2018-03-15 19:59:14 · 843 阅读 · 0 评论 -
phoenix select语句的解析流程
客户端调用phoenix的jdbc接口,代码如下: Connection conn = DriverManager.getConnection(url); Statement statement = conn.createStatement(); ResultSet rset = statement.executeQuery("select a from test1"原创 2015-02-06 19:37:42 · 3270 阅读 · 0 评论 -
kettle 连接 phoenix
参考:http://talat.uyarer.com/post/121179803796/how-to-connect-hbase-using-apache-phoenix-from1. 从http://phoenix.apache.org/download.html下载phoenix的源码包2. 拷贝phoenix-core-4.3.1.jar phoenix-4.3.1-c翻译 2015-07-14 17:41:41 · 5036 阅读 · 12 评论 -
Greenplum 4.3.x 安装postgis
下载Greenplum的postgis插件https://network.pivotal.io/products/pivotal-gpdb/#/releases/4540/file_groups/493执行:gppkg -i postgis-ossv2.0.3_pv2.0.1_gpdb4.3-rhel5-x86_64.gppkg即可完成安装执行如下测试例子:原创 2017-03-09 17:05:25 · 2131 阅读 · 0 评论 -
greenplum启动报错gpstart error: Catalog Versions are incompatible
[gpadmin@gp6 ~]$ gpstart20170511:17:26:46:005547 gpstart:gp6:gpadmin-[INFO]:-Starting gpstart with args: 20170511:17:26:46:005547 gpstart:gp6:gpadmin-[INFO]:-Gathering information and validating t原创 2017-05-11 18:30:39 · 1552 阅读 · 0 评论 -
postgresq通过l外部表连接greenplum
1. 如果是源码安装,需要进入源码的contib目录,进行make;make install2. CREATE EXTENSION postgres_fdw;3. CREATE SERVER gp_server FOREIGN DATA WRAPPER postgres_fdw OPTIONS (host '10.20.100.60', dbname 'test', port '5432原创 2017-05-11 20:58:29 · 1516 阅读 · 1 评论 -
pgbouncer配置
参考https://my.oschina.net/Kenyon/blog/739351. pgbouncer.ini配置如下,其中连接postgresql的用户名为postgres密码为test:[databases]pgsql1 = host=127.0.0.1 port=5432 dbname=postgres user=postgres password=test原创 2017-05-24 16:27:52 · 853 阅读 · 0 评论 -
greenplum报错:Interconnect error writing an outgoing packet: Operation not permitted
参考:https://discuss.pivotal.io/hc/en-us/articles/202967503-Greenplum-Error-Interconnect-Error-writing-an-Outgoing-Packet-Operation-not-Permitted-检查防火墙是否关闭:service iptables status只要结果不是:原创 2017-05-08 17:46:31 · 1954 阅读 · 0 评论 -
源码编译安装greenplum 5.0
借鉴:http://www.cnblogs.com/scoter2008/p/5928972.html基于Centos 7编译前的准备工作:关闭防火墙systemctl start firewalld.service#启动firewallsystemctl stop firewalld.service#停止firewallsyst原创 2017-05-08 19:09:57 · 1775 阅读 · 0 评论 -
postgrest 简单使用
下载postgresql,可以根据操作系统类型选择二进制包,解压后直接可以使用https://github.com/begriffs/postgrest其次,在postgresql中创建账户,并赋予select权限stock=# create role tester login password '111111';stock=# create user name passwo原创 2017-04-17 22:08:42 · 9511 阅读 · 1 评论 -
基于centos6.x安装部署superset
参考http://airbnb.io/superset/installation.html1. 安装环境基于python 2.7或3.4,2. 安装所需的包sudo yum upgrade python-setuptoolssudo yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel翻译 2017-06-05 19:51:29 · 2478 阅读 · 3 评论 -
MDX同比环比的计算
同比:Iif(IsEmpty(([table_profit].[报告期].CurrentMember.Parent.PrevMember, [Measures].[净利率(%)])) OR IsEmpty([Measures].[净利率(%)]) OR ([table_profit].[报告期].CurrentMember.Parent.PrevMember, [Measures].[净利率(原创 2017-07-22 21:39:40 · 1934 阅读 · 1 评论 -
hue依赖库安装
安装hue之前,要首先安装其依赖的库:yum -y install ant gcc g++ krb5-devel mysql openssl-devel cyrus-sasl-devel cyrus-sasl-gssapi sqlite-devel libtidy libxml2-devel libxslt-devel openldap-devel python-devel python2-s原创 2017-09-22 15:23:18 · 632 阅读 · 0 评论 -
使用python编写csv转parquet脚本
from pyspark import SparkContextfrom pyspark.sql import SQLContextfrom pyspark.sql.types import *def parse(line): items = line.split(",") return (long(items[0]), items[1], float(it原创 2017-09-22 15:15:23 · 5245 阅读 · 1 评论 -
阿里云tomcat启动卡死解决方法
http://blog.youkuaiyun.com/hj7jay/article/details/60127995——增大/dev/random的熵池。问题的原因是由于熵池不够大,所以增大它是最彻底的方法。 通过 cat /proc/sys/kernel/random/entropy_avail 我们可以查看现在的熵池大小;我们需要找到一种方式来提高这个值就行了。如果你的CPU带有DRNG特转载 2017-09-22 16:23:10 · 2037 阅读 · 0 评论 -
ambari安装oozie报错解决一例子
ambari安装oozie时报错,resource_management.core.exceptions.ExecutionFailed: Execution of '/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64//bin/java -cp '/var/lib/ambari-agent/cred/lib/*' org.ap原创 2018-01-31 17:28:54 · 1608 阅读 · 0 评论 -
HUE+kerberos启动报错Couldn't renew kerberos ticket解决方案
配置好hue+kerberos后,启动报错:[19/Jan/2018 07:10:08 +0000] kt_renewer INFO Renewing kerberos ticket to work around kerberos 1.8.1: /usr/bin/kinit -R -c /var/run/hue/hue_krb5_ccachekinit: KDC can't fulf...原创 2018-01-19 23:27:22 · 6907 阅读 · 0 评论 -
hbase shell 中,使用filter进行scan
在hbase的命令行import org.apache.hadoop.hbase.filter.CompareFilterimport org.apache.hadoop.hbase.filter.SingleColumnValueFilterimport org.apache.hadoop.hbase.filter.SubstringComparatorimport org.apa原创 2014-06-24 19:19:42 · 11580 阅读 · 1 评论