- 博客(8)
- 收藏
- 关注
RSS订阅原创 docker 镜像构建和推送
docker 镜像构建和推送 准备dockerfile FROM python:3.6 COPY ./dispatch /app WORKDIR /app RUN pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple EXPOSE 18010 CMD python /app/data_class/allocation_server.py requirements numpy==1.17.3 pandas==
2020-06-01 13:49:42
240
原创 Kylin麒麟大数据OLAP框架 build问题 10020 failed on connection exception: java.net.ConnectException: Connection
问题 10020 failed on connection exception: java.net.ConnectException: Connection 描述 Kylin麒麟大数据样例project。 在构建样例数据之后开始build table，在启动了resource manager成功的情况依然报错。具体错误产生于build n-dimension cuboid 解决方法 step 1确...
2020-04-14 11:36:29
439
原创 Hbase 增删查改 happybase
Hbase 增删查改 happybase 启动server 启动thrift server接受python api bin/hbase-daemon.sh start thrift 代码 import happybase # lsof -i:9090 connection = happybase.Connection('192.168.21.67',port=9090) table = con...
2020-04-13 20:42:22
352
原创 kafka 接收数据存入redis或hbase 分布式框架 大数据
kafka 数据存入redis或hbase 代码 from kafka import KafkaConsumer import time import happybase import json from ips import * hbase_ip = yuhangip hbase_port = default_hbase_port# '9090' ip = hbase_ip port = hba...
2020-04-09 22:55:00
472
原创 pyspark 访问hive 存放数据 spark sql 分布式框架
pyspark 访问hive 存放数据 代码 import findspark findspark.init() from pyspark.sql import SparkSession, HiveContext ''' 需要bin/spark-sql.sh可以运行 需要配置hive-site xml的metastore uri 并开启该metastore节点的server hive --serv...
2020-04-09 22:29:30
306
原创 大数据框架 用python 3.6访问hive数据库 pyhive 安装简介
大数据框架 用python 3.6访问hive数据库 pyhive 安装简介 pyhive 依赖 全部用pip install xxx安装即可 先运行sudo apt-get install python-dev libsasl2-dev gcc 安装gcc 下面模块对gcc有依赖 Pyhive-0.6.2 thrift-0.13.0 thrift-sasl-0.4.2 运行beeline测试数...
2020-04-08 15:33:27
510
原创 hugging face transformer文本分类运行
hugging face 团队的transformer又更新了，现在里面有distilroberta和distilbert和albert模型，这三个模型值得我们对比其他模型的差异。那么如何运行呢？ 首先进入GitHub，搜索transformer https://github.com/huggingface/transformers 进入这个repo git clone 或者下载下来...
2020-01-08 17:59:58
4578
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人