- 博客(21)
- 收藏
- 关注
RSS订阅
原创 clickhouse版本升级-保留数据
操作准备版本升级19.11.7.40 升级到 20.9.2.20系统版本CentOS Linux release 7.4.1708 (Core) ( #cat /etc/redhat-release)显示命令：yum list installed ‘clickhouse*’卸载命令yum -y remove …安装命令sudo yum -y localinstall clickhouse-*.rpm升级流程下载新版本文件(配置文件需要安装
2020-10-22 14:44:14
2100
5
原创 keras 模型在django下的动态部署
layout: posttitle: “keras 模型的动态部署”date: 2018-10-19 17:00:00categories: kerastags: 模型 部署author: “Victor”aiServerAPI服务搭建20181019_v2lida@foxmail.com1.项目背景Ai项目网站在整合模型的时候，变得繁重和缓慢，在生成环境和开发环境，都...
2018-12-13 20:57:58
2595
原创 clickhouse技术细节整理
这里的分布式JOIN通常指，JOIN查询中涉及到的left_table 与 right_table 是分布式表。ClickHouse集群并未实现完整意义上的Shuffle JOIN，实现了类Broadcast JOIN，通过事先完成数据重分布，能够实现Colocate JOIN。ClickHouse 的分布式JOIN查询可以分为两类，带GLOBAL关键字的，和不带GLOBAL关键字的情况。在实际中，我们通常将较小的表作为右表，并尽可能增加过滤条件，降低进入JOIN计算的数据量。分布式JOIN最佳实践。
2023-12-12 14:15:01
1139
原创 数字孪生信息收集
数字孪生是指：充分利用物理模型、传感器更新、运行历史等数据，形成多学科、多物理量、多时间尺度、多概率的仿真过程， 进而反映物理系统全生命周期过程的信息技术。数字孪生基于传感数据和高精度仿真等手段构建物理实体的数字镜像，使难以用数理模型解析预测的复杂系统问题在信息域可观、便于预测和控制，为实现信息物理系统(Cyber physical system, CPS)提供了清晰的新思路、方法和实施途径。
2023-12-12 14:12:54
815
原创 朝阳区幼升小-2022年
北京义务教育入学服务平台注册获取-儿童信息采集表编号：https://yjrx.bjedu.cn/朝阳区义务教育阶段入学转学报名系统：http://yjrxbm.bjchyedu.cn/distribution/UploadSingleSchoolPic查询小区对应学校：http://xqcx.bjchyedu.cn/当前时间无法预约 - 问题统筹分配报名->预约时：2022年05月份的日期，点击是提示：“当前时间无法预约 ”。需要跳转到06月份，点击激活的日期，可以进行预约，当前20
2022-05-12 10:31:47
531
原创 HDFS常规操作
HDFS文件统计获取指定目录数据大小信息hdfs dfs -du /user/hive/warehouse/ods.db/ > db_du获取指定目录修改时间信息hdfs dfs -ls /user/hive/warehouse/udm.db/ > db_ls合并信息脚本#!/usr/bin/perluse strict;my %table_du = map{my @m = split /\s+/;m[0],m[0],m[0],m[1]} awk -F'[ /]' '
2022-03-30 10:05:27
2378
原创 Flink on yarn Yarn-Per-Job 作业日志 查询 方式记录
Flink 日志查询命令获取application的contain信息yarn logs -show_application_log_info --applicationId application_1639366579669_896581WARNING: YARN_OPTS has been replaced by HADOOP_OPTS. Using value of YARN_OPTS.Application State: Completed.Container: container_
2022-03-21 15:17:26
3921
1
原创 Flink任务部署-deply总结
Flink作业deployhttps://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/overview/https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/deployment/resource-providers/yarn/https://nightlies.apache.org/flink/flink-docs-release
2022-03-17 15:23:14
3318
原创 yanagishima 23.0 编译 安装 编译完成版本下载
trino 357 yanagishima v23.0export JAVA_HOME=/home/bduser/zulu-jdk11.0.10echo PATH=/home/bduser/zulu-jdk11.0.10/bin:$PATHexport PATH=/home/bduser/zulu-jdk11.0.10/bin:$PATHwget https://services.gradle.org/distributions/gradle-6.8.2-bin.zipunzip gradl
2021-11-19 17:07:02
2358
11
原创 github验证更换操作
github验证更换操作8月13日后 git pull操作报错Support for password authentication was removed on August 13, 2021. Please use a personal access tok原因github 网站更新了验证方式token验证配置1.登录github账号，点击settings，点击Developer settings2.点击Personal access tokens3. 点击Generate new
2021-08-16 17:38:03
453
原创 hive 异常ClassCastException
hive升级过程中异常记录-java.lang.ClassCastException: org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache.hadoop.io.BinaryComparable常规ClassCastException问题梳理-来源网络Caused by: java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast t
2021-05-06 19:18:42
8423
原创 kettle - 问题记录 及 解决方案
数据源配置文件路径kettle任务启动是：a. 优先查看 $KETTLE_HOME目录下 .kettle文件夹的配置文件。b. 如果找不到 $KETTLE_HOME变量，则到用户个目录下，查找.kettle文件夹。
2021-01-29 15:21:35
713
原创 atlas使用记录
请空hbase中的表的命令echo "truncate 'apache_atlas_janus'" | /opt/atlas2.0/apache-atlas-2.0.0/hbase/bin/hbase shell清空solr的altas对应的index命令curl http://192.168.2.202:9838/solr/edge_index/update --data-binary "*:*" -H 'Content-type:text/xml; charset=utf-8' cu
2020-12-11 13:25:28
271
原创 kettle使用MongoDB Input连接mongodb获取数据异常处理记录
kettle 使用 连接mongodb ，报错处理com.mongodb.MongoCommandException: Command failed with error 16436: 'Unrecognized pipeline stage name: 'ADD_TIME'' on server 192.168.2.144:27017. The full response is { "ok" : 0.0, "errmsg" : "Unrecognized pipeline stage name: 'A
2020-12-04 15:44:00
3682
1
原创 DATAHUB 调研测试文档
DATAHUB 调研测试文档李达 20200710 lida2012@foxmail.com1.环境安装服务器配置：服务器ip：192.168.123.80系统版本：CentOS Linux release 7.4.1708 (Core)Cpu：2核ntel(R) Celeron(R) CPU 1007U @ 1.50GHz内存：8g硬盘：50G系统硬盘 + 1T挂载硬盘2.docker部署2.1.Docker安装https://github.com/linkedin/datahu
2020-07-22 18:39:17
2509
4
原创 jenkins使用及持续集成
一.Jenkins安装1.1软件信息Web服务器:http://archive.apache.org/dist/tomcat/tomcat-7/v7.0.5-beta/bin/apache-tomcat-7.0.5.tar.gz Jenkins版本:http://ftp.yz.yamagata-u.ac.jp/pub/misc/jenkins/war-stable/2.19.4/jenk...
2018-12-17 17:35:23
450
原创 版本控制系统GIT文档
版本控制系统GIT文档李达 20180629引用博客教程+实践总结目录1. 版本控制系统... 21.1. 简介... 21.2. 常见的版本控制器... 31.3. 版本控制分类... 41.3.1. 本地版本控制... 41.3.2. 集中版本控制（SVN）... 41.3.3. 分布式版本控制...
2018-12-13 21:03:39
549
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人