PD--SqlServer生成Hive建表语句

最新推荐文章于 2024-07-30 08:58:28 发布
原创 最新推荐文章于 2024-07-30 08:58:28 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sqlserver #hive #microsoft

本文介绍了如何配置和启动PowerDesigner16，包括设置JDK环境、下载SqlServer驱动、编辑启动脚本，并详细阐述了如何通过PowerDesigner连接SqlServer数据库，成功建立数据模型，以及在模型中进行数据类型的转换和生成Hive建表SQL的过程。

1.编辑PowerDesigner16启动脚本

1.1本机安装JDK

在这里插入图片描述

1.2下载SqlServer驱动到本地

https://mvnrepository.com/

在这里插入图片描述

1.3编辑启动脚本并放置在PD16启动目录

在这里插入图片描述
startup.bat文件内容如下：

Set JAVA_HOME=D:\Program Files (x86)\JDK\bin
Set CLASSPATH = D:\docouments\drivers\sqlserver\mssql-jdbc-9.4.0.jre8.jar
pdshell16.exe

2.启用PD

双击startup.bat启动PD
在这里插入图片描述

2.1连接SqlServer数据库

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.2连接成功，选择数据库

在这里插入图片描述
在这里插入图片描述

2.3生成数据模型

在这里插入图片描述

3.数据转换

3.1更改数据类型

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

3.2生成Hive建表sql

在这里插入图片描述

王大器
关注
excel模板利用java自动生成hive建表语句、查询语句小程序
tanhaidi的博客
12-27 807
在日常数据开发过程中，会经常需要根据数据模型写建表语句，或者在表数据探索时写查询语句，每次写建表语句都会用几分钟的时间，于是打算做个excel模板，把表字段、表分区、表名写在里面，通过程序自动生成建表语句、查询语句。 我的上传资源有打包好的程序，如果嫌麻烦可以直接下载使用。 下面说一下具体步骤： （1）定制excel模板 A到C列是字段名，D到F列是分区列，H1是表英文名，H2是表中文名。 文档...
利用mysql元数据自动生成hive建表语句
rourou8的博客
03-29 3600
数仓搭建的过程中，需要将业务数据导入到hive中，但是业务表较多，建表成为一个效率瓶颈。可以利用mysql的元数据库INFORMATION_SCHEMA ,其中COLUMNS和 TABLES这两张表记录了我们需要的表名，列名，comemnt等信息。 下面是生产中实际用到的一个案例sql，在使用时可以根据自己公司的规范进行修改： 可以往where table name中添加多张表，实现批量创建 SELECT CONCAT('create table if not exists ods.ods_',schema
生成hive建表语句
08-24
生成hive建表语句
sql同步自动生成hive建表语句及注释
08-08
基于oracle或者mysql生成自动建表同步源数据表结构及注释
如何将数据库中的表导入到PowerDesigner中
07-29
NULL 博文链接：https://fly5650104.iteye.com/blog/810556
2020-09-14 python 执行hivesql查询语句时报错 ，你看看这个怎么解决的？
LIdahai_daylife的博客
09-14 837
首先 cur.execute(“show tables”)或者 cur.execute(“select * from table limit 100”) 这些都能运行成功； 报错时执行的语句中含有count(1)，现在需要查明原因？ 首先看下具体的报错内容： Traceback (most recent call last): File "C:/Users/admin/PycharmProjects/pythonhive/0914xwqy.py", line 7, in <module&gt.
Hive数据导出方式及操作指南
My_wife_QBL的博客
07-30 1213
Hive提供了多种数据导出方式，包括使用INSERT OVERWRITE语句、Hive CLI的EXPORT命令、Sqoop、ODBC/JDBC接口以及Apache Spark等。这些方法具有各自的特点和适用场景，用户可以根据具体需求选择合适的导出方式。在数据导出过程中，应注意选择合适的数据格式、权限设置、数据量考虑、数据清洁和监控等因素，以确保导出操作的成功和数据的有效利用。通过合理利用Hive的数据导出功能，用户能够更好地实现数据的备份、迁移、共享和分析，为后续的数据处理和决策提供支持。
SQL必知必会47-如何利用SQL对零售数据进行分析？
qq_53280238的博客
07-03 559
通过 SQL 完成机器学习往往还是需要使用到 Python，因为数据分析是 Python 的擅长。通过今天的学习你应该能体会到采用 SQL 工具作为数据查询和分析的入口是一种数据全栈的思路，对于开发人员来说降低了数据分析的技术门槛。如果你想要对机器学习或者数据分析算法有更深入的理解，也可以参考我的《数据分析实战 45 讲》专栏，相信在当今的数据时代，我们的业务增长会越来越依靠于 SQL 引擎 +AI 引擎。
0636-6.1.1-Hue上SQL查询结果显示不全异常分析
Hadoop_SC的博客
09-22 1160
Fayson的github： https://github.com/fayson/cdhproject 推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f 1 异常重现 1.在Hive中准备一张表，一共5个字段，采用文本存储。 2.准备数据并导入到该Hive表中，注意我们准备的数据第四个字段即s4的值特别长，约有5000多个字符。 2018-12-11 14:53...
0640-6.1.1-Hue上SQL查询结果显示不全异常分析-补充
Hadoop_SC的博客
09-21 1455
Fayson的github： https://github.com/fayson/cdhproject 推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f 1 异常重现 1.在Hive中准备一张表，一共5个字段，采用文本存储。 2.准备数据并导入到该Hive表中，注意我们准备的数据第四个字段即s4的值特别长，约有5000多个字符。 2018-12-11 14:53...
Hive表生成工具，Hive表生成工具Hive表生成工具
03-10
Hive表生成工具，Hive表生成工具Hive表生成工具
Hive数据仓库工具
12-15
一、Hive的概述； 二、Hive的体系架构； 三、探讨Hadoop全家（生态圈）； 四、Hive与传统数据库相比； 五、Hive的数据模型（自主学习）； 六、搭建Haoop 2.7.6结合hive2.3.3实现数据仓库管理；
mysql hive 建表语句_Mysql元数据如何生成Hive建表语句注释脚本详解
weixin_33726568的博客
01-19 472
前言本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍：最近在将数据从Mysql 等其他关系型数据库 抽取到Hive 表中时，需要同步mysql表中的注释，以下脚本可以生成hive表字段注释修改语句。注：其他关系型数据库如：oracle 可以通过相同的思路，读取元数据，修改脚本语法实现。使用：在mysql元数...
PowerDesigner批量创建Hive模型
minyaoleo的博客
12-07 1074
PowerDesigner通过Excel批量创建Hive模型
通过python快速将mysql语句转换成hive、hbase、sqlserver建表语句脚本
wode6sarah的博客
05-09 827
以下mysqlsql模板，保存在mysql_table_sql.sql文件中，注意因为脚本转换会将字段注释一并转换过去，务必保证每个字段都有注释（如果不需要，在py脚本中需要去掉匹配注释的代码），除正常字段以外，只需要保留PRIMARY这一行，如果有索引或者唯一键约束的，需要去除，否则匹配时，会出现索引越界异常。希望转换成hive的sql样式如下,创建一个同名的表并添加ods前缀，创建在ods库中，并设定分区，存储类型为orc，压缩类型是snappy。py脚本如下。
在Oracle、MySQL中执行sql脚本生成hive建表语句
SunWuKong_Hadoop的博客
11-27 1262
业务需求：在没有sqoop的基础上，将oracle归集库的数据迁移至hive作为ods数据源，mysql数据库中的指标表迁移至hive作为dw层。 在MySQL中生成hive建表语句： #!/usr/bin/python # -*- coding: utf-8 -*- table_name = [ 'zzlq' ,'z_zzjgdw_base_info' ,'z_zzjg_base_inf...
用PowerDesigner生成自定义建表语句
weixin_30778805的博客
03-31 326
　　我们经常用PowerDesigner来进行数据库表结构的设计，并且设计出来的表比较直观的看出之间的相互关系，方便理解；但其自动生成的脚本并不一定符合我们实际需求，所以需要经过一定配置后才能真正达到要求，下面用一个简单的案例来学习如何配置PD。 需求： 　　这里假设数据库代码版本维护是通过sql脚本文件来管理的，构造可重复执行的创建表、添加字段、索引等 　　用PowerDesigner生成...
SQL实现MYSQL到HIVE建表语句的转换（异构数据源DDL转换）
colby_chenlun的博客
08-29 6528
准备一张维度表：dim_ddl_convert，建表语句如下： CREATE TABLE dim_ddl_convert ( source VARCHAR(100) NOT NULL, data_type1 VARCHAR(100) NOT NULL, target VARCHAR(100) NOT NULL, d...
用PowerDesigner建SQL server 2000表的方法
zengrizhang的专栏
02-11 2002
建立数据库表的关系，用PowerDesigner建立表的关系:1,打开PowerDesigner,单击new,探出new框,单击Physical Data Model,要用到的DBMS,在这里为:Microsoft SQL Server 2000,First diagram:Physical Diagram,要用到palette来设计;建完表后,要生成SQL语句, 单击Database ,下有Ge
hive
最新发布
04-26
下面展示了一种利用 PyODBC 库连接远程 Hive Server 并导出指定表格内容保存成本地 CSV 文档的方法[^2]: ```python import pyodbc import pandas as pd conn = pyodbc.connect('DSN=HiveDSN;UID=user;PWD=password'...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值