
大数据
文章平均质量分 73
阿特
一个有故事的人。
展开
-
Power BI 自定义门户----大成
为了解决Power BI 使用一系列的问题,Power BI门户方案诞生。整个疫情期间,闲来无事就开发门户,终于有所成。利用Power BI Embedded和Power BI Service 嵌入式集成,提供数据专业人员与组织内部或外部的任何人共享来自其 Power BI工作空间的报表, 为客户、 合作伙伴或供应商合作开辟了为前所未有的数据协作大门!...原创 2022-06-19 21:35:54 · 2561 阅读 · 2 评论 -
数据库工具免费版发布
为了方便SQL Server 的调优工作,在SQL Server大师Charles Lv的大力帮助下,完成了此工具的开发工作,本来是想收费使用,想了想估计也没几个人付费,就免费大家使用了。原创 2022-05-04 18:09:49 · 954 阅读 · 2 评论 -
Power BI Embedded 开发国内版-21V-版本实测
通过 Power BI 嵌入式分析,可以将 Power BI 内容(例如报表、面板和磁贴)嵌入到 Web 应用程序或网站中。很多客户都有这样的需求,如果看的人多,报表统一公开,统一管理,使用嵌入方案可以节约很多成本,Power BI Embedded的使用过程比较繁琐,而且文档中未有国内版本的实际操作,我通过实践,发现还是使用demo模拟过程中发现了很多有趣坑,最终成功的运行了dmeo。另外发现嵌入也可以使用RLS,也进行了模拟,这个功能很不错,可以实现外部用户登录应用时候也进行行级安全管理。稍作点复杂原创 2022-04-04 16:58:15 · 7225 阅读 · 0 评论 -
Databricks文档05----使用 Azure Databricks 连接SQL Server查询数据
创建新的notebook输入相关参数jdbcHostname = "-----"jdbcDatabase = "iotdb"userName = 'sa'password = ''jdbcPort = 8433jdbcUrl = "jdbc:sqlserver://{0}:{1};database={2};user={3};password={4}".format(jdbcHostname, jdbcPort, jdbcDatabase, userName, p...原创 2022-03-20 16:20:30 · 1149 阅读 · 0 评论 -
Databricks文档04----使用 Azure Databricks 提取、转换和加载数据
使用 Azure Databricks 执行 ETL(提取、转换和加载数据)操作。 将数据从 Azure Data Lake Storage Gen2 提取到 Azure Databricks 中,在 Azure Databricks 中对数据运行转换操作,然后将转换的数据加载到 Azure Synapse Analytics 中。本教程中的步骤使用 Azure Databricks 的 Azure Synapse 连接器将数据传输到 Azure Databricks。原创 2022-03-20 15:56:21 · 5657 阅读 · 0 评论 -
Databricks文档03----Azure Databricks 创建
1、打开Azure portal 搜索资源:Azure Databricks2、输入相关信息3、网络选择,由于是实验,一切从简4、启动工作区5、创建计算群集原创 2022-03-20 14:50:12 · 781 阅读 · 0 评论 -
Databricks文档02----Databricks CLI
### 安装 CLI需要使用管理员身份进行安装请使用与 Python 安装相对应的 `pip` 版本运行 `pip install databricks-cli`。原创 2022-03-20 14:12:21 · 1245 阅读 · 0 评论 -
Databricks文档01----Azure Databricks初探
Azure Databricks 是一个已针对 Microsoft Azure 云服务平台进行优化的数据分析平台。 Azure Databricks 提供了三种用于开发数据密集型应用程序的环境:- Databricks 数据科学工程- Databricks 机器学习- Databricks SQL**Databricks SQL** 为想要针对数据湖运行 SQL 查询、创建多种可视化类型以从不同角度探索查询结果,以及生成和共享仪表板的分析员提供了一个易于使用的平台。原创 2022-03-20 13:56:43 · 4825 阅读 · 0 评论 -
使用Azure Data Factory优雅的迁移SQL Server 2000 DTS包
简介最近搞了一个好玩的项目,客户的数据库从SQL Server 2000迁移到 Azure SQL 。数据库数据迁移并不是难事,关键客户环境好玩的是使用了50多个DTS包,DTS包是比较古老的产品。很多人估计都没见过了,DTS其实是 SSIS的前生,DTS功能就是实现ETL的过程。客户的50多个包实现各种数据的复制、转换和集成。Azure Data Factory 介绍Azure 数据工厂是 Azure 的云 ETL 服务,用于横向扩展无服务器数据集成和数据转换。 它提供了无代码的 UI原创 2021-12-18 20:55:20 · 1060 阅读 · 0 评论 -
数据安全,配置先行;如何检查,SQL 评估 API
数据安全,配置先行;如何检查,SQL 评估 APISQL 评估 API 提供了一种机制来评估 SQL Server 的配置,以获得最佳做法。 该 API 附带一个规则集,其中包含 SQL Server 团队建议的最佳做法规则。 随着新版本的发布,此规则集得到了增强,但同时,此 API 旨在提供高度可自定义且可扩展的解决方案。 这样用户便可以优化默认规则并创建自己的规则,并且可以进行自己开发,也就是说利用此API你还还可以开发自己的评估工具。若要确保 SQL Server 配置符合建议的最佳做法,你就会发原创 2021-08-26 20:38:44 · 381 阅读 · 0 评论 -
拨开云雾见日月:SQL Server 调优之查询存储
拨开云雾见日月:SQL Server 调优之查询存储数据库调优一直都是大家觉得比较困难的事情,SQL Server提供了很多方便的工具帮助大家进行性能分析,这边介绍下SQL Server的性能调优的重器:查询存储什么叫查询存储,就是 QUERY STORESQL Server 查询存储功能让你可以探查查询计划选项和性能。 它可帮助你快速找到查询计划更改所造成的性能差异,从而简化了性能疑难解答。 查询存储将自动捕获查询、计划和运行时统计信息的历史记录,并保留它们以供查阅。 它按时间窗口将数据分割开来,原创 2021-08-20 13:26:41 · 882 阅读 · 0 评论 -
06、SQL Server大数据群集进阶--理解大数据构架
06、SQL Server大数据群集进阶--理解大数据构架之前创建了一个SQL BigData群集,也进行了HDFS连接查询的操作,一切看起来都挺简单的,也能运行起来。但是也没发现有什么特别之处,与普通的SQL实例相比也好像没有区别。因此我们要更加深入的学习和剖析大数据群集。大数据构架目标是实现大数据的导入、存储、管理、查询、分析、预测。数据导入首先需要完成数据的导入工作。在...原创 2019-04-17 23:12:32 · 1388 阅读 · 0 评论 -
05.SQL Server大数据群集小试牛刀--HDFS查询
05.SQL Server大数据群集小试牛刀--HDFS查询SQL Server大数据群集查询HDFS ,利用之前创建好的大数据群集,使用官方提供的测试数据进行测试。脚本是官方的脚本,要知道干了什么,就需要分析脚本了。大概干几件事情1、下载测试数据bak2、还原数据库3、导入出数据写入到HDFS要完成这些任务,必须有几个工具才能完成,所以前提条件是要安装之前提过的几个大数据工具...原创 2019-03-11 21:08:34 · 933 阅读 · 0 评论 -
04.千淘万漉虽辛苦,吹尽黄沙始到金——SQL Server大数据群集初探
04.千淘万漉虽辛苦,吹尽黄沙始到金——SQL Server大数据群集初探[TOC]上一篇终于创建好了群集,但是如何使用呢?首选需要理解SQL Server 2019 大数据群集的概念,从开始SQL Server 2019 预览,SQL Server 大数据群集允许你部署的 Kubernetes 上运行的 SQL Server、 Spark 和 HDFS 容器的可缩放群集。 并行运行这些组...原创 2019-03-10 17:56:27 · 995 阅读 · 0 评论 -
03.三月风雨愁断肠,学习大数据特别忧伤——谈谈AKS创建SQL Server大数据群集创建愁断肠
03.三月风雨愁断肠,学习大数据特别忧伤——谈谈AKS创建SQL Server大数据群集创建愁断肠[TOC]前言使用AKS创建SQL Server大数据群集有几种方法,由于产品不断的更新,SQL 2019也还没有正式发布,文档也会发生很多错误,在测试SQL Big Data遇到了很多的问题,终于经过几次尝试搞清楚了怎么来创建。 写下来给大家1、首先必须申请使用,申请链接 https...原创 2019-03-10 17:23:04 · 806 阅读 · 0 评论