lish1988-优快云博客

原创大数据管理平台 DataWings-查看运维大屏

运维大屏为您展示重点关注的任务运维指标及运行概况，帮助您快速了解大数据管理平台任务的整体概况，及时发现并处理异常任务，提升运维效率。

2024-12-19 08:15:00 656

原创大数据管理平台 DataWings -告警管理

您可以在告警实例页面查看所有模块的监控告警信息，包括数据集成、数据质量、数据服务、数据地图、自定义监控规则等产生的告警信息。

2024-12-13 08:42:07 1064

原创数据仓库调优表实践 -表结构设计

主要介绍表结构设计的最佳实践。在进行调优表实践之前，需要先了解下表结构设计相关的内容。因为进行数据库设计时，表设计上的一些关键项将严重影响后续整库的查询性能。表设计对数据存储也有影响：好的表设计能够减少I/O操作及最小化内存使用，进而提升查询性能。本小节介绍如何设计DWS表结构（包括选择表存储方式、压缩级别、分布方式、分布列以及使用分区表和局部聚簇等），从而实现表性能的优化。

2024-12-12 08:45:00 1281

执行去重会消耗大量的时间，因此，在一些实际应用场景中，如果通过业务逻辑已确认两个集合不存在重叠，可用union all替代union以便提升性能。查询中GROUP BY语句如果生成了groupagg+sort的plan性能会比较差，可以通过加大work_mem的方法生成hashagg的plan，因为不用排序而提高性能。根据数据库的SQL执行机制以及大量的实践总结发现：通过一定的规则调整SQL语句，在保证结果正确的基础上，能够提高SQL执行效率。−作业中多个SQL有同样的子查询，并且子查询数据量较大。

2024-12-12 08:15:00 432

原创使用GDS从远端服务器导入数据

要介绍使用GDS从远端服务器导入数据的最佳实践。

2024-12-11 07:30:00 1565

原创从OBS导入数据到集群

主要介绍从OBS导入数据到集群的最佳实践。

2024-12-11 06:30:00 856

原创数据仓库-导入数据最佳实践

• 为了优化导入速度，建议拆分文件，使用多GDS进行并行导入。对于记录数超过千万条的表，建议在执行全量数据导入前，先导入部分数据，以进行数据倾斜检查和调整分布列，避免导入大量数据后发现数据倾斜，调整成本高。从OBS导入数据时，首先将您的文件上传到OBS存储桶中，我们建议您列出存储桶的内容，然后验证该存储桶是否包含所有正确的文件并且仅包含这些文件。从OBS上导入数据时，如下方法可以提升导入性能：将数据文件存储到OBS前，尽可能均匀地将文件切分成多个，文件的数量以DN的整数倍更适合。

2024-12-10 08:15:00 809

原创数据仓库导入导出 -GDS实践指南

GDS支持并发导入导出，gds -t参数用于设置gds的工作线程池大小，控制并发场景下同时工作的工作线程数且不会加速单个sql任务。gds -t缺省值为8，上限值为200。在使用管道功能进行导入导出时，-t参数应不低于业务并发数。GDS外表参数delimiter是多字符时，建议TEXT格式下字符不要完全相同，例如不建议使用delimiter '---'。GDS多表并行导入同一个文件提升导入性能（仅支持text和csv文件）。主要介绍GDS最佳实践。

2024-12-10 08:00:00 798

原创大数据管理平台 DataWings-查看操作日志

您可以在操作日志模块查询和检索DataWings内进行的关键操作，同时也为您提供了日志总览的能力，查看不同模块的使用情况。

2024-12-09 07:30:00 636

原创大数据管理平台 DataWings-引擎管理

集群信息同步或者注册完成后，您需要创建翼MR计算引擎，以便通过DataWings来执行该引擎类型的大数据计算任务。

2024-12-09 07:00:00 676

原创大数据管理平台 DataWings- 监控规则管理

操作说明功能点描述检索可以按名称、业务来源、状态、等级查询自定义规则。下线下线当前规则，下线后当前规则将不再触发告警及运维动作。上线上线当前规则，上线后不可编辑。编辑重新编辑当前规则，仅下线的规则支持编辑。删除删除当前规则，仅下线的规则支持删除。规则配置说明字段说明业务来源当前自定义规则涉及的业务模块。对象类型当前自定义规则需要监控的对象类型，当前仅支持资源组。资源组名称资源组名称。监控指标当对象类型为资源组时，需要填写，可选择：cpu使用率、内存使用率、磁盘使用率。

2024-12-08 10:45:00 609

原创大数据管理平台 DataWings-数据集成概述

数据集成提供简单易用的迁移能力和多种数据源到数据仓库的集成能力，降低了客户数据迁移和集成的复杂性，有效地提高数据迁移和集成的效率。

2024-12-08 08:15:00 1550

原创大数据管理平台 DataWings -查看运维大屏

运维大屏为您展示重点关注的任务运维指标及运行概况，帮助您快速了解大数据管理平台任务的整体概况，及时发现并处理异常任务，提升运维效率。

2024-12-07 09:00:00 572

原创大数据管理平台 DataWings-数据建模概述

数据建模支持制定并沉淀企业数据标准、数仓规划设计、数据指标定义、维度建模。通过维度建模的正向建模可以将设计产出的接入表、维度表、明细表、汇总表和应用表等物化到相应的数据源。通过维度建模的逆向建模可以将其他建模工具建的存量物理表反向建模到维度建模中，进行统一管理。该功能无需再次执行建模操作，即可快速将已有模型反向建模至维度建模中，可节省大量的时间成本。

2024-12-07 08:30:00 558

原创大数据管理平台 DataWings - 数据源管理

数据源管理支持界面式管理数据源，包括新增、编辑、查询、删除等管理功能。数据源类型分为内置数据源和外部数据源，内置数据源需通过集群注册功能配置Hive组件信息，并成功创建对应引擎后，系统将自动创建内置数据源；外部数据源可通过数据源管理界面，直接新增外部数据源。

2024-12-06 11:40:11 616

原创如何使用云GPU云主机构建Blender云端渲染服务

Blender 是一款永久开源免费的 3D 创作软件，支持整个 3D 创作流程：建模、雕刻、骨骼装配、动画、模拟、实时渲染、合成和运动跟踪，甚至可用作视频编辑及游戏创建。如果使用自己的镜像没有GRID图形驱动，将无法使用渲染OpenGL功能，请安装驱动，详情请参见。本文介绍如何使用云GPU云主机构建Blender云端渲染服务，完成简单的云渲染任务。实例环境如下表所示。

2024-12-06 11:36:00 1090

通信行业AI集群发展下数据中心间互联(DCI)趋势及德科立表现

内容概要：本文探讨了AI训练集群的高速发展和电力资源分布不均带来的数据中心间互联（DCI）市场需求的增长。文章详细介绍了电信公司Lumen在DCI建设中的受益情况以及德科立在全球长距离光传输市场的技术和市场布局。随着AI集群规模的扩大，数据中心间的互联需求剧增，特别是在大型算力集群之间和城域网范围内的连接需求。Lumen已签订50亿美元的新交易，并计划与康宁合作大幅扩充其光纤里程。德科立凭借在长距离光传输技术方面的优势，特别是光收发模块、光放大器和光传输子系统的研发，有望在DCI市场中获得更多机遇。适用人群：从事或对通信行业、数据中心互连（DCI）、光传输技术感兴趣的读者，包括但不限于电信运营商、网络设备制造商、数据科学家和技术研究人员。使用场景及目标：① 了解当前AI集群对数据中心间互联（DCI）需求的影响；② 关注Lumen在数据中心互联建设中的进展；③ 分析德科立在全球长距离光传输市场的竞争优势和发展潜力。其他说明：文章提供了详细的行业背景和技术细节，适合希望深入了解光通信领域最新发展趋势的专业人士阅读。同时，对于关注投资机会的读者，文章给出了明确的投资建议。

2024-12-11

金融领域：保险公司三季度预增，快递市场持续增长

内容概要：本报告详细分析了保险公司在中国资本市场的表现及未来趋势，同时关注了快递市场的增长潜力。在三季度，保险公司如中国太保和中国人保表现出色，受股市提振，净利润分别增长超过60%；此外，化工企业正丹股份由于主要产品TMA价格上涨导致业绩爆发式增长，净利润飙涨近380倍。在快递行业，尽管面临激烈的价格竞争，但申通快递依然实现了业务量的显著增长，展示了消费市场的强大潜力。适用人群：金融投资者、证券分析师及研究机构从业者。使用场景及目标：帮助投资者了解资本市场的重要变化和投资机会，特别是在保险业和快递行业中挖掘具有高增长潜力的企业。其他说明：本文提供了具体数据和案例，分析了各企业在三季度的表现及其背后的原因，对于理解当前中国经济形势和市场动向具有重要参考价值。