- 博客(121)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Doris物化视图
物化视图是将预先计算（根据定义好的 SELECT 语句）好的数据集，存储在 Doris 中的一个特殊的表。物化视图的出现主要是为了满足用户，既能对原始明细数据的任意维度分析，也能快速的对固定维度进行分析查询。
2024-12-04 10:28:02
468
原创 PMP核心知识点—之项目的整合管理
发现项目章程中有不正确的信息。项目经理应该请求发起人批准更正后的项目章程。商业文件(商业论证成本效益分析)、协议、事业环境因素、组织过程资产。项目章程是由项目发起人编制或者是项目经理和项目发起人共同编制。项目章程是由项目启动者或者项目发起人发布。项目章程主要是：批准项目、给项目经理授权。明确项目与组织战略目标之间的直接联系。项目章程是启动过程组的输出。冲突管理、引导、会议管理。
2024-09-03 17:22:53
244
原创 PMP核心知识点—之项目经理的角色
花大量的时间沟通(研究显示，顶尖的项目经理投入约 90%左右的时间是花在沟通上)以长远的眼光来看待人际关系是与项目同样重要:持续发展和运用政治敏锐性。运用说服、协商、妥协和解决冲突的技能;项目经理：由执行组织委派，领导团队实现项目目标的个人。职能经理：专注于对某个职能领域或业务部门的管理监督。
2024-09-02 15:05:04
282
原创 PMP核心知识点—之项目运行环境
为了实现战略目标的集中管理。要基于风险、资金和其他考虑因素对项目。弱矩阵—平衡矩阵—强矩阵 (项目经理权力的强弱)组织过程资产、事业环境因素。项目与项目集之间的依赖关系。不合规的项目就不应该做。控制型： 控制程度中。指令型： 控制程度高。
2024-09-02 14:42:18
347
原创 PMP核心知识点—之项目管理基础
项目效益管理计划描述了项目实现效益的方式和时间，以及应制定的效益衡量机制。项目集管理注重项目与项目以及项目与项目集之间的依赖关系，以确定管理这些项目的最佳方法。效益责任人（例如在计划确定的整个时限内负责监督、记录和报告已实现效益的负责人）；项目的商业价值指特定项目的成果能够为相关方带来的效益。合理的项目管理方法论需要考虑项目的独特性，允许项目经理做出一定程度的裁剪。实现效益的时限（例如阶段效益、短期效益、长期效益和持续效益）；，但并不能表示项目的周期短，项目的周期从几个月、几年到几十年都有。
2024-08-23 08:45:57
575
原创 数据治理—数据标准管理最佳实践
应结合企业IT系统的现状，以落地 应用为目的，以企业现行的各类国标、行标为基础，以对现有系统的影响 最小为原则编制和落地标准，这样才能确保标准切实可用，让数据标准最 终回归到业务应用中，发挥作用。企业需 要建立数据标准体系的持续更新机制和具备数据标准动态管理的数据治理 平台，实现数据标准版本的管理，便于持续维护改进，方便问题查找。在数据标准的贯彻和落地过程 中，应在业务部门、业务系统中循序渐进、迭代式地执行数据标准，并获 得管理层的充分支持、系统开发部门的大力配合，这样数据标准才能够切 实执行下去。
2024-08-22 13:53:43
517
原创 数据治理—数据标准管理
数据标准管理的实施绝非某一个部门的事情，企业的单一部门无法完成，需要从企业全局考虑，建立专业的数据治理组织，来主导数据标准的梳理和定义，并推动和监督数据标准的贯彻与执行。数据治理组织从职能上可以划分为3层设置数据标准管理委员会，主要负责制定企业数据战略， 把控数据治理的总体策略，审批数据标准发布，并考核数据标准的执行情况。设置IT组和业务组，IT组提供标准梳理和制定过程中的技术支持，业务组主要负责企业数据标准的梳理、制定、发布和贯彻。
2024-08-22 13:47:01
1345
原创 数据治理—主数据管理
主数据标准和管理制度构建完成后，企业就具备了搭建主数据管理平台的能力，通过平台进行标准和制度的落地，并进行主数据应用集成与开发，驱动主数据的全生命周期管理，从而确保主数据在组织内的准确性和一致性。分析式应用是在数据分析侧对主数据对象进行分析提炼，进入数据仓库和数据湖的数据中包含了主数据对象，经统一清洗、转换、集成，形成准确、一致的主数据集合，为分析型应用提供数据支撑。在主数据的应用上，主数据一般通过主数据管理系统集成到各个业务系统中使用，如图2所示为某制造企业的主数据集成关系示意图。
2024-07-15 14:20:16
1317
原创 Postgresql中常见的执行计划解释
PostgreSQL中的执行计划（或查询计划）是数据库管理系统用来详细说明如何执行特定SQL查询的一系列操作步骤。对于涉及多个表的查询，执行计划显示了表之间是如何连接的，比如使用嵌套循环连接（Nested Loop Join）、合并连接（Merge Join）或散列连接（Hash Join）等方法。如果你还想看到执行该查询时的实际运行时间和资源消耗，可以使用EXPLAIN ANALYZE，这将执行查询并提供更详细的执行统计信息。遇到复杂的语句跑不动，通过执行计划分析下会有好的优化方法。
2024-03-20 16:26:43
1282
原创 Python下载和处理GDELT 2.0 事件数据
gdlet每时每刻监控着每个国家的几乎每个角落的100多种语言的新闻媒体—印刷的、广播的和web形式的，识别人员、位置、组织、数量、主题、数据源、情绪、报价、图片和每秒都在推动全球社会的事件，GDELT为全球提供了一个自由开放的计算平台。
2024-03-15 13:42:28
2429
原创 Postgresql中触发器的使用
在这里，我们创建了一个名为update_employee_modtime的触发器，它在employees表上每次行被INSERT或UPDATE之前被触发。在PostgreSQL中，触发器是一种特殊类型的函数，它会自动在数据库上执行特定操作之前或之后触发。设计触发器时要考虑其对性能的潜在影响，尽可能优化触发器函数的代码。在上面的函数中，NEW是一个特殊的记录类型，它包含了触发器执行后的行的新值。触发器本身：这是触发器的定义，它连接触发器函数和一个表，并指定何时触发（例如，在INSERT之前、之后或代替）。
2024-02-28 17:54:53
1294
2
原创 Postgresql中VACUUM操作原理和应用
VACUUM操作在PostgreSQL中的底层原理涉及几个关键概念，包括MVCC（多版本并发控制）、事务ID包裹、以及垃圾回收机制。我们逐一解析这些概念，以及它们是如何与VACUUM操作相互作用的。
2024-02-28 09:36:23
1705
原创 Elasticsearch中Document Routing特性
Document Routing在Elasticsearch中是一种高级特性，它允许用户在索引文档时指定一个路由值。通过这种方式，可以确保具有相同路由值的所有文档都存储在同一个分片中。这对于提高查询效率特别有用，因为它允许查询只针对包含相关文档的特定分片，而不是整个索引。
2024-02-07 18:09:54
1252
原创 Elasticsearch的Index Lifecycle Management（ILM）
Elasticsearch的Index Lifecycle Management（ILM）功能提供了一种自动化管理索引生命周期的方式。ILM使得用户可以基于特定的条件（如索引的年龄、大小等）来自动执行如回滚、删除等操作，进而优化存储和提高查询性能。ILM主要包括四个阶段：Hot、Warm、Cold和Delete，每个阶段都可以自定义一系列的操作。
2024-02-06 10:32:25
1377
原创 Elasticsearch 中的索引的分区(Shards)和副本(Replicas)的使用
创建索引时指定分片和副本数当您通过Elasticsearch的REST API创建一个新的索引时，可以在请求体中使用settings部分来指定该索引的分片数（number_of_shards）和副本数（number_of_replicas）。
2024-02-06 10:22:40
4323
原创 Elasticsearch单个索引数据量过大的优化
当Elasticsearch（ES）中的单个索引（index）的数据量变得过大时，可能会遇到性能下降、查询缓慢、管理困难等问题。。
2024-02-06 09:58:05
2512
原创 Postgresql数据库存储过程中的事务处理
当一个存储过程（Procedure）内部调用另一个存储过程时，事务的处理方式依赖于几个关键因素，包括你的具体需求、PostgreSQL的版本以及是否使用了嵌套事务（在PostgreSQL中通常通过保存点（Savepoints）实现）。4. 回滚事务（ROLLBACK）：如果事务中的任何SQL操作失败，或者你出于某种原因需要撤销事务中的所有操作，你可以使用ROLLBACK命令来回滚事务。如果需要更细粒度的控制，或者在一个长的事务中部分地回滚到某个特定点，可以使用保存点（Savepoints）。
2024-02-04 14:59:53
2282
原创 POSTGRESQL中ON CONFLICT的使用
在 PostgreSQL 中，ON CONFLICT 子句是用在 INSERT 语句中的一种机制，它可以帮助你处理当插入操作遇到违反唯一性约束（比如唯一索引或主键约束）时的情况。使用 ON CONFLICT 子句，你可以指定当违反唯一性约束时应该采取的操作，比如忽略这个插入，或者更新已经存在的行。
2024-01-10 10:03:20
3434
原创 postgresql数据库中的建表和约束
comment on column pdw_sample_receive_item_t.id_card is '病例卡号';comment on table pdw_sample_receive_item_t is '数据仓库层_病历基本信息';另外注意postgresql数据库中大小写是敏感的；
2023-12-12 14:12:21
513
原创 postgresql中创建外表查询报错问题
42P01] ERROR: relation "order_info_t" does not exist 在位置：PL/pgSQL function lims.get_order_type_f(character varying) line 16 at SQL statement remote SQL command: SELECT count(*) FROM lims.sample_order_v。在B库创建外表指向A库的视图，A库的视图中使用了函数，并且函数中使用了表order_info_t，
2023-12-07 10:43:16
819
原创 ES7版本索引创建失败问题处理
The mapping definition cannot be nested under a type [_doc] unless include_type_name is set to true
2023-02-21 19:29:19
2885
原创 2022中国面向人工智能的数据治理行业研究报告
前言：数据与数据治理数据资产数字经济的“货币”，早已不限于数字形式“数据资产化”是企业发展的重要内涵。“数据”并不仅指以数字形式存储的信息，根据其特性及治理方法可以划分为内部数据与外部数据，结构化数据、非结构化数据与半结构化数据，元数据与主数据等。正在上传…重新上传取消数据爆发IT设施“扩容”、IoT广泛连接带来数据暴增数据时代来临，大量业务数据被采集、存储，以支撑企业数字化和创造经济效益。但很多企业早期的信息化建设缺乏统筹规划，导致数据孤岛，数据不规...
2022-05-19 21:47:47
2087
原创 数据仓库设计规范
1-为什么要有规范？俗话说的好，无规矩不成方圆，没有规范岂不乱套了? 老彭觉得，规范是为了解决团体作战中的效率和协同问题，是对最终交付质量的有力保证。工作中有没有遇到类似的问题？ 接到了一个需求，不知道该从那张表出数，表A貌似可以，表B好像也行。问了同事甲，他说他每次都是从C表出的。对着三张表探索了好久，发现谁跟谁都对不上，算了吧，我从源头再算一次吧，结果又变出来一张表D。 数据库里几千张表，好像我用到的也就那么十几张，其它的都是干啥用的呢，问了一圈没有人知道，删掉吧？更没有人敢动。
2022-05-19 10:37:04
2070
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人