- 博客(152)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 电脑输入账号密码后,屏幕黑屏只有鼠标解决办法
最近办公电脑出现了两次输入密码后,屏幕黑屏之后鼠标能动的问题,只能有手机查一些资料尝试自己解决,具体什么原因导致的暂时还不清楚。解决这个问题大概有两个方案吧，第一次黑屏用的第一个方案，第二次发现第一个方案不好用了就用的第二个方案。
2024-10-16 09:52:17
4656
原创 主数据深度剖析与实际应用
主数据是指在企业或组织中被广泛共享和重复使用的重要核心数据。它通常包括关键的业务实体和概念，如客户、产品、供应商、员工和账户等，这些数据在各种业务流程、系统和应用程序中被反复引用和使用。主数据的质量和一致性对于企业的业务运营和决策至关重要。主数据管理是一套综合的方法、工具和流程，用于确保企业核心业务实体数据（如客户、产品、员工等）的准确性、一致性、完整性、及时性和可用性。它涉及数据治理、质量控制、数据集成和数据分发等多个方面，旨在创建和维护企业范围内的单一事实来源。
2024-07-08 14:20:24
1763
原创 bug记录-XFTP传输中文文件夹乱码
今日想往服务器中同步一些脚本,脚本文件夹是中文命名的,用XFTP导入后发现文件夹名称是乱码的。所以我们只需要把XFTP会话的编码改为UTF-8就可以了。这样导入到linux就不乱码了。但是在XFTP上显示是正常的。首先点击文件-当前会话属性。设置UTF-8编码就可以了。
2024-06-28 11:50:12
482
原创 PostGIS教程学习二十二：使用触发器追踪历史编辑操作
生产环境下数据库的一个常见要求是能够跟踪用户编辑数据的历史：数据在两个日期之间是如何变化的，是谁操作的，以及它们哪些内容变化了？一些GIS系统通过在客户端接口中包含更改管理功能来跟踪用户的编辑数据操作，但这增加了客户端编辑工具的复杂性。使用数据库和数据库的触发器机制，可以对任何表进行编辑历史跟踪，从而让客户端保持对编辑表的简单“直接编辑”（客户端不用负责追踪编辑历史的功能，只负责CRUD）。历史跟踪的工作方式是增加一个记录编辑历史的历史表，为每个编辑操作保留历史记录。
2024-02-01 10:48:20
1130
原创 PostGIS学习教程二十一：最近领域搜索
一个常见的空间查询是：“距离一个要素最近的是哪些要素？与距离查询不同，最近邻域搜索（Nearest Neighbour Search）没有限制候选几何图形在什么范围之内，任何距离的要素都将被接受，只要它们是最近的。这引出了关于传统的索引辅助查询的一个问题，这些查询需要一个搜索框，因此需要某种测量值来限定这个框。执行最近邻域搜索的简单方法是按与要查询的几何图形的距离对候选表进行排序，然后获取最小距离对应的表记录。
2024-02-01 10:22:24
989
原创 PostGIS学习教程二十：3-D
对于3-D和4-D几何图形，额外的维度将作为几何图形中每个顶点的额外坐标添加，并且几何图形类型将得到增强，以指示如何解译额外的维度信息。构建索引后，可以在查询中使用&&&索引操作符，&&&和&&是相同的语义——边界框相交——区别在于，&&&使用几何图形的所有维度来应用这个语义。一般来说，N-D索引只比2-D索引执行速度稍慢一些，所以只使用N-D索引，因为N-D查询将提高查询的多维度选择性。要使用N-D索引搜索nyc_streets表，只需将&&2-D索引运算符替换为&&&3-D索引运算符。
2024-01-09 22:14:05
1481
原创 PostGIS教程学习十九：基于索引的聚簇
数据库只能以从磁盘获取信息的速度检索信息。小型数据库将完全位于于RAM缓存（内存），并摆脱物理磁盘访问速度慢的限制。但是对于大型数据库，对物理磁盘的访问将限制数据库的信息检索速度。数据是偶尔写入磁盘的，因此存储在磁盘上的有序数据与应用程序访问或组织该数据的方式之间不需要存在任何关联。加速数据访问的一种方法是确保可能在同一结果集中一起被检索的记录位于硬盘上的相近物理位置。这就是所谓的"聚簇（clustering）"。
2024-01-09 22:01:35
1122
原创 PostGIS学习教程十八：维数扩展的9交集模型
维数扩展的9交集模型-Dimensionally Extended 9-Intersection Model”（DE9IM）是一个用于建模两个空间对象如何交互的框架。首先，每个空间对象都具有：内部（interior)边界（boundary）外部（exterior）内部是以环为边界的里面的那一部分；边界是环本身；外部是边界外的一切。对于线性要素，内部、边界和外部不太为人所知:内部是以端点为界限的线的那一部分；边界是线性要素的端点；外部是平面中除内部和边界外的所有其他部分。
2024-01-05 21:36:30
1641
1
原创 PostGIS学习教程十七：线性参考
线性参考是一种表示要素的方法，这些要素可以通过引用一个基本的线性要素来描述。使用线性参照建模的常见示例包括：公路资产，这些资产使用公路网络沿线的英里来表示。道路养护作业，指在一对英里测量之间沿着公路网发生的作业。水产库存，其中鱼的存在位置被记录为距离上游的一段位置之间。河流的水文特征，以河流的某一个点到另一个点作为参考。线性参考模型的优点是，从属空间观测信息不需要与基准空间观测信息分开记录，对基础观测信息进行更新时，从属观测信息将自动更新从而追踪新几何图形。
2024-01-05 21:23:20
1153
1
原创 PostGIS学习教程十六：几何图形的相等
在处理几何图形时确定相等可能很困难。PostGIS支持三种不同的函数与操作符，可以用来确定不同级别的相等。为了说明这些函数和操作符，我们将使用以下多边形。
2023-12-26 22:16:29
378
原创 PostGIS学习教程十五：几何图形的有效性
对于多边形来说，有效性是最重要的，因为多边形定义了有界区域，需要很好的结构。线串非常简单，不会无效，点也不会无效。多边形有效性的一些规则很明显，而另一些规则是任意的。多边形的环必须闭合内环必须位于外环的内部环不能自相交（它们不能相互接触，也不能交叉）除了在某个点接触，环不能与其他环接触最后两条规则属于任意类别。定义多边形的其他规则也是自洽合理的，但是上面的规则是PostGIS所遵循的OGC SFSQL标准所定义的多边形有效性的规则。
2023-12-26 22:07:28
595
原创 PostGIS学习教程十四：更多的空间连接
在上一节中，我们看到了ST_Centroid(geometry)和ST_Union([geometry])函数，以及一些简单的示例。在本节中，我们将用它们做一些更详细的事情。
2023-12-22 23:02:18
362
原创 PostGIS学习教程十三：几何图形创建函数
目前我们看到的所有函数都可以处理已有的几何图形并返回结果：分析几何图形（ST_Length(geometry), ST_Area(geometry))几何图形的序列化（ST_AsText(geometry), ST_AsGML(geometry))选取几何图形的某个部分（ST_RingN(geometry, n))true/false测试（ST_Contains(geometry, geometry), ST_Intersects(geometry, geometry))
2023-12-11 22:55:32
666
原创 PostGIS学习教程十二：地理
坐标为"地理（geographics）“形式或者说是” 纬度（latitude）/经度（longitude）"形式的数据非常常见。与Mercator（墨卡托）、UTM（通用横轴墨卡托）、Stateplane中的坐标不同，地理坐标不是笛卡尔平面坐标（Cartesian coordinates）。地理坐标并不表示平面上与原点的线性距离，相反，这些球坐标描述了地球上的角坐标。在球坐标中，点由该点与参考子午线（经度）的旋转角度和该点与赤道的角度（纬度）指定。
2023-12-11 22:43:47
674
原创 PostGIS学习教程十一：投影数据
ST_SRID(geometry） —— 查看空间数据的坐标系ST_SetSRID(geometry，SRID） —— 设置空间数据的坐标系UpdateGeometrySRID(table_name, column_name, srid) —— 更新空间数据表的坐标系ST_Transform(geometry, srid) —— 转换空间数据的坐标系。
2023-12-07 21:47:53
538
原创 PostGIS学习教程十：空间索引
回想一下，空间索引是空间数据库的三个关键特性之一。空间索引使得使用空间数据库存储大型数据集成为可能。在没有空间索引的情况下，对要素的任何搜索都需要对数据库中的每条记录进行"顺序扫描"。索引通过将数据组织到搜索树中来加快搜索速度，搜索树可以快速遍历以查找特定记录。空间索引是PostGIS的最大价值之一。在前面的示例中，构建空间连接需要对整个表进行相互比较。这样做的代价很高：连接两个各包含10000条记录的表（每个表都没有索引）将需要进行100000000次比较；
2023-12-05 22:25:14
519
原创 PostGIS学习教程九：空间连接
空间连接（spatial joins）是空间数据库的主要组成部分，它们允许你使用空间关系作为连接键（join key）来连接来自不同数据表的信息。我们认为“标准GIS分析”的大部分内容可以表示为空间连接。在上一节中，我们通过两个步骤探索了空间关系：首先，我们提取了’Broad St（宽街）'的地铁站点；然后，我们用这个地铁站点来问更多的问题，如"'Broad St’站位于哪个社区？我们本可以把每个地铁站都连接到它所在的社区，但在这种情况下，我们只想知道其中一个地铁站的信息。
2023-12-05 22:12:19
544
原创 PostGIS学习教程八：空间关系
到目前为止，我们只使用了测量（ST_Area、ST_Length）、序列化（ST_GeomFromText）或者反序列化（ST_AsGML）几何图形（geometry）的空间函数。这些函数的共同之处在于它们一次只能处理一个几何图形。空间数据库之所以强大，是因为它们不仅能存储几何图形，而且还能够分析几何图形之间的关系。诸如"哪一个是离公园最近的自行车位？"或者"地铁线路和街道的交叉路口在哪里?"这样的问题，只能通过比较、分析表示自行车位、街道和地铁线路的几何图形来回答。
2023-11-30 21:53:53
1243
原创 PostGIS学习教程七：关于几何图形的练习
为了运行ST_NumInteriorRings()，我们需要将MultiPolygon几何图形转换为简单的多边形，因此，我们使用ST_GeometryN()从每个集合中提取第一个多边形。使用多多边形允许只有一种几何图形类型的表同时存储单（single-）几何图形和多（multi-）几何图形，而不必使用GeometryCollection类型。③纽约市（New York City）有多少个census blocks（人口普查块）多边形里有孔洞（内环）？（提示：空间数据的测量单位是米，每公里有1000米）
2023-11-15 22:09:29
608
原创 PostGIS学习教程六：几何图形（geometry）
在前面的章节中，我们已经往数据库中加载了数据，现在让我们来先看一些简单的例子。在pgAdmin中，再次选择nyc数据库并打开SQL查询工具。将下面的SQL代码粘贴到pgAdmin SQL Editor窗口中（删除默认情况下可能存在的任何文本），然后执行。上面的示例创建了一个表（geometries），然后向该表中插入5个几何图形数据（geometry）：一个点（POINT）一条线（LINESTRING）一个多边形（POLYGON）
2023-11-15 16:45:09
3078
原创 PostGIS学习教程五：简单的SQL语句
SQL，或"Structured Query Language-结构化查询语言"，是对关系数据库进行查询数据和更新数据的一种方法。查看PostGIS的版本信息。在前面的章节中，我们已经将数据加载到数据库中，现在让我们使用SQL来查询数据！例如：“查看纽约市所有社区的名字？通过单击SQL按钮在pgAdmin中打开SQL查询窗口：并点击执行查询按钮：查询将运行几毫秒并返回129个结果：但这个过程中到底发生了什么？
2023-11-15 09:12:55
484
原创 PostGIS学习教程四：数据
教程的数据是有关纽约市的四个shapefile文件和一个包含社会人口经济数据的数据表。在前面一节我们已经将shapefile加载为PostGIS表，在后面我们将添加社会人口经济数据。下面描述了每个数据集的记录数量和表属性。这些属性值和关系是我们以后分析的基础。要在pgAdmin中浏览表的性质或属性，请在高亮显示的表上单击鼠标右键，然后选择属性（property）。
2023-11-14 20:31:55
331
原创 PostGIS学习教程三：加载空间数据
你可能会问 —— “shapefile是什么？一个"shapefile"通常指带有.shp、.shx、.dbf和其他扩展名且前缀名称一致的文件集合。例如上面的nyc_census_blocks由以下几个文件组成：一个shapfile必须有的文件：.shp —— 存储地理要素的几何信息.shx —— 存储要素几何图形的索引信息.dbf —— 存储地理要素的属性信息（非几何信息）可选文件包括：.prj —— 存储空间参考信息，即地理坐标系统信息和投影坐标系统信息。
2023-11-14 20:12:14
665
原创 PostGIS学习教程二：PostGIS安装和创建空间数据库
在安装PostGIS前首先必须安装PostgreSQL，然后在安装好的Stack Builder中选择安装PostGIS组件。PostgreSQL安装文件下载地址是https://www.enterprisedb.com/downloads/postgres-postgresql-downloads这里使用的PostgreSQL版本是9.6。双击下载的文件，所有设置都使用默认设置即可，只是需要设置超级用户postgres的密码。
2023-11-13 14:02:12
1254
原创 PostGIS学习教程一：PostGIS介绍
PostgreSQL是一个强大的对象关系数据库管理系统（ORDBMS）。它是在BSD风格的许可下发布的，因此是自由和开放源代码的软件。和许多其他开源程序一样，PostgreSQL不是由任何一家公司控制、运维的，而是有一个由众多开发人员和公司组成的全球社区来开发它。PostgreSQL从一开始就考虑到类型扩展 —— 能够在运行时添加新的数据类型、函数和访问方法的机制。正因为如此，PostGIS扩展可以由单独的开发团队开发，但仍然可以非常紧密地集成到PostgreSQL数据库中。
2023-11-13 10:29:41
1010
原创 Flink从入门到精通之-12Flink CEP
Flink CEP 是 Flink 对复杂事件处理提供的强大而高效的应用库。本章中我们从一个简单的应用实例出发，详细讲解了 CEP 的核心内容——Pattern API 和模式的检测处理，并以案例说明了对超时事件和迟到数据的处理。最后进行了深度扩展，举例讲解了 CEP 的状态机实现，这部分大家可以只做原理了解，不要求完全实现状态机的代码。CEP 在实际生产中有非常广泛的应用。对于大数据分析而言，应用场景主要可以分为统计分析和逻辑分析。
2023-05-31 10:52:48
960
原创 Flink从入门到精通之-10容错机制
Flink 作为一个大数据分布式流处理框架，必须要考虑系统的容错性，主要就是发生故障之后的恢复。Flink 容错机制的核心就是检查点，它通过巧妙的分布式快照算法保证了故障恢复后的一致性，并且尽可能地降低对处理性能的影响。本章中我们详细介绍了 Flink 检查点的原理、算法和配置，并且结合一致性理论与Flink-Kafka 的实际互连系统，阐述了如何用 Flink 实现流处理应用的端到端 exactly-once 状态一致性。
2023-05-15 17:49:44
1195
原创 Flink从入门到精通之-09状态编程
Flink 处理机制的核心，就是“有状态的流式计算”。我们在之前的章节中也已经多次提到了“状态”（state），不论是简单聚合、窗口聚合，还是处理函数的应用，都会有状态的身影出现。在第一章中，我们已经简单介绍过有状态流处理，状态就如同事务处理时数据库中保存的信息一样，是用来辅助进行任务计算的数据。而在 Flink 这样的分布式系统中，我们不仅需要定义出状态在任务并行时的处理方式，还需要考虑如何持久化保存、以便发生故障时正确地恢复。这就需要一套完整的管理机制来处理所有的状态。本章将从状态的概念入手，详细介绍
2023-05-12 16:55:41
685
原创 Flink从入门到精通之-08多流转换
无论是基本的简单转换和聚合，还是基于窗口的计算，我们都是针对一条流上的数据进行处理的。而在实际应用中，可能需要将不同来源的数据连接合并在一起处理，也有可能需要将一条流拆分开，所以经常会有对多条流进行处理的场景。本章我们就来讨论 Flink 中对多条流进行转换的操作。简单划分的话，多流转换可以分为“分流”和“合流”两大类。目前分流的操作一般是通过侧输出流（side output）来实现，而合流的算子比较丰富，根据不同的需求可以调用 union、connect、join 以及 coGroup 等接口进行连接合
2023-05-05 10:16:55
502
原创 Flink从入门到精通之-07处理函数
Flink 拥有非常丰富的多层 API，而底层的处理函数可以说是最为强大、最为灵活的一种。广义上来讲，处理函数也可以认为是 DataStream API 中的一部分，它的调用方式与其他转换算子完全一致。处理函数可以访问时间、状态，定义定时操作，它可以直接触及流处理最为本质的组成部分。所以处理函数不仅是我们处理复杂需求时兜底的“大招”，更是理解流处理本质的重要一环。
2023-04-26 15:13:09
440
原创 Flink从入门到精通之-06Flink 中的时间和窗口
在事件时间语义下，我们不依赖系统时间，而是基于数据自带的时间戳去定义了一个时钟，用来表示当前时间的进展。于是每个并行子任务都会有一个自己的逻辑时钟，它的前进是靠数据的时间戳来驱动的。但在分布式系统中，这种驱动方式又会有一些问题。因为数据本身在处理转换的过程中会变化，如果遇到窗口聚合这样的操作，其实是要攒一批数据才会输出一个结果，那么下游的数据就会变少，时间进度的控制就不够精细了。另外，数据向下游任务传递时，一般只能传输给一个子任务（除广播外），这样其他的并行子任务的时钟就无法推进了。
2023-04-21 09:04:50
777
原创 Flink从入门到精通之-05 DataStream API
大多数情况下，前面的数据源已经能够满足需要。但是凡事总有例外，如果遇到特殊情况，我们想要读取的数据源来自某个外部系统，而 flink 既没有预实现的方法、也没有提供连接器，又该怎么办呢？那就只好自定义实现 SourceFunction 了。接下来我们创建一个自定义的数据源，实现 SourceFunction 接口。主要重写两个关键方法：run()和 cancel()。⚫ run()方法：使用运行时上下文对象（SourceContext）向下游发送数据；
2023-03-30 16:25:53
369
原创 Flink从入门到精通之-04Flink 运行时架构
要解答这个问题，我们需要先梳理一下其他框架分配任务、数据处理的过程。对于 Spark而言，是把根据程序生成的 DAG 划分阶段（stage）、进而分配任务的。而对于 Flink 这样的流式引擎，其实没有划分 stage 的必要。因为数据是连续不断到来的，我们完全可以按照数据流图建立一个“流水线”，前一个操作处理完成，就发往处理下一步操作的节点。
2023-03-30 10:38:10
571
原创 Flink从入门到精通之-03Flink 部署
Flink 支持多种不同的部署模式，还可以和不同的资源管理平台方便地集成。本章从快速启动的示例入手，接着介绍了 Flink 中几种部署模式的区别，并进一步针对不同的资源提供者展开讲解了具体的部署操作。在这个过程中，我们不仅熟悉了 Flink 的使用方法，而且接触到了很多内部运行原理的知识。关于 Flink 运行时组件概念的作用，以及作业提交运行的流程架构，我们会在下一章进一步详细展开。
2023-03-29 10:08:49
589
原创 Flink从入门到精通之-02Flink 快速上手
本章主要实现一个 Flink 开发的入门程序——词频统计 WordCount。通过批处理和流处理两种不同模式的实现，可以对 Flink 的 API 风格和编程方式有所熟悉，并且更加深刻地理解批处理和流处理的不同。另外，通过读取有界数据（文件）和无界数据（socket 文本流）进行流处理的比较，我们也可以更加直观地体会到 Flink 流处理的方式和特点。这是我们 Flink 长征路上的第一步，是后续学习的基础。有了这番初体验，想必大家会发现 Flink 提供了非常易用的 API，基于它进行开发并不是难事。
2023-03-27 14:36:40
674
原创 Flink从入门到精通之-01初识 Flink
Flink 是第三代分布式流处理器，它的功能丰富而强大。本章作为学习 Flink 的入门和综述，主要介绍了 Flink 的源起和应用，引出了流处理相关的一些重要概念，并通过介绍数据处理架构发展演变的过程，为读者展示了 Flink 作为新一代分布式流处理器的架构思想。最后我们还将 Flink 与时下同样火热的处理引擎 Spark 进行了对比，详细阐述了 Flink 在流处理方面的优势。
2023-03-10 17:56:53
743
原创 数据之道读书笔记-10未来已来：数据成为企业核心竞争力
数字化转型不能一蹴而就，数据治理也不是一朝一夕之功。数字化转型带来机遇的同时，也给整个企业的数据治理带来了新的挑战。基于对华为公司数字化转型的解读，我们建立了数据综合治理体系，发布了信息架构，构建了数据湖、数据底座，打造了数据感知、安全合规能力，提升了数据质量。但是，在数据成为新的生产要素，数据成为企业核心竞争力的情况下，未来已来，面对这样一个新的、复杂的内外部环境，非数字原生企业在数据治理的问题上，做了哪些思考？我们应当如何应对？数字化变革改变了人们看待数据的方式。数据不再仅仅被视为商业活动的副产品，而是
2022-12-06 18:57:58
673
原创 数据之道读书笔记-09打造“安全合规”的数据可控共享能力
在企业进行数据治理，开展数据底座建设工作之前，用户经常面临的一个问题：使用数据做分析洞察的时候找不到数据，数据分散，或数据获取困难。为了消除数据“孤岛”，我们构建了公司统一的数据底座，汇聚、联接大量的企业数据。但是，大量的数据汇集在一个湖中，如何在内外部合规的基础上，确保业务能够迅速获得所需数据，可控共享。这是企业在数字化转型过程中面临的共同问题，数据资产作为企业的核心战略资产，作为生产要素，锁在独立硬盘中是发挥不了价值的，那么，如何让数据在安全合规的前提下最大程度地发挥价值？这是数字化转型中的关键问题，如
2022-12-05 18:54:45
532
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人