fmechina的博客

前几天一位老用户遇到了关于从数据库中提取生成CAD文件时如何将属性带出的问题。在这里我们提供了两种方式将GIS数据转换为带扩展属性的CAD文件。

利用FME SERVER创建自动更新任务，FME SERVER可以部署计划任务，将需要计划执行的模板配置模板参数与自动执行计划，FME SERVER即可以自动执行模板，将CDC同步更新模板作为计划任务部署在FME SERVER中就可以实现PostgreSQL数据库的自动同步更新。PostgreSQL具备触发器功能，能够将触发器功能进行触发激活，对指定的数据表进行实时监听，按照监听指令将“增删改”数据记录到新的变化记录表中。主要的缺点因为需要全库数据比对，对数据库的性能是有很大的影响的。

以时空大数据为核心建立时空大数据平台，作为数据中台，将地方政府各部门各行业的政务、自然资源、规划、交通、水利、管网、人口、经济、人文、社会、医疗、教育、电力、公安等数据汇聚在通用时空大数据平台上，使之成为新型智慧城市的“智脑”。确保基础数据的高质量、高现势性，才能保障基于数据搭建的时空数据平台、智慧城市、实景三维等前端数据展示的高效发展，为地理信息产业的发展及转型提供数据基础。依据数据汇交标准归整数据，建立数据改造自动化处理工具，解决图属错误、内容矛盾冲突等数据质量问题，保障数据改造成果正确性。

数据往往是凌乱的，它分散在不同的系统和格式中，被困在旧程序或无法利用的格式中，并且充满了错误。“整理”数据的形容是准确的，因为管理不同的系统并将数据转换为有用的东西会让人感到杂乱无章。数据整理的第一步是收集数据，检查数据并了解数据。例如，在下面的数据集中，我们可以看到数据集包含不一致的日期格式，以及一些null值。例如，在上述的数据集中，日期格式不一致，FME的“DateTimeConverter”转换器可以自动格式化日期-时间值，从而轻松标准化文件中的所有日期（例如，将所有日期转换为ISO日期）。

如此，我们可以着眼于“三调”数据的统计了。对于多个表格的统计，我们可以添加多个excel的读写模块，一个一个地统计表格并写出。但是由于各个表格之间的统计过程有一定的相似性，我们可以合并中间相似过程，以提高模板的可维护性，并考虑用一个excel写模块完成上述统计。对第三个问题，由于不同的表格对应的列数不同，列的属性不同，我们在写出时，需根据不同的表写出对应的列。针对“三调”的统计，还有一个不可忽略的问题是各地类数据，各镇、村汇总数据，保留两位小数后，需要做面积平差，这可根据不同的平差要求做相应的处理。

区别于传统的FME Desktop和FME Server应用模式，利用FME Desktop制作模板，将模板发布到FME Server中，使用HTTP协议提供统一接口服务，将数据质检服务和格式转换服务集成到业务系统环境中，加快工程建设项目申报流程，提高线上业务办件效率。数据质检规则中将质检项目、数据容差、质检图层、格式转换映射关系、值域控制等内容通过配置文件方式配置，减少模板修改，方便用户维护，当业务需求发生变化，可通过修改配置文件方式对质检规则进行修改，提高因需求变化而引起的模板修改效率。

对目前AOI数据获取接口进行分析不难发现，想要从AOI接口中获取到相应的数据，必须提供uid参数，通过分析可知AOI接口需要的uid参数与对应POI中记录的参数一致。1 输入数据24条，输出数据仅20条，说明数据并未完全处理，可进行必要优化，优化POI返回uid挂接正确性，并且考虑对未处理的数据进行循环处理。对POI获取路径返回的多个数据进行分析，数据中最开始返回的数据匹配度最高，往后逐步降低。通过上一步返回的uid成果，动态合并AOI数据提取链接，自动提取AOI兴趣面数据信息，返回json数据成果。

三区三线”是根据城镇空间、农业空间、生态空间三种类型的空间，分别对应划定的城镇开发边界、永久基本农田保护红线、生态保护红线三条控制线的简称。图 1“三区三线”概念示意图以承载城镇经济、社会、政治、文化、生态等要素为主的功能空间。以农业生产、农村生活为主体的功能空间。指具有自然属性、以提供生态服务或生态产品为主的功能空间，包括森林、草原、湿地、河流、湖泊、滩涂、岸线、海洋、荒地、荒漠、戈壁、冰川、高山冻原、无居民海岛等。

不动产数据汇交则是地方不动产登记数据库按照不动产汇交标准进行转换，每年需要多次汇交，不动产登记数据库虽每天都在变化，但其格式统一，只是数据发生变化，是否能够在需要汇交数据时一键导出汇交包，直接完成本地不动产登记数据库转汇交格式。基于FME实现不动产数据一键导出自然资源部汇交格式，FME对于我们处理数据或转换数据格式来说是一款非常不错的软件，零代码，图形化定义数据处理流程，数据格式和处理过程分离，大数据的处理能力，自动化数据处理，处理数据模型可重复使用等优点，是提升工作效率，流程化处理数据的利器。

引起的，它定义了反射的颜色。容差越大，过滤掉的输入点就越多，构建表面模型的速度也就越快。城市模型样式的能力为数据可视化提供了强大的工具，它可以快速识别出一组建筑物在某些给定属性上与另一组建筑物的不同。通过创建两种截然不同的样式来演示各种颜色参数的效果：明亮而有光泽，几乎像玻璃一样的外观和低反射的暗哑光色。不同的纹理可以作为建筑物的外观，而不是单一的颜色。正射影像中的外观纹理添加到地形中，然后根据高度设置建筑物的样式，最后输出为。模型表面颜色的细节，包括其对照明的反应，也可以定义表面的纹理。

在一些项目中有时候需要对文件目录完整性进行检查，而需要检查的数据又是压缩包的形式。我们都知道FME可以直接读取压缩包里的文件，当通过FME FeatureReader转换器去读取路径时，发现压缩包里面的空文件夹读取不出来，就想着去解压，但又不想去解压多个压缩文件，就想通过FME在模板中调用系统命令实现批量解压缩。然后就各种查找网上的资源来实现，比较悲哀的是，我使用的2021（beta21816）版本一直无法实现且不报错（其他版本可以实现Systemcaller）。

房产分层分户、房屋建筑等数据，其空间数据的生产平台多是在各类CAD软件以及基于CAD软件开发的二次开发的湘源、房产测绘等软件上。当数据生产完成后，为满足后期办证、下发的需求，需提供无需再次编辑及修改的PDF格式数据成果。原始CAD中通过不同方式存放输出PDF不同页数据，首先通过FME读取CAD数据，通过对数据分析获取需要输出PDF不同页的范围，以确保批量提取正确数据到PDF文件中。通过上述方法，不同页PDF输出为不同的PDF文件，通过FeatureReader转换器批量读取所有PDF，合并为统一文件输出。

我们在FME相关的技术推广普及中都会提及到一个词“快进快出”，FME是一个数据处理的流程，每一个模板都是经历数据“从左向右”的流水线模式，上一个节点任务完成后才能进行下一个节点任务。将各个工艺环节进行连通，形成工艺上的衔接，这样就可以避免因为工艺衔接而导致的模板功能的无法使用，减少意外情况的冗余开发。需要将其发布到地图服务。实际上，FME常规的分割栅格方案对这个巨大的栅格进行分割也是必然会失败的，因为FME在现有硬件条件下也无法一次性完全将这个超大的Tif读取出来，最终会因为内存溢出而失败。

提供数据以JSON格式返回，在FME中通过“HTTPCaller”+“JSONFragmenter”的方式即可从高德地铁接口中提取到地铁站点信息，解析出JSON格式中存储的坐标经纬度信息，并通过“VertexCreator”即可将数据处理为空间点。根据以上数据关系，通过“AttributeCreator”中“Enable Adjacent Feature Attributes”（邻近数据处理）参数，获取到数据的上一站、下一站、换乘站信息。仅需输入起终点名称，系统自动处理，获取地铁路径规划最短路线。

时间控制因子”可以清楚判断数据的时效，但记录时间的精度有限，一般记录的时间精确到“秒”，有时甚至是“小时”或者“天”，这样数据记录的时间必然会有重复情况。更新控制因子是数据现势性的判断者，是为了区分数据的现势性情况，避免数据出现重复或者遗漏而确定的一个临界值，是随着更新变化的一个值。完成更新模板的搭建后，利用FME Server可以实现模板的自动运行，在此之前应先确定各数据源的更新频率及模板第一次运行的开始时间，以便在源数据更新后及时准确的更新增量数据。自然，主键的值小于“主键控制因子”为旧数据。

毕竟，如果没有数据集成平台，即使是最普通的业务报告也意味着手动处理所有来源，编写代码或自动将数据传输到数据库，以及费力的系统化，由此产生的混乱。虽然大多数数据集成解决方案专门用于解决一组特定问题，例如在CRM之间传输记录，但FME允许进行所有可能的数据操作，以做出数据驱动和及时的决策。数据智能方法将使您的公司与领先的业务组织保持一致，而数据授权的员工将跟上新时代的挑战。这似乎是显而易见的，这个问题主要围绕着过时的数据、由不同的代理商手动输入的不相关的独特格式数据等方面，这使得数据的集成变得难以实现。

利用同样的原理我们也可以通过某些提交的word清单中的文件是否提交完整了，相应页数是否符合要求，做一些目录结构和完整性检查，例如下图就是客户提交的word文件清单和对应的成果文件，我们可以利用上面的方法，结合FME的Directory and File Pathnames读取目录结构，完成检查，时间关系，此处不再累述了。（3）我们在另存word文档的时候对应了很多格式，其中pdf、html、xml等FME都有对应的读模块去解析，因此我们只需要找到python中对应关系即可，具体的代码映射如下图。

在本文中，您将学习如何在FME（2019.0及以上版本）中安装CesiumIonConnector转换器 ，验证Cesiumion Web服务，并将数据上传到您的Cesiumion帐户。

为了更好的掌握每一年度的国土利用变化是否符合本地区的实际情况，分析统计各种地类流向是一种常用手段。但历年的变更调查会反复修改多次，形成众多版本的数据，这使得流向分析变得重复且繁琐。我们会想——如果能根据每次的数据自动统计出流向就好了！

本篇文章是基于FME软件与各地关于新型基础测绘转换软件研发技术交流而形成一些个人经验，涉及到的数据情况及相关规则较为简单，仅作为处理存量测绘成果数据转换地理实体的一种解决方案。实际情况可以根据存量测试成果详细情况及地理实体库的标准进行修改调整完善。

批处理方法2：命令文件

批处理方法1：命令行或批处理文件

随着电子海图系统在船舶上的逐步普及，越来越多的人开始关注并加入到电子海图相关标准及系统的研究。为了更好地服务于国内相关行业单位和从业者，北京世纪安图数码科技发展有限责任公司作为FME的国内总代理，于2021年年底引入了“S-57 For FME”插件的销售代理。

针对以大比例尺数字线划地图中道路边线为数据源进行电子地图道路中心线快速提取的应用需求，提出了一种基于FME的电子地图道路中心线自动提取方法。该方法首先利用道路边线节点集构建Delaunay三角网，然后对构建的Delaunay三角网进行拓扑构面并对所构面单元进行融合处理，最后通过融合道路面自动提取道路中心线并对提取的中心线进行修复优化。并以福州市全市域1:2000数字线划地图中道路边线自动提取道路中心线为例，通过对不同类型道路边线进行分类提取应用实践，为电子地图道路中心线的自动提取应用提供了具体经验借鉴。

更换遗留系统需要多名具有高IT、数据或软件知识和技能的员工，他们可以规划从遗留系统的过渡。对于尚未收回对现有遗留系统初始投资的企业来说，更换遗留系统的成本可能太高。升级或更换遗留系统需要大量前期投资，而在遗留系统仍能满足当前需求的情况下，企业对此并不感兴趣。当您从旧系统或模型（如遗留系统）迁移到新系统时，格式映射很有帮助——这是数据迁移的重要优势。新系统可能无法满足遗留系统所具备的某些技术规格，尤其是使用企业现有的技术和硬件。随着技术的进步，遗留系统将会过时，并且成为企业集成新系统的绊脚石。...

通过对大型数据集的动态控制，可以实现更高的数据质量和更低的存储成本。这将帮助管理员确保资源分配给最重要的任务，决定是否增加或重新分配可用引擎的数量，同时可以对FME Server的使用有更多的控制。根据大家的需求，FME Server用户和管理员现在可以查看到谁访问和运行了经过身份验证的工作区应用程序。用户还可以使用与组织管理的其他站点和服务相同的FME Server凭据，而不是单独的用户名和密码。和往常一样，我们对现有的转换器、读模块和写模块进行了改进，比如更好的性能、功能和易用性。...

政务数据交换共享解决方案：”打破数据孤岛 让数据成为资产”。借助于FME可以更为高效、自动、批量化的完成这一流程。

网络数据获取之前发过两篇文章1.《FME在网络数据获取方面的应用——发送网络请求》https://blog.youkuaiyun.com/fmechina/article/details/116233682?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165355358516781435445130%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&a

什么是大地测量数据？微软的SQL Server存储空间数据。数据存储方式有两种：几何和地理，也称为平面和大地测量空间类型。换句话说，平面类型是数据在理论上的存在，就像在完全平坦的图表纸上一样，而大地测量类型是数据在现实生活中的存在。这也称为大地测量数据，包括大地测量方位或大地测量相对位置。在此空间类型中，SQL Server把地球假设为笛卡尔平面相比的圆形地球来执行所有计算。空间数据存储在大地坐标（也称为大地测量方位或相对位置）中是很常见的。这种类型的空间数据包括纬度、经度，可能还包括某种高程。某些软件

什么是数据可视化，为什么它很重要？数据可视化是将数据转换为图形表示的过程，可帮助我们更有效地理解数据。它使我们能够以更快的速度了解数据中的异常值，模式和趋势。强大的数据可视化功能可帮助个人和企业更有效地分析其数据，从而获得有价值的见解，从而做出更明智的决策。数据可视化工具使我们所有人都可以访问此过程，并使分解大数据的复杂任务变得更加容易。一、数据可视化的类型有哪些？有许多不同的方法可以可视化数据。从条形图、饼图、散点图到地图、直方图等，查看数据的方法有很多种！虽然数据可视化的类型如此..

一、基本原理测量平差是德国数学家高斯于1821～1823年在汉诺威弧度测量的三角网平差中首次应用，以后经过许多科学家的不断完善，得到发展，测量平差已成为测绘学中很重要的、内容丰富的基础理论与数据处理技术之一。图一 三角网平差由于测量仪器的精度不完善和人为因素及外界条件的影响，测量误差总是不可避免的。为了提高成果的质量，处理好这些测量中存在的误差问题，观测值的个数往往要多于确定未知量所必须观测的个数，也就是要进行多余观测。有了多余观测，势必在观测结果之间产生矛盾，测量平差的目的就在于消除.

现如今，许多企业管理着大量入库的数字数据（无论是单位内部还是外部生成的）。FME Server 提供了简化的方法来自动验证必须遵守某些业务规则的CAD或其他数字数据文件。例如，调查计划必须符合特定条件，然后才能提交给政府机构。FME Server在数字数据提交验证解决方案方面发挥了重要作用。经过验证的各种业务规则表明，FME Server的数字数据检查功能可以从验证调查计划扩展到检查任何形式的传入数字数据（例如工程/建筑CAD图纸，TIFF，PDF，电子表格）。FME的读模块，写模块和转换器允许

许多从事ArcGIS格式数据的用户使用FME来处理数据验证、格式转换和数据转换。这些基本上都发生在将数据迁入和迁出其系统时。但是，必须在运行FME的计算机上安装ArcGIS并授予许可，FME中的基于Esri的读取器和写入器（如企业级地理数据库格式）才能正常工作。这在FME Desktop上效果很好。客户通常会安装ArcGIS Pro等内容以便在本地使用。这使得与FME共享许可证变得容易。但是，如果您使用的是FME Server，这可能会变得比较复杂。在这里，将介绍FME Server及其引擎如何工作的基

随着时间的推移，我电脑上的文件越来越多，但是我电脑的磁盘空间又很小（只有一个512G的固态硬盘），因此不得不经常将电脑上的文件备份到我的移动硬盘中，然后删除暂时不需要的文件，以此来腾出多余的存储空间。可手动备份了几次之后感觉这样操作实在是太过麻烦，渐渐的又懒得去备份了。直到有一天突然灵光一现：为什么不用FME来帮我实现文件自动备份呢？想到这里突然兴奋了起来，说干就干！第一步：制作文件备份模板首先利用FME Workbench搭建一个文件备份的模板，这个模板比较简单，实现的原理主要是利用“Direct

空间数据和空间数据库的价值超越了地图和可视化。空间数据是可推动数据库管理者做出明智决策的另一种信息数据。借助空间数据，您可以做出更好的决策并改进分析。空间数据是一个用于描述包含有关地球上特定位置或区域信息的数据的术语，（也称为地理空间或地理数据）。空间数据会为您的组织提供竞争优势。在现在和不久的将来，空间数据正变得至关重要。未来几代人的决策系统将由来自5G、传感器和物联网（IoT）的海量空间数据决定。作为FME的创建者，FME是唯一具有全面空间数据支持的企业集成平台，我们时常在使用空间数据和数据库。

随着激光雷达传感器出现在智慧城市、无人机、电影制作、汽车、手机等领域，点云数据自我上次在2013年发表相关文章以来已经有了显著的发展，我觉得现在是时候重新审视这种了不起的数据类型了。现如今，点云通常以毫米级的精度来表现景观、建筑、物体等.点云密度更大，质量更高，而且无处不在。你会发现激光雷达扫描仪遍布许多行业，从航空航天、电信到公用事业。让我们看看世界各地的公司是如何使用激光雷达的，以及如何使用数据集成工作流来转换、绘制和处理点云数据。我们将讨论4个主要领域:·将点云与其他数据集成，例如...

介绍在 FME 中，有许多方法可以操作 JSON 来提取所需的数据。在本文中，我们将涵盖三种不同的转换器，并突出其用途：JSONFlattener、JSONExtractor和 JSONFragmenter。在第一个例子中，我们将使用JSONFlattener和JSONExtractor从天气源数据中通过JSON API获取天气信息。在第二个示例中，我们将使用"JSONFragmenter"将JSON 文件将其分开存储到包含多个记录的单独属性中。分步说明第 1 部分：读取简单消息我们..

前言在本文中，我们将详细介绍如何使用JSONTemplater和文本写模块来编写嵌套的JSON。基本模式是读取数据(在这种情况下，JSON没有几何图形，但可以是FME中的任何数据)，使用JSON模板程序创建包含具有嵌套结构的JSON的FME属性，然后将JSON属性写入文本文件。我们使用的是文本文件写模块而不是JSON写模块，因为在FME中，当您想直接写出属性的内容时，您都会使用文本文件写模块。JSONTemplater使用一种模板方法来编写嵌套的JSON(非常类似于XML模板器)。模板表示数..

一、关于FME的Python环境的简单介绍原本是想写一下关于爬虫的第三篇文章的，不过由于准备资料太麻烦。刚好最近手头有很多关于python方面相关的东西。遇上我就偷了个懒，先简单的讲一讲FME当中的Python环境吧。二、讲在最前面，丢不掉的Python2.7首先，最重要一句要讲在前面。在2020版本之后的版本中，FME默认已经不在安装Python2.7环境。经常有小伙伴在使用过程中遇到问题，花费大量时间排查来排查去，最后尴尬的发现，自己没有装Python2.7。虽然已经不推荐使用Pyt

企业集成解决了企业难以自由共享数据的两个主要问题：1. 数据存储的格式或存储的系统多样，可能限制了用户的访问权限。2. 数据具有复杂性，需要专业的知识来系统的指导或理解数据本身。数据集成和应用程序集成有助于使信息在物理上易于访问和理解，但对许多企业来说，全面的企业集成是一项艰巨的任务，因此，自动化开始发挥出至关重要的作用。自动化是构建一个任务或服务的过程，且该任务或服务以尽可能少的人为干预方式运行。无论是几个人或者上百、上千人的团队，运用自动化的能力对企业的成长至关重要。为什么要自动化？..