
FME使用技巧
文章平均质量分 73
fmechina
FME中文官方博客
展开
-
FME如何采集肯德基中国的所有门店地址(二)
2016-09-09 11:34:49作者:雷中华参考上文:FME如何采集肯德基中国的所有门店地址(一)PythonCreator与PythonCaller在上文(一)中介绍了借助PythonCreator,从种子地址出发,经过BeautifulSoup分析网页和urllib2的PostRequest获取肯德基门店名称、地址、特色服务的Json串。这里,把PythonCreato...原创 2018-08-03 15:59:52 · 885 阅读 · 0 评论 -
用FME写word
原文发布时间:2014-12-03 10:48:40翻译:糖糖这篇文章作者讲述了如何用FME写出word,包括对表格、图形、统计分析的插入等等,这里是原文出处和模板下载欢迎来到FME版的word!使用下面这些转换器你就可以在FME中写内容丰富又复杂的word文档了!这个功能的主要目的是让非FME专家也能丰富写出并容易读取日志文件。EEA(欧洲环境局)从各个国家分发数据到我们这里...原创 2018-08-02 10:29:07 · 3984 阅读 · 0 评论 -
如何动态设置属性进行扇出
原文发布时间:2014-11-27 09:23:22原创:小新工作空间以及数据下载邮箱:zhuxx@antu.com.cn扇出是FME中很常用的一个功能,尤其在批量输出图层或数据文件时,能够根据用户的设置自动生成对应的图层或文件。通常我们是根据固定的属性进行扇出,得到需要的结果,如果希望扇出的时候,可以选择属性进行扇出,如何实现呢?好像是从FME2013开始在发布参数类型中增加...原创 2018-08-02 10:10:10 · 4904 阅读 · 0 评论 -
FME如何采集肯德基中国的所有门店地址(三)
原文发布时间:2016-09-09 11:44:26作者:雷中华 参考上文:FME如何采集肯德基中国的所有门店地址(一)问题分析 FME如何采集肯德基中国的所有门店地址(二)Python、HttpCaller获取门店Json Json分析前面步骤获取到肯德基店面信息的Json信息串,用Notepad++的JsonViewer分析,结构如下: ...原创 2018-08-06 16:54:50 · 660 阅读 · 0 评论 -
FME如何采集肯德基中国的所有门店地址(四)
原文发布时间:2016-09-09 11:55:11作者:雷中华 参考上文:FME如何采集肯德基中国的所有门店地址(一)问题分析 FME如何采集肯德基中国的所有门店地址(二)Python、HttpCaller获取门店JsonFME如何采集肯德基中国的所有门店地址(三)Json处理 收尾经过前面三篇文章,已经解析到了肯德基每一个店面的名称、地址、特色服务等。作为G...原创 2018-08-06 16:51:25 · 362 阅读 · 0 评论 -
FME如何采集肯德基中国的所有门店地址(五)
原文发布时间:2016-09-09 12:07:55作者:雷中华 参考上文:FME如何采集肯德基中国的所有门店地址(一)问题分析 FME如何采集肯德基中国的所有门店地址(二)Python、HttpCaller获取门店JsonFME如何采集肯德基中国的所有门店地址(三)Json处理FME如何采集肯德基中国的所有门店地址(四)地理编码 完全无编码实现整个信息采集整理...原创 2018-08-06 16:45:48 · 668 阅读 · 0 评论 -
正则在FME中的应用
原文发布时间:2017-04-24 15:29:08作者:文刀木工 青前言不知不觉间,使用FME已有两年多的时间,在这期间,FME带给了我无数惊喜,最新版本的FME2017的界面也让人非常喜欢。本文将结合几个常用的转换器,探讨一下在FME中使用正则表达式的方法。Tester在使用FME的这个转换器的时候,我喜欢使用tester中的正则表达式,并且貌似从2016开始Matc...原创 2018-08-06 16:41:13 · 1176 阅读 · 0 评论 -
CSV转Shape
原文发布时间:2017-05-02 14:43:08作者:文刀木工 青前言闲来无事,再来一发关于FME应用技巧的文章,文中不足之处还请指正。废话不多说,要进入正题了。模板概述首先看下模板的整体概览: 本模板的大致思路是这样的:a) 读入以固定分隔符分隔的文本数据读入(如果源数据中的数据不是以固定分隔符进行分隔,则可以先进...原创 2018-08-06 16:37:52 · 1976 阅读 · 0 评论 -
通过HTMLExtractor向HTML要数据
原文发布时间:2017-05-08 09:29:07西安市国土资源信息中心 李博如何不断扩充数据中心的数据规模,提升数据挖掘的价值,这是我们思考的问题,数据一方面来自于内部生产,一部分数据可以来自于互联网,互联网上的数据体量庞大,形态多样,之前blog里很多FMEer已经提出了方案,比如json,xml,正则表达式等等,但对于比较松散的HTML如何进行数据解析提取呢?我问了一下度娘,貌似没...原创 2018-08-06 16:35:43 · 381 阅读 · 0 评论 -
FME日志分析(二)
原文发布时间:2014-11-05 09:37:00作者:一峰相关链接:FME日志分析(一)在上一节我们介绍了日志的结构组成,每个部分记录什么内容,这一节继续介绍日志的性能分析。日志和性能指标让我们来看看一些具体的性能指标,我们如何在日志中识别并且如何改善它。日志计时有趣的是,日志统计的时间是实际转换所消耗的时间,它并不包括等待其他进程所需要的时间。例如,以下日志时...原创 2018-08-01 17:23:46 · 945 阅读 · 0 评论 -
FME日志分析(一)
原文发布时间:2014-11-03 09:55:56作者:一峰理解和分析FME日志非常重要,因为日志记录了FME转换的每个过程及错误详细信息,如果不懂得分析FME的日志,我们很难去改进过程或者寻找失败的原因。因此,我们应该去了解FME到底做了什么,分析日志,了解转换消耗了多少时间,最多的时间消耗在哪儿,以及消耗了多少系统资源。解析日志文件FME日志文件信息分为4类,分别告诉我们...原创 2018-08-01 17:14:39 · 1852 阅读 · 0 评论 -
并行处理
原文发布时间:2017-05-26 11:32:24原文地址下载:ParallelProcessTINGenerator.fmwtParallelProcessRasterDEMGenerator.fmwt介绍FME利用多核处理器,提高PC电脑的并行计算。同时,它还利用了超线程,一种在一个实体核中,提供两个逻辑线程的技术。更多信息,请看:Parallel Processin...翻译 2018-08-01 17:04:29 · 1883 阅读 · 0 评论 -
FME与Elasticsearch
原文发布时间:2018-03-30 11:27:24作者:张军ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。安装好...原创 2018-08-01 17:01:27 · 482 阅读 · 1 评论 -
任何时候都适用的十大FME技巧(二)
2014-10-10 09:02:03翻译:小新原文地址:http://blog.safe.com/2014/10/fmeevangelist128/相关文章:任何时候都适用的十大FME技巧(一)这是“任何时候都适用的十大FME技巧”的第二部分。这是最近这几周我从用户那里收集得到的。谢谢你们的回复。你们的回复有很多,只选择其中的五个是一件比较难的事。如果我没有挑选出你的建议,我为此...翻译 2018-08-01 17:01:13 · 2697 阅读 · 0 评论 -
如何使用FME连接数据
原文发布时间:2018-05-17 09:59:03什么是FeatureJoiner?FeaturesJoiner是将数据连接在一起的转换器,它最接近FeatureMerger(并且可能最终取代它)。它在工作空间中是这样的: 该工作区将Facility要素与PostalAddress要素相结合。你可以看到,代替Requestor/Supplier这个转换器有Left/Right...翻译 2018-08-01 16:58:14 · 4527 阅读 · 0 评论 -
PDF地图出图
原文发布时间:2018/6/1 11:17:18利用FME创建数据转换模板,将地形图数据输出为单个图层,并设置输出的PDF排列样式。最终输出的PDF地图包括以下:(1)标题栏(2)署名栏(显示创建者信息)(3)背景影像(4)输出范围矩形显示框(5)投票区域范围面(6)投票地址点位(7)投票场所文字标注通过FME创建工作流程,将所有的数据都放置在不同的图层中...翻译 2018-08-01 16:55:33 · 1188 阅读 · 0 评论 -
关于属性分割的问题
原文发布时间:2015-01-05 09:26:32作者:小张张在群里潜伏了这么久,还是很有收获的,看着大神们飞出来的各种问题和答案,表示不明觉厉,自己也有过尝试,所以把一些比较完整的问题和答案整理了一下,给自己留个底,同时也跟大家分享一下,也上SAFE官网上搜罗了几个问题和答案,一起分享,本文主要是对于属性分割的问题进行了搜集与研究,不对之处,多多指教: 问题一:属性分割问题(S...原创 2018-08-02 11:29:47 · 3874 阅读 · 2 评论 -
FME中中文字符长度问题
原文发表时间:2015-01-05 09:26:32 作者:一辉字符编码.fmw前面曾经写过一篇fme中中西文字符长度的博客(http://blog.163.com/antufme@126/blog/static/140492492201310149503405/),但时间过了这么久,fme的版本更新到了2015,有一天我再次用到python里面的len()函数来计算字符长度的时候...原创 2018-08-02 12:03:02 · 1331 阅读 · 0 评论 -
FME读写模块优化
原文发布时间:2015-01-28 09:34:07作者:一峰如何评估读模块性能要想提高读模块的性能必须了解转换开始时它是怎么工作的,但是这有很难与转换器分开。我们知道读取数据所花的时间,关键信息来源于日志的Emptying Factory Pipeline消息,但是,往往我们等待的时间比日志显示的时间会更长,因为FME要等待数据库或者文件系统的反应。例如,日志显示数据读取了1.6秒,...原创 2018-08-02 15:18:15 · 2973 阅读 · 0 评论 -
FME实战案例-定个小目标,零编码爬取GoogleMap POI
原文发表时间:2016-09-06 14:46:09作者:雷中华 案例一通过系列文章,讲述了借助FME平台实现web数据采集,获取肯德基中国的所有门店地址、电话、服务等信息。方法两种,一个是借助PythonCaller、PythonCreator基于部分python脚本的做法;另外是完全无编程的HttpCaller。 本文通过爬取谷歌poi的实战,再次巩固web应用的一些...原创 2018-08-03 15:53:46 · 3446 阅读 · 0 评论 -
FME如何采集肯德基中国的所有门店地址(一)
原文发表时间:2016-08-19 10:57:01作者:雷中华 FME是个优秀的平台,并保持快速且持续的增长——更多的函数模块、更多的输入输出格式支持。Python是胶水语言,最大的特点就是扩展模块丰富,与FME一拍即合。 一方面,FME借助PythonCaller实现了平台承载功能的扩展,在FME里嵌入Python,融合其他IT技术,彰显FME的平台特性;另一方面...原创 2018-08-03 15:38:54 · 1774 阅读 · 0 评论 -
FME助力系统上线之密码初始化生成及批量邮件分发
原文发布时间:2016-08-17 14:54:48作者:雷中华FME除了是Spatial ETL利器,还可以有许多其他应用场景,比如今天分享的一个FME实践,就是助力企业内部系统上线的一些工作,详情请接着往下看。 一、问题有个企业内部系统要上线,需要初始化账号,策略是六位随机密码。现有的基础数据包括员工工号、姓名、部门、邮箱地址。要求1:生成这个随机密码。要求2:通知...原创 2018-08-03 15:28:28 · 679 阅读 · 0 评论 -
使用FME平均分割面
2016-03-25 10:28:56作者:活力贝贝经常有人问这样的问题,怎样平均分割面,这种需求确实比较多,例如土地综合整治、农田规划,不过有的CAD平台,如GLAND已经有这种功能了, ARCGIS里面,宗地编辑也提供了按面积分割宗地的方法。CAD下 ARCGIS下 那么FME能否实现呢,经测试,FME...原创 2018-08-03 11:54:18 · 3159 阅读 · 1 评论 -
cad控规指标表转excel表的FME方法
原文发布时间:2015-07-22 13:23:45作者:木头狼模板下载前段时间接到一个任务,需要将dwg格式的控规地块导出到shp格式,要求附加地块控制指标(容积率、建筑密度、绿地率之类的)。cad地块线转shp面很容易,但是附加地块控制指标却不那么简单。受条件限制,没有现成地块控制指标属性表可以链接到地块,控制指标信息只能来自dwg格式控规图则里由文字和线条画成的表。一个地块的...原创 2018-08-03 10:11:07 · 2496 阅读 · 0 评论 -
代码味道和FME高尔夫
原文发布时间:2015/7/8 9:31:51作者:乱马原文地址:http://blog.safe.com/2015/06/fmeevangelist136/ 我最近老是被问到制作FME模版(工作空间)有哪些准则正如你可能知道,我们有一些针对FME的最佳实践;(我们提供了)关于如何才能制作工作空间--一个好的工作空间的概念。在我们的培训中包括了3章关于最佳实践的内容。它提...原创 2018-08-03 09:55:10 · 372 阅读 · 0 评论 -
Math Operators(数学运算符)
原文发布时间:2015-06-03 08:53:09翻译:小张张(帮助文档中关于数学运算符部分的翻译)下列的操作符列表按照其优先级进行排序。如果操作数为null、missing或是空字符串,或者表达式无效,表达式会返回null,附加 fme_expression_warnings属性列表。如果结果值能够无损的转换为整型值,则转换进行。否则,结果值为双精度。注意当使用数学运算符时,如果遇...翻译 2018-08-03 09:36:35 · 849 阅读 · 0 评论 -
Arithmetic Editor(四则运算编辑器)
原文发布时间:2015-06-01 09:15:53翻译:小张张(帮助文档中关于四则运算编辑器部分的翻译 四则运算编辑器提供一种方便的方法使用不同的数据源构造数学表达式。例如,属性、参数、要素函数,结果直接用于一个参数。例如,需要使用不同属性、函数或参数计算缓冲区大小。在这个例子中,源数据的每个点有一个vehicle speed属性。数据被转换为点要素,单独的缓冲会被合并到一个...原创 2018-08-03 09:34:14 · 1009 阅读 · 0 评论 -
利用动态字段更新数据的方法
原文发布时间:2015-04-28 09:59:34作者:活力贝贝前段时间群友问到一个案例,数据库中有200张左右的表,表中有一个字段,存储了对应表需要更新的字段名和字段值,由于数据表实在太多,想要利用FME来自动按照字段和值来更新数据,部分样例数据如下:可以看出,各行数据字段名称和数量并不统一,这种数据该如何通过转换器拆分后输出到指定字段呢?我最开始时想到的是先得到拆分后列表,然...原创 2018-08-03 09:28:04 · 2893 阅读 · 0 评论 -
FME多重复制,创造大数据测试环境
原文发布时间:2015-03-13 09:13:59作者:一辉模板下载在做压力测试或者效率测试的时候,我们通常希望有足够大量的数据来检验我们程序或者FME模板的执行效率,但有的时候由于种种原因很可能我们没有这么大量的数据,而需要自己手动来制作大数据的环境,本文就是介绍使用FME的多重复制的功能来创造大数据环境。思路:首先有一些原始数据,由FME模板作为基础数据来复制 设定最大...原创 2018-08-02 16:39:31 · 719 阅读 · 0 评论 -
批量数据处理日志生成问题
原文发布时间:2015-03-05 08:39:09作者:lkfree模板下载FME日志非常重要,记录了FME转换的每个过程及错误详细信息,以及读入写出数据总计,在使用FME进行数据转换和数据处理分析时,我们需要根据分析日志去分析模板是否成功并达到预期效果,同时查找运行失败原因和及相关记录。众所周知,FME Workbench在运行一个模板时,会在模板的路径下自动生成日志,但是当遇...原创 2018-08-02 16:13:22 · 1116 阅读 · 0 评论 -
用正则表达式除去属性字符串中数字前面的0
原文发布时间:2015-02-11 09:03:48作者:lkfree模板下载前段时间,遇到需要去除属性字符串中数字前面的0的问题,例如我有许多土地证书,其中含有一个属性为“土地证书号”, | 分隔“分支”(或选项) * 0个或多个其之前的匹配的顺序序列 + 一个或...原创 2018-08-02 16:03:02 · 7381 阅读 · 0 评论 -
利用FME完成小比例尺到大比例尺的图幅自动分幅及命名
原文发布时间:2015-02-10 09:22:51作者:小新模板下载 需求:完成小比例尺到大比例尺的分幅和自动命名,命名要符合以下规则。以1000到500比例尺为例:1000的图到500,需要划分成4块。如果1000图 命名分别为 55049015504902 5504903 5504904...原创 2018-08-02 15:44:33 · 2367 阅读 · 1 评论 -
当clipper遇到重复裁剪框
原文发布时间:2015-02-02 09:31:21作者:一辉模板下载前两天遇到这样一个问题,在使用clipper的时候如果裁剪框之间有重复(当然是正常重复),clipper在重复的地方只裁剪一次,而我想要的则是每个裁剪框单独裁剪,然后按照裁剪框分别输出到不同的文件,下面是我的解决方法。如图使用绿色的裁剪框来裁剪宗地图斑:方法:首先为每个裁剪框赋值(Counter唯一标...原创 2018-08-02 15:22:29 · 1128 阅读 · 0 评论 -
任何时候都适用的十大FME技巧(一)
原文发布时间:2014-09-30 10:28:18翻译:小新原文地址:http://blog.safe.com/2014/08/fmeevangelist127/大家好, 刚刚完成我在Safe Software工作的第十年,我想我应该传授一些在任何时候都适用的十大FME技巧这样的经验。 这些都是之前别人告诉我的,或者我认为用户可能会受益的一些功...翻译 2018-08-01 15:34:23 · 9717 阅读 · 0 评论 -
创建和使用用户参数
原文发布时间:2014-09-26 09:18:29作者:一峰用户参数是FME创建者为使用者提供的参数,换句话说,它是为最终用户使用工作空间提供的输入接口。创建用户参数(1)用户参数在导航窗口指定位置中设置,以User Parameters标记,如下(2)通常情况下,在User Parameters标签上右击可以创建参数,如下:(3)创建者通过弹出的对话框定义参数,...原创 2018-08-01 14:57:56 · 2114 阅读 · 0 评论 -
自定义FME批处理脚本
原文发布时间:2010-04-13 作者:Peri FME有自定义的批处理功能,在File—Batch Deploy中可以配置,但是这个批处理有个缺陷,当数据源有错误或者其它原因导致模板运行失败时,整个批处理过程就会终止,不能再继续执行。 我在进行批处理时,自己定义了一段批处理脚本,自定义执行的FME模板、数据源路经、目标数据路径、以及日志等信息,代码如下: @ECHO OF...原创 2018-07-19 15:16:10 · 1700 阅读 · 1 评论 -
FME中去掉微小细面的方法
原文发布时间:2010-03-20作者:Terence 1. 问题描述:利用FME实现一些微小细面的处理操作,如把图1中的微小细面去掉又不影响其他大面积的图形。图2为图1放大后的效果,图3是用FME处理后的效果。 2. 思路:1) 先用2个Chopper转换器把源数据转换成线段和由4个点组成的小面, Maximum Vertices参数分别设置成2...原创 2018-07-19 12:04:45 · 2210 阅读 · 1 评论 -
FME使用小技巧(快速生成目标数据)
原文发布时间:2010-03-19作者:不会飞的小鸟 今天跟大家分享一下我在做一个切图模版时发现的4个小技巧: 1、 如何对一个整图进行切割并按分幅图的形式存储?会使用FME应该都知道,只需要使用Clipper转换器,用分幅图对整图进行切割,就可以对图与图连接的图形进行切割,但这里最关键的问题在于我们要按分幅图的形式输出数据,也就是说如果我们输出的结果是DXF格式的数据...原创 2018-07-19 12:02:04 · 4819 阅读 · 0 评论 -
FME中中文字符长度问题
原文发布时间:2013-11-14作者:一辉很多国外的软件对中文的支持一直是一个很头疼的问题,前几天在用Python的过程中就曾遇到头疼很久了很久字符转换的问题,当然本文想要跟大家探讨的是FME中中文字符长度的问题。问题:FME本身在大多数情况下对中文字符支持还是比较理想,但对于中文字符长度计算确和英文字母难以区分,中文本来是占据两个字符长度,是英文字符长度的2倍,但在FME的很多转换...原创 2018-07-24 10:14:13 · 834 阅读 · 0 评论 -
制作读取文件夹型数据集的模板需注意的问题
原文发布时间:2013-11-04原创:小新对于文件夹型的数据集的定义可以参考视频培训的“重要术语”章节。按照我个人的理解,如果把图层或表理解为要素类的话,某种格式的一个文件不能再细分到图层时,则属于文件夹型数据集,一个文件即为一个要素类。像SHP、MapInfo TAB都是文件夹型的数据集。而Esri GDB、Esri MDB则是文件型数据集。 通过读模块添加数据到工作空间时,默...原创 2018-07-24 10:11:03 · 580 阅读 · 0 评论