Assembling Features Reading Features

最新推荐文章于 2022-03-16 13:39:22 发布
最新推荐文章于 2022-03-16 13:39:22 发布
阅读量724 收藏
点赞数
分类专栏： Desktop ArcGIS Engine 文章标签： gp工具 Assembling Features Reading Features 叠加分析
为提升特征叠加工具如联合和交集等在处理大量数据时的性能和可扩展性，引入了自适应细分处理逻辑。当数据无法在物理内存中处理时，通过将原始范围细分为增量处理的子区域来保持在物理内存限制内，从而提高性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

In order to improve the performance and scalability of feature overlay tools such as Union and Intersect, operational logic called adaptive subdivision processing was added. The use of this logic is triggered when data cannot be processed within the available amount of physical memory. In order to stay in the bounds of physical memory, which greatly improves performance, processing is done incrementally on subdivisions of the original extent. Features which straddle the edges of these subdivisions (also called tiles) will be split at the edge of the tile and then reassembled into a single feature during in the last stage of processing. The vertices introduced at these tile edges will remain in the output features.

Why subdivide the data?

The overlay analysis tools perform best when processing can be done within your machine's physical memory (or RAM). This may not always be possible when working with datasets that contain either a large number of features or very complex features that contain hundreds of thousands or millions of vertices. Previously, when the physical memory was exhausted virtual memory was used, and when it was exhausted an internal paging system was used. Each successive mode of memory management is slower than the previous by an exponential factor.

How do I know when the process was tiled?

Review the messages returned by a tool during or after execution to determine if the input data was tiled. The third line will state "Processing Tiles..." if adaptive subdivision processing occurs, otherwise the input data was not subdivided and the fourth line will state "Cracking Features..."

Example of the messages from a process that was subdivided.

Executing (Identity_1): Identity c:\gp\fgdb.gdb\rivers c:\gp\fgdb.gdb\pf_watersheds c:\gp\fgdb.gdb\rivers_ws

Reading Features...

Cracking Features...

Assembling Features...

Executed (Identity_1) successfully.


Example of the messages from a process that was subdivided.

Executing (Identity_1): Identity c:\gp\fgdb.gdb\rivers c:\gp\fgdb.gdb\pf_watersheds c:\gp\fgdb.gdb\rivers_ws

Reading Features...

Processing Tiles...

Assembling Features...

Executed (Identity_1) successfully.


What do the tiles look like?

Every process starts with a single tile which spans the entire extent of the data. If the data in the single tile is too large to be processed in physical memory, it is subdivided into four equal tiles (using a quadtree approach). Processing then begins on a sub-tile, which is further sub-divided if the data in this second level of tiles is again too large. This continues until the data within each tile can be processed within physical memory. See the example below.

 

The footprint of all the input features.

 

The process begins with a tile that spans the entire extent of all datasets. For reference this is called tile level 1.

 

If the data is too large to process in memory, the level 1 tile is subdivided into four equal tiles. These 4 sub-tiles are called level 2 tiles.

 

Based on the size of data in each tile, some tiles are further subdivided, while others are not.

The tiles are output to the following shapefile c:\Documents and Settings\UserName\Local Settings\Temp\OverlayTile.shp upon completion of a process that required tiling.

Which tools use subdivisions

The following tools from the "Analysis Tools Toolbox" have subdivision logic when dealing with large data.

-Clip

-Erase

-Identity

-Intersect

-Union

-Split

-Symmetrical Difference

Process fails with an "Out of memory" error

The subdivision approach will not help process extremely large features. These are features with many millions of vertices. Splitting and reassembling extremely large features multiple times across tile boundaries is very costly in terms of memory, and may cause "Out of memory" errors if the feature is too large. It is recommended that these features be broken up into smaller features. Road casing for an entire city or a polygon representing a river estuary are examples of very large features with many vertices.

The "Out of memory" error could also happen if a second application is run while a tool is processing. This second application could adjust the available amount of physical memory and render the boundary calculation of the currently processing tile as incorrect, thereby causing the tool process to demand more physical memory than is possible. It is recommended that no other operations be performed on a machine while overlay processing large datasets.

What data format is recommended when working with large data?

The file size limit for the Windows operating system is 2 GB. If the result of a process is going to be a large feature class, writing that output to a shapefile (which is made up of several files) or personal geodatabase (consisting of a single .mdb file) could exceed this 2 GB file size limit. Enterprise and file geodatabases do not have this limitation so they are recommended as the output workspace when using very large datasets.

See Also

·  Temporary files created by Geoprocessing Tools


转载自：

http://resources.esri.com/help/9.3/ArcGISDesktop/com/Gp_ToolRef/analysis_toolbox/tiled_processing_of_large_datasets.htm

Understanding Oracle APEX 5 Application Development(Apress,2ed,2015)
09-23
This new edition of Understanding Oracle ... Specific attention is given in the book to the thought process involved in choosing and assembling APEX components and features to deliver a specific result.
CE中文版-启点CE过NP中文.exe
01-02
Kernelmode memory reading/writing is safer now Added an option to filter out readable paths in the pointerscan rescan Added "codePage" support Added font/display options to several places in CE Added ...
当用Arcgis处理数据时出现Reading Tiled Features，Cracking Tiled Features，Assembling Tiled Features
05-27 489
当用Arcgis处理数据时出现Reading Tiled Features，Cracking Tiled Features，Assembling Tiled Features 当用Arcgis GP工具处理数据时出现Reading Features，Cracking Features，Assembling Features 时，数据处理速度变得超级慢， 这是因为Arcgis软件，为改善要素叠加工具（如联合和相交）的性能和可伸缩性，软件采用了称为自适应细分处理的运算逻辑。引起 增加硬件资源应该能解决，参考ar
RobHess的SIFT源码分析：imgfeatures.h和imgfeatures.c文件
热门推荐
Why So Serious?
06-29 1万+
SIFT源码分析系列文章的索引在这里：RobHess的SIFT源码分析：综述 imgfeatures.h中有SIFT特征点结构struct feature的定义，除此之外还有一些特征点的导入导出以及特征点绘制函数的声明。 对应的imgfeatures.c文件中是特征点的导入导出以及特征点绘制函数的实现。 特征点的类型有两种，一种是是牛津大学VGG提供的源码中的特征点格式，
features:addurl could not be resolved
工作点滴
05-08 4065
Welcome, Guest Login Guest Settings This question is answered. Helpful answers available: 2. Correct answers available: 1. Reply
Contribute to documentation Estimated reading time: 3 minutes
BLOG域名:programb.blog.youkuaiyun.com
04-22 225
Docker Docs Contributing to the Docker documentation can be a rewarding experience. When you offer feedback, questions, edits, or new content, you help us, the projects you work on, and the larger Doc...
Other ways to contribute Estimated reading time: 5 minutes
BLOG域名:programb.blog.youkuaiyun.com
04-22 282
Docker Docs Beyond the documentation contributions we cover here, there are many other ways to contribute to Docker. Whether you are just getting started or are expert in your field, you have a unique...
About this and that
12-08 375
This posting will be about the different styles of creating “components” or “objects” in Javascript, and which styles Fluid is planning to recommend and in what contexts. Javascript has inherite
RFC793
哦，原来你也在这里。
03-16 834
RFC: 793 TRANSMISSION CONTROL PROTOCOL DARPA INTERNET PROGRAM PROTOCOL SPECIFICATION September 1981 prepared for De
Top 28 Material Design HTML5/CSS3 Admin Templates To Build Awesome Web Apps 2018
大强博客
08-24 1542
Without a good steering wheel, even the most exotic car will be turned into an expensive garage ornament. The same principle can be applied to websites, given that the administration panel often provi...
import logging import time from functools import cached_property from typing import Any from lerobot.cameras.utils import make_cameras_from_configs from lerobot.errors import DeviceAlreadyConnectedError, DeviceNotConnectedError from lerobot.motors import Motor, MotorCalibration, MotorNormMode from lerobot.motors.dynamixel import ( DynamixelMotorsBus, OperatingMode, ) from ..robot import Robot from ..utils import ensure_safe_goal_position from .config_koch_follower import KochFollowerConfig logger = logging.getLogger(__name__) class KochFollower(Robot): """ - [Koch v1.0](https://github.com/AlexanderKoch-Koch/low_cost_robot), with and without the wrist-to-elbow expansion, developed by Alexander Koch from [Tau Robotics](https://tau-robotics.com) - [Koch v1.1](https://github.com/jess-moss/koch-v1-1) developed by Jess Moss """ config_class = KochFollowerConfig name = "koch_follower" def __init__(self, config: KochFollowerConfig): super().__init__(config) self.config = config norm_mode_body = MotorNormMode.DEGREES if config.use_degrees else MotorNormMode.RANGE_M100_100 self.bus = DynamixelMotorsBus( port=self.config.port, motors={ "shoulder_pan": Motor(1, "xl430-w250", norm_mode_body), "shoulder_lift": Motor(2, "xl430-w250", norm_mode_body), "elbow_flex": Motor(3, "xl330-m288", norm_mode_body), "wrist_flex": Motor(4, "xl330-m288", norm_mode_body), "wrist_roll": Motor(5, "xl330-m288", norm_mode_body), "gripper": Motor(6, "xl330-m288", MotorNormMode.RANGE_0_100), }, calibration=self.calibration, ) self.cameras = make_cameras_from_configs(config.cameras) @property def _motors_ft(self) -> dict[str, type]: return {f"{motor}.pos": float for motor in self.bus.motors} @property def _cameras_ft(self) -> dict[str, tuple]: return { cam: (self.config.cameras[cam].height, self.config.cameras[cam].width, 3) for cam in self.cameras } @cached_property def observation_features(self) -> dict[str, type | tuple]: return {**self._motors_ft, **self._cameras_ft} @cached_property def action_features(self) -> dict[str, type]: return self._motors_ft @property def is_connected(self) -> bool: return self.bus.is_connected and all(cam.is_connected for cam in self.cameras.values()) def connect(self, calibrate: bool = True) -> None: """ We assume that at connection time, arm is in a rest position, and torque can be safely disabled to run calibration. """ if self.is_connected: raise DeviceAlreadyConnectedError(f"{self} already connected") self.bus.connect() if not self.is_calibrated and calibrate: self.calibrate() for cam in self.cameras.values(): cam.connect() self.configure() logger.info(f"{self} connected.") @property def is_calibrated(self) -> bool: return self.bus.is_calibrated def calibrate(self) -> None: logger.info(f"\nRunning calibration of {self}") self.bus.disable_torque() for motor in self.bus.motors: self.bus.write("Operating_Mode", motor, OperatingMode.EXTENDED_POSITION.value) input(f"Move {self} to the middle of its range of motion and press ENTER....") homing_offsets = self.bus.set_half_turn_homings() full_turn_motors = ["shoulder_pan", "wrist_roll"] unknown_range_motors = [motor for motor in self.bus.motors if motor not in full_turn_motors] print( f"Move all joints except {full_turn_motors} sequentially through their entire " "ranges of motion.\nRecording positions. Press ENTER to stop..." ) range_mins, range_maxes = self.bus.record_ranges_of_motion(unknown_range_motors) for motor in full_turn_motors: range_mins[motor] = 0 range_maxes[motor] = 4095 self.calibration = {} for motor, m in self.bus.motors.items(): self.calibration[motor] = MotorCalibration( id=m.id, drive_mode=0, homing_offset=homing_offsets[motor], range_min=range_mins[motor], range_max=range_maxes[motor], ) self.bus.write_calibration(self.calibration) self._save_calibration() logger.info(f"Calibration saved to {self.calibration_fpath}") def configure(self) -> None: with self.bus.torque_disabled(): self.bus.configure_motors() # Use 'extended position mode' for all motors except gripper, because in joint mode the servos # can't rotate more than 360 degrees (from 0 to 4095) And some mistake can happen while assembling # the arm, you could end up with a servo with a position 0 or 4095 at a crucial point for motor in self.bus.motors: if motor != "gripper": self.bus.write("Operating_Mode", motor, OperatingMode.EXTENDED_POSITION.value) # Use 'position control current based' for gripper to be limited by the limit of the current. For # the follower gripper, it means it can grasp an object without forcing too much even tho, its # goal position is a complete grasp (both gripper fingers are ordered to join and reach a touch). # For the leader gripper, it means we can use it as a physical trigger, since we can force with # our finger to make it move, and it will move back to its original target position when we # release the force. self.bus.write("Operating_Mode", "gripper", OperatingMode.CURRENT_POSITION.value) # Set better PID values to close the gap between recorded states and actions # TODO(rcadene): Implement an automatic procedure to set optimal PID values for each motor self.bus.write("Position_P_Gain", "elbow_flex", 1500) self.bus.write("Position_I_Gain", "elbow_flex", 0) self.bus.write("Position_D_Gain", "elbow_flex", 600) def setup_motors(self) -> None: for motor in reversed(self.bus.motors): input(f"Connect the controller board to the '{motor}' motor only and press enter.") self.bus.setup_motor(motor) print(f"'{motor}' motor id set to {self.bus.motors[motor].id}") def get_observation(self) -> dict[str, Any]: if not self.is_connected: raise DeviceNotConnectedError(f"{self} is not connected.") # Read arm position start = time.perf_counter() obs_dict = self.bus.sync_read("Present_Position") obs_dict = {f"{motor}.pos": val for motor, val in obs_dict.items()} dt_ms = (time.perf_counter() - start) * 1e3 logger.debug(f"{self} read state: {dt_ms:.1f}ms") # Capture images from cameras for cam_key, cam in self.cameras.items(): start = time.perf_counter() obs_dict[cam_key] = cam.async_read() dt_ms = (time.perf_counter() - start) * 1e3 logger.debug(f"{self} read {cam_key}: {dt_ms:.1f}ms") return obs_dict def send_action(self, action: dict[str, float]) -> dict[str, float]: """Command arm to move to a target joint configuration. The relative action magnitude may be clipped depending on the configuration parameter `max_relative_target`. In this case, the action sent differs from original action. Thus, this function always returns the action actually sent. Args: action (dict[str, float]): The goal positions for the motors. Returns: dict[str, float]: The action sent to the motors, potentially clipped. """ if not self.is_connected: raise DeviceNotConnectedError(f"{self} is not connected.") goal_pos = {key.removesuffix(".pos"): val for key, val in action.items() if key.endswith(".pos")} # Cap goal position when too far away from present position. # /!\ Slower fps expected due to reading from the follower. if self.config.max_relative_target is not None: present_pos = self.bus.sync_read("Present_Position") goal_present_pos = {key: (g_pos, present_pos[key]) for key, g_pos in goal_pos.items()} goal_pos = ensure_safe_goal_position(goal_present_pos, self.config.max_relative_target) # Send goal position to the arm self.bus.sync_write("Goal_Position", goal_pos) return {f"{motor}.pos": val for motor, val in goal_pos.items()} def disconnect(self): if not self.is_connected: raise DeviceNotConnectedError(f"{self} is not connected.") self.bus.disconnect(self.config.disable_torque_on_disconnect) for cam in self.cameras.values(): cam.disconnect() logger.info(f"{self} disconnected.")
07-26
def observation_features(self) -> dict[str, type | tuple]: return {**self._motors_ft, **self._cameras_ft} @cached_property def action_features(self) -> dict[str, type]: return self._motors_ft ``` -...
基于FPGA的OFDM调制解调Verilog实现及其应用：涵盖IFFTFFT、Testbench及操作录像
07-29
基于FPGA的OFDM调制解调技术的Verilog实现，重点讲解了IFFT和FFT的实现方法，以及Testbench的设计。OFDM作为一种多载波调制技术，能够有效抵抗多径衰落和频率选择性衰落，广泛应用于无线通信和数字电视领域。文中还提供了详细的程序操作录像，帮助用户更好地理解和操作FPGA工程。具体实现过程中，使用Vivado 2019.2及以上版本作为开发工具，确保工程路径为英文路径，并提供完整的操作指南。 适合人群：具备一定FPGA开发经验的研发人员和技术爱好者。 使用场景及目标：适用于希望深入了解OFDM调制解调技术并掌握其实现细节的研究人员和工程师。通过学习本文，读者可以掌握基于FPGA的OFDM调制解调系统的开发流程，包括IFFT和FFT的实现、Testbench设计及实际操作。 其他说明：本文不仅提供了理论知识，还附带了实际的操作录像，使读者能够在实践中加深理解。建议读者跟随录像逐步操作，以便更好地掌握相关技能。
基于BP神经网络与PID控制的Simulink仿真及无刷直流电机控制研究
07-29
基于BP神经网络与PID控制相结合的Simulink仿真方法及其在无刷直流电机控制中的应用。文中首先阐述了BP神经网络的强大非线性映射能力和PID控制的经典反馈机制，解释了两者的结合如何优化PID控制器参数，从而提高控制系统的性能。随后，文章展示了如何使用MATLAB的S函数实现BP神经网络的前向传播过程，并将其集成到Simulink环境中构建完整的控制系统仿真模型。通过具体案例——无刷直流电机控制，演示了系统的设计思路、搭建步骤及其实验结果。实验结果显示，相比传统的PID控制，BP神经网络PID控制在应对复杂工况和参数不确定性方面表现出更快的响应速度和更稳定的性能。 适合人群：自动化专业学生、控制工程领域的研究人员和技术爱好者。 使用场景及目标：适用于希望深入了解BP神经网络与PID控制结合的应用场景，特别是那些需要优化控制系统性能的研究项目。目标是帮助读者掌握Simulink仿真平台的操作技巧，理解BP神经网络的工作原理及其在实际控制任务中的应用。 其他说明：附带详细的说明文档和本科论文，便于初学者快速上手并理解整个系统的原理和实现细节。
基于plc的恒压供水控制系统.doc
最新发布
07-30
基于plc的恒压供水控制系统.doc
西门子Smart PLC 485通讯轮询库程序详解及其应用 PLC 终极版
07-29
内容概要：本文介绍了西门子Smart PLC 485通讯轮询库程序的功能和使用方法。首先简述了轮询库程序的作用，即实现对多个设备的轮询操作，从而集中控制和监测设备状态。接下来详细讲述了代码编写步骤，包括初始化485通讯参数以及轮询设备列表和逻辑处理的具体流程。此外，还深入解析了485通讯中引脚的意义，并强调了代码优化与调试的重要性。最后，提供了一份详细的PDF讲解资料，涵盖代码示例、参数设置、引脚意义等方面的内容，便于使用者快速上手。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是那些对西门子Smart PLC有一定了解的人群。 使用场景及目标：适用于需要利用西门子Smart PLC进行多设备通信和监控的项目。主要目标是让使用者掌握485通讯轮询库程序的编写技巧，提升系统集成能力和故障排查能力。 其他说明：随附的PDF资料为用户提供了一个全面的学习工具，有助于加深对485通讯机制的理解。
langchain4j-community-dashscope-1.0.0-beta2.jar中文文档.zip
07-29
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
langchain4j-spring-boot-starter-0.16.0.jar中文文档.zip
07-29
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
皮克斯电影公司-从《玩具总动员》( 1995年)到《Inside Out 2 》( 2024年)所有皮克斯电影的数据.zip
07-29
皮克斯电影公司-从《玩具总动员》( 1995年)到《Inside Out 2 》( 2024年)所有皮克斯电影的数据.zip
error assembling jar
03-16
这个错误提示通常是由于在打包 jar 文件时出现了问题，可能是由于缺少依赖项或配置文件等原因导致的。您可以检查您的项目配置和依赖项，确保它们都正确地设置和引用。如果问题仍然存在，您可以尝试重新构建您的项目并重新打包 jar 文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值