dataload相关--1019

本文介绍了如何使用Dataload在EBS中批量导入数据的方法,包括定义模板、使用快捷键提高效率、处理父子关系数据等实用技巧,并探讨了何时选用工具导入及注意事项。
 

Dataload之所以能够完成在EBS中批量导入数据的任务,是因为oracle的快捷键定义的非常充分,可以用快捷键走到界面上任何一个控件。

定义好dataload的模板后,先用几条数据来检验模板的正确性。确定正确后再大规模导入。要不断地对模板进行完善。

录入的数据如果存在父子关系(头部信息对应多个明细),可以将这两部分分开导入,先导入头部信息,再导入明细。

是否选择dataload作为导入工具,要根据具体情况来决定。如果数据工整规范而且数据量大,可以使用工具导入,反之,可以考虑手工直接录入。

Dataload工具的编辑不是很方便,要与excel完美结合,可以先在excel写好模板,谈后导入或者拷贝过来。

定义快捷键的响应时间是一项很关键的工作,对导入数据是否正确也存在影响。同时,这个时间的设置也痛网络速度,服务器响应时间都有关。

导入过程中,不能开启能够弹出窗口的程序(QQ,MSN),这样会突然中断数据导入,从而出现数据错误。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31374514/viewspace-2126738/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/31374514/viewspace-2126738/

(AirVLN) lixing@DESKTOP-2PJK7EV:~/AirVLN_ws/AirVLN$ python -u ./src/vlnce_src/train.py \ run_type eval \> --run_type eval \ > --policy_type seq2seq \ > --collect_type TF \ AirVL> --name AirVLN-seq2seq \ > --batchSize 8 \ > --EVAL_CKPT_PATH_DIR ../DATA/output/AirVLN-seq2seq/train/checkpoint \ > --EVAL_DATASET train \ > --EVAL_NUM -1 Not using distributed mode 2025-09-25 14:36:34,406 - INFO - eval_vlnce:1010 - Namespace(DDP_MASTER_PORT=20000, DistributedDataParallel=False, EVAL_CKPT_PATH_DIR='../DATA/output/AirVLN-seq2seq/train/checkpoint', EVAL_DATASET='train', EVAL_GENERATE_VIDEO=False, EVAL_NUM=-1, Image_Height_DEPTH=256, Image_Height_RGB=224, Image_Width_DEPTH=256, Image_Width_RGB=224, PROGRESS_MONITOR_alpha=1.0, PROGRESS_MONITOR_use=False, SEQ2SEQ_use_prev_action=False, TF_mode_load_scene=[], TRAINVAL_VOCAB=Pos ixPath('/home/lixing/AirVLN_ws/DATA/data/aerialvln/train_vocab.txt'), TRAIN_VOCAB=PosixPath('/home/lixing/AirVLN_ws/DATA/data/aerialvln/train_vocab.txt'), ablate_depth=False, ablate_instruction=False, ablate_rgb=False, action_featur e=32, batchSize=8, collect_type='TF', continue_start_from_checkpoint_path=None, continue_start_from_dagger_it=None, dagger_it=1, dagger_mode='end', dagger_mode_load_scene=[], dagger_p=1.0, dagger_update_size=8000, epochs=10, featdro pout=0.4, inflection_weight_coef=1.9, logger_file_name='/home/lixing/AirVLN_ws/DATA/output/AirVLN-seq2seq/eval/logs/AirVLN-seq2seq_20250925-143632-791034.log', lr=0.00025, machines_info=[{'MACHINE_IP': '127.0.0.1', 'SOCKET_PORT': 30 000, 'MAX_SCENE_NUM': 16, 'open_scenes': []}], make_dir_time='20250925-143632-791034', maxAction=500, maxInput=300, name='AirVLN-seq2seq', nav_graph_path='/home/lixing/AirVLN_ws/DATA/data/disceret/processed/nav_graph_10', policy_typ e='seq2seq', project_prefix='/home/lixing/AirVLN_ws', rgb_encoder_use_place365=False, run_type='eval', simulator_tool_port=30000, token_dict_path='/home/lixing/AirVLN_ws/DATA/data/disceret/processed/token_dict_10', tokenizer_use_bert=False, trainer_gpu_device=0, vertices_path='/home/lixing/AirVLN_ws/DATA/data/disceret/scene_meshes', vlnbert='prevalent', vocab_size=10038) 2025-09-25 14:36:34,410 - INFO - __init__:171 - OLD_VOCAB_SIZE: 10038 2025-09-25 14:36:34,410 - INFO - __init__:176 - VOACB: 10038 Traceback (most recent call last): File "./src/vlnce_src/train.py", line 1351, in <module> eval_vlnce() File "./src/vlnce_src/train.py", line 1019, in eval_vlnce assert os.path.exists(args.EVAL_CKPT_PATH_DIR), 'The eval file/folder does not exist' AssertionError: The eval file/folder does not exist
最新发布
09-26
这段命令和输出是在运行一个评估脚本 `train.py`,但在执行过程中遇到了错误。以下是详细的解释: --- ### **命令解释** ```bash python -u ./src/vlnce_src/train.py \ --run_type eval \ --policy_type seq2seq \ --collect_type TF \ --name AirVLN-seq2seq \ --batchSize 8 \ --EVAL_CKPT_PATH_DIR ../DATA/output/AirVLN-seq2seq/train/checkpoint \ --EVAL_DATASET train \ --EVAL_NUM -1 ``` 这段命令的含义是: - `--run_type eval`:表示运行模式为评估(evaluation)。 - `--policy_type seq2seq`:使用序列到序列(seq2seq)类型的策略模型。 - `--collect_type TF`:使用 Teacher Forcing 方式进行数据收集。 - `--name AirVLN-seq2seq`:指定实验名称。 - `--batchSize 8`:每批次处理 8 个样本。 - `--EVAL_CKPT_PATH_DIR ../DATA/output/AirVLN-seq2seq/train/checkpoint`:指定模型检查点(checkpoint)路径。 - `--EVAL_DATASET train`:在训练集上进行评估。 - `--EVAL_NUM -1`:评估所有样本。 --- ### **输出日志解释** - `Not using distributed mode`:未使用分布式训练。 - `Namespace(...)`:显示了所有的命令行参数,包括路径、模型设置、日志路径等。 - `OLD_VOCAB_SIZE: 10038` 和 `VOACB: 10038`:加载了词汇表,大小为 10038。 - **错误信息**: ```bash AssertionError: The eval file/folder does not exist ``` 表示程序在运行时发现指定的评估模型路径 `../DATA/output/AirVLN-seq2seq/train/checkpoint` 不存在,致程序中断。 --- ### **错误原因分析** 1. **路径错误**:`EVAL_CKPT_PATH_DIR` 指定的路径不正确,或者目录结构未按预期构建。 2. **模型未训练**:可能尚未训练模型,因此没有生成 checkpoint 文件。 3. **权限问题**:当前用户可能没有访问该目录的权限。 4. **路径未使用绝对路径**:相对路径可能致程序找不到目标目录。 --- ### **解决方法** 1. **检查路径是否存在**: ```bash ls ../DATA/output/AirVLN-seq2seq/train/checkpoint ``` 如果提示目录不存在,请先训练模型生成 checkpoint。 2. **使用绝对路径**(更可靠): ```bash --EVAL_CKPT_PATH_DIR /home/lixing/AirVLN_ws/DATA/output/AirVLN-seq2seq/train/checkpoint ``` 3. **确认模型训练是否已完成**: 如果未训练模型,请先运行训练模式: ```bash python -u ./src/vlnce_src/train.py --run_type train ... ``` 4. **创建空目录**(临时解决路径问题): ```bash mkdir -p ../DATA/output/AirVLN-seq2seq/train/checkpoint ``` --- ### **相关问题**
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值