csv upload 注意的问题

最新推荐文章于 2021-02-12 19:12:31 发布

原创最新推荐文章于 2021-02-12 19:12:31 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#csv #upload #file #date #image #unix

数据库和Oracle 专栏收录该内容

88 篇文章

订阅专栏

本文探讨了CSV文件上传过程中常见的格式与字符集问题，并详细介绍了如何通过设置正确的文件格式和字符集来解决这些问题。此外，还深入讲解了SQL*Loader控制文件的配置方法，包括字段映射和数据转换等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

upload CSV file 注意的问题：

1. csv file format
   if 本地编辑的csv file， fileformat 一般是dos.
   upload 的时候，需要改为unix : set fileformat=unix

2. 中英文问题
   无论csv file 是utf8 or GBK. 如果是其中有中文，在upload的时候，如果进入DB是乱码，
   只要设定其字符集即可
    aa.sh

    ##Normal maybe
    #en_US.UTF-8

    ##Use below for CN inputs
    export NLS_LANG='AMERICAN_AMERICA.UTF8'
    #export NLS_LANG='SIMPLIFIED CHINESE_CHINA.ZHS16CGB231280'

    sqlldr username/password@servername control=agg_pdt1106.ctl log=dd.log

3.control file
1)control file 每行对应csv file 的每个column,如果不用某个column,要用FILLER 忽略掉。
2)control file 每行要么用，要么用FILLER忽略，不可以跳过不管。　否则会延到control下一行被使用。
3)字段间和记录间的分隔符，要选择合适，例如字段间使用双引号",如果字段内容中也有含有",就会出问题

aa.ctl:

OPTIONS (skip=1, errors=99999)
load data
CHARACTERSET UTF8
infile 'cAGG_prod3.CSV' "str '>>>/n'"   （note :记录分隔符)
append
--replace
into table agg_product
fields terminated by ',' optionally enclosed by '|||' （note:字段分隔符）
trailing nullcols
(
org_id FILLER,
source_org_id "TRIM(:source_org_id)",
source_product_id "TRIM(:source_product_id)",
source_name "TRIM(:source_name)",
source_url "TRIM(:source_url)",
source_category "TRIM(:source_category)",
description char(200) "SUBSTR(TRIM(:description), 1, 150)",
key_specification char(3000) "SUBSTR(TRIM(:key_specification), 1, 2000)",
record_status FILLER, --"TRIM(:record_status)",
create_date FILLER, --"nvl(:create_date,sysdate)",
l_upd_date FILLER, --"nvl(:l_upd_date,sysdate)",
certification char(3000) "SUBSTR(TRIM(:certification), 1, 3000)",
product_image_name char(200) "SUBSTR(TRIM(:product_image_name),1,20)"
)