shlhhy的博客

之前将数据文件存放在服务器本地，开启高可用时，代码运行结果保存的服务器位置不定，导致加载文件失败，考虑将文件存入HDFS进行访问。1. hdfs查看、创建目录查看目录hdfs dfs -ls /user创建新目录，此时user目录下生成了新文件夹，文件将被存放在此处。但是创建目录后发现该文件夹没有写入权限，需要hdfs用户提供权限修改。hdfs dfs -mkdir /user/word2vec2. python写入、读取hdfs安装hdfs包，采用如下代码上传from hdfs.cl

1. 本地导入csvcsv文件以逗号分割，当某个字段的格式为：“xxx, yyy, zzz"时，导入hive数据库可能发生错误，需要使用转义字符创建表，命令如下：create table customs_news(AAA STRING, BBB STRING) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde’WITH SERDEPROPERTIES (“separatorChar” = “,”,“quoteChar” = “””,