weixin_42599429的博客

最近处理个需求需要在hive导出文件后用pandas进行处理生成个新的csv。 然后在read_csv时，遇到了这个跳过这以行的提醒，文件100行可能读进dataframe中可能只剩下了8行，这是因为在csv中的分隔符是',',在hive字段中如果有英文逗号就会在pandas转成多列就不会读进dataframe 解决方法：在hive -e进行重定向之前，将hive的对应字段进行一步清洗工作，比如translate(name,",","") as name,这样在hive -e导出的csv读取...

使用pandas to_csv时，输出文件用excel打开时，所有内容会乱码的情况：解决：1.查到的资料有的说在to_csv中加上coding='gbk’的参数（csv文件中文以GBK编码），加上参数后遇到/x01字符解析不了成gbk的情况，进行replace可以正常解决，不过会缺少数据。换个方式解决，在输出to_csv时，指定coding='utf_8_sig’或者’utf-8’或者’Ascii’选一个能正常输出的。然后对结果文件进行iconv操作，如下iconv -c -f UTF-8 -t