- 博客(8)
- 收藏
- 关注
RSS订阅
4原创 M1 MacBook Pro编译GloVe时报错clang: error: the clang compiler does not support -march=native
使用M1 MacBook Pro编译GloVe时报错，完整输出如下：mkdir -p buildgcc -c src/vocab_count.c -o build/vocab_count.o -lm -pthread -O3 -march=native -funroll-loops -Wall -Wextra -Wpedanticclang: warning: -lm: 'linker' input unused [-Wunused-command-line-argument]clang: erro
2022-04-26 10:15:42
3401
原创 DataFrame.filter(Column.notEqual("value"))会不会过滤NULL值
select * from table where column != "value";这样一句SQL妇孺皆知，而且在MySQL/Oracle中column为 null 的也会被过滤掉；那么在Spark中表现又会是怎样呢？（Spark SQL也在悄悄得往SQL的语法标准上靠）import org.apache.log4j.{Level, Logger}import org.apache...
2019-07-15 11:33:52
1512
翻译 如何使用HDFS命令行处理带有空格的文件名
touch 'x y z'1. 上传文件1.1 %20 替换:使用%20代替文件名中的每一个空格hdfs dfs -put x%20y%20%20z {dest path}1.2 | 戏法使用管道符|巧妙连接cat和putcat x\ y\ \ z | hdfs dfs -put - /tmp/test/x\ y\ \ zcat x\ y\ \ z | hdfs df...
2019-07-15 11:31:57
1870
原创 搜索引擎高效使用技巧
最近留意到 搜索引擎百度已死 这样一篇文章席卷各个平台。在此，笔者不置可否，不去探讨哪个搜索引擎表现最好（准确 / 客观 / 符合预期），相信大家心中都有答案。笔者试与大家分享一些搜索技巧，无关乎大家使用哪个搜索引擎，希望大家都能快速准确得搜到想要的答案，欢迎一起探讨~1. 站内搜索说明期望搜索的结果来自于某个固定站点，例如优快云 / Stackoverflow用法在搜索...
2019-07-15 11:29:41
2342
原创 Spark中SimpleDateFormat的安全使用
日常开发中，我们经常使用 SimpleDateFormat 来对时间进行格式化/转换等操作。我们可以放心得使用在单线程环境中，但是需要时刻谨记 SimpleDateFormat 是非线程安全的，在 Spark 开发中同样需要注意。尤其碰到时间相关数据的处理时，不管是 UDF 还是 匿名函数 ，都需要谨慎使用非线程安全的 SimpleDateFormat 。在这里和大家分享笔者如何在 Spar...
2019-07-15 11:27:29
1084
原创 Hive多表插入遇坑记
众所周知，Hive多表插入可以有效避免多次读取同一数据集所造成的资源浪费，提升性能。但是，笔者在使用过程中，遇到了一小坑，遂记之与大家分享~1. 环境Hadoop: 2.9.1Hive: 1.2.2.62. 问题重现2.1 建表create table test_o (`id` int, `value` string);create table test_i1 (`id` in...
2019-07-15 11:11:48
1810
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人