
工作
sborgite
算法和数据结构就是编程的一个重要部分,你若失掉了算法和数据结构,你就把一切都失掉了。
展开
-
cookie 和 session 的关系
简介 session,和cookie是一种存储数据的机制。 cookie的数据是存在客户端的,可以设置失效时间。默认关闭浏览器自动失效,如果设置了失效时间,即使关闭了浏览器cookie仍然会保留直到到期。 session的数据是存在服务器端的,既可以以文件的形式存到服务器上,也可以存到redis、memcached、SQLite。 下图是项目里面的session 文件。 它不是一个单一原创 2016-02-26 11:48:10 · 455 阅读 · 0 评论 -
spark-sql 结合 hive
1.首先,假设你的hive和hdfs都配置好了。 2.然后spark-sql结合hive其实就非常简单了。 先找到你的hive安装目录 echo $HIVE_HOME 假设hive目录是 /d1/hive_sys/apache-hive-2.1.0-bin/ 只要建立如下两个软件就OK了cd $SPARK_HOME cd conf/ ln -s /d1/hive_sys/apache-h原创 2017-01-03 21:59:31 · 475 阅读 · 0 评论 -
hadoop PipeMapRed faild
hadoop PipeMapRed faild今天遇到了一个PipeMapRed faild,程序肯定是没有问题的,在开发环境运行时正常的,但是在测试环境死活运行不了。看到这一地错误提示,又不知道到底啥意思。对hadoop底层的原理也不甚了了。 最后发现原来是map程序的格式问题。所以这个错误的意思是,读map程序的时候失败了。 这个mapReduce作业是python写的。 vim 下 输入原创 2016-12-02 16:53:52 · 741 阅读 · 0 评论