u013153465的博客

今天本地spark连接远程hive集群，参考了网上各种教程，可以使用show 命令，不能使用select，最后直接把配置导入进去，本地直接应用远程环境，竟然可以了步骤：3. 将mysql-connector-java-5.1.32-bin.jar 文件放入spark/jars目录下4. 然后启动spark-shell 测试5. 然后在代码里面测试： 好了，快速结束

你当然需要在本地装好spark，hadoop，java等环境，保证线上不使用kerberos认证的时候，你的pyspark是可用的。如果不行，请参考我的另一篇文章，当然同样先保证你的环境是OK的，并且环境变量这些都配置好了，同时hosts中的路由也配好了。至于环境变量怎么配置，如何安装，自己查资料吧，我懒得写了写这篇文章主要是百度的可用资料太少，然后这几天刚好碰上我google用不了，再则资料太散乱了，我自己调通之后，就分享出来了。第二步：1. 将hosts中的路由配置好，具体的配置规则问hive小伙伴要2

·今天新电脑，装了个anaconda, 因为GPU也是新装的，驱动自带的cuda版本conda的源改成阿里源之后，发现很不稳定，而且碰到超过100M的包，就基本崩溃了，又慢，还经常超时，我估计是用的人实在太多了，我下一个cudatoolkit，半天下不下来。最简单的办法就是改源，我是直接改源了，本地创建太麻烦，而且还需要特殊方式。看下图， 换成中科大的：（ps: 上交大的也可以，但是上交大的下载的时候没有进度条，会比较难受，我不确定其他电脑是不是这样的）vi ~/.condarc'''