Baron_ND的博客

前言：在这个知识分享的爆炸时代,鉴于java生态的完整和繁荣,各种框架、中间件和工具包供我们使用。连新培训出来的人都知道ssm,微服务、集群、多线程、队列、高并发等技术,技术的间隔性正变得越来越小,仿佛我们只需要按部就班的去使用别人说的框架等技术就可以解决问题.如果刨除redis、rabbitmq、kafka、dubbo、springcloud这些具体的技术框架，你有没有静下心来真正思考过架构是什么呢？这些框架是究竟是扮演怎么样的角色？如果让你给架构下一个定义,你会选择如何去描述架构呢？背景: 从当时流行

1Spark Thrift Server 介绍Spark Thrift Server 是Apache Spark社区基于HiveServer2实现的一个Thrift服务，旨在无缝兼容HiveServer2。它通过JDBC接口将Spark SQL的能力以纯SQL的方式提供给终端用户。这种“开箱即用”的模式可以最大化地降低用户使用Spark的障碍和成本。我们先从传统的 Spark 作业提交方式入手，谈谈 Spark Thrift Server 具备的优势。1.1 传统作业方式在没有 Spark Thri

18年项目总结如果在运行spark的时候，有时候环境的问题需要引入其他的jar包，那么我们可以使用--driver-class-path $HBASE_HOME/lib/*:classpath也可以以在脚本前面执行export ****生成当前需要的环境当前我们集群使用的版本 jdk1.8 spark2.11 hive2.1.1 hbase1.3.0 hadoop2.7.3 zookeepe...

18年工作总结运行hfile入hbase库的时候，包Hconfig类找不到 classnotfoundException，问题出在亚马逊新搭建的环境需要配置$HBASE_HOME/*配置hbase的环境，然后在我们执行的load.sh的时候，加上这个环境变量就好了。 .如果在发现环境问题，可以看看echo ，有时候，自己加的环境变量会失效，需要 source /etc/profile 生效一...