- 博客(11)
- 收藏
- 关注
RSS订阅原创 阿里spark环境读取arango连接失败问题
大家好，我是爱学习的张三，前段时间遇见一个spark连接arango（自己搭建的数据库服务器）超时的问题，先说说问题的场景吧，我们项目需要读取arango数据的部分表数据，写了一个spark算法，读取odps数据然后根据key查询arango表，使用local模式在调度机器提交spark程序的时候，程序是没问题的（因为调度机和arango服务器网络是通的），然使用yarn-client模式提交代码...
2019-10-22 10:19:19
342
原创 odps抽取数据乱码问题之问题根源和解决方法
上一篇讲述的odps抽取源数据odps乱码问题，现在找到原因了是因为在用sql脚本抽取odps数据的时候，服务器会将抽取的数据按默认的编码转换，所以就出现了乱码，解决办法就是将服务器的编码修改 可以 locate 查看编码 ，然后在配置在用户文件中.base_profile中最后添加LANG="zh_cn.utf-8",然后source一下，再重新抽取数据，上一篇讲述的问题都迎刃而解...
2019-09-11 15:58:52
1744
原创 odps抽取数据乱码问题
今天开发出现了这样的一个情况，使用阿里云的的odps（max_compute）数仓抽取数据的时候出现了中文乱码问题，我们从其他odps表抽取数据，源数据字段类型为string，我们抽取字段类型为varchar，然后就出了乱码，然后我就把自己表的varchar改成string，数据抽取后不会乱码，但是包含中文的数据不支持查询，like和=都无法查询到中文，包含中文的关联查询都不能正常使用，然...
2019-09-10 21:38:18
1357
2
原创 linux下安装Mysql数据库
大家好,我是爱学习的张三,今天我们来学习一下在服务器上安装Mysql数据库第一步:下载mysql包下载地址 http://dev.mysql.com/downloads/mysql/者使用wget下载：wget http://dev.mysql.com/get/Downloads/MySQL-5.6/MySQL-5.6.22-1.el6.i686.rpm-bundle.tar第...
2019-01-13 21:34:39
201
原创 单例模式
大家好我是爱学习的张三:今天我们来看看实际中经常用到的单例模式的两种写法: 第一种; double check 双重检查public class DubbleSingleton { private static DubbleSingleton ds ; public static DubbleSingleton getDs(){ if(ds =...
2019-01-12 15:22:27
141
原创 ActiveMQ入门案例
目录大家好我是爱学习的张三,今天我们来简单的学习一下ActiveMQ消息队列首先来啰嗦一下activemq是什么东西ActiveMQ是Apache出品,最流行的,能力最强劲的开源消息总线,是一个完全支持JMS和J2EE规范的JMS Provider实现可以说ActiveMQ是在业界应用最广泛,当然想要有更强大的性能和海量数据处理能力,ActiveMQ还需不断的升级,很多业务Acti...
2018-12-25 13:42:05
997
原创 虚拟机的本地yum配置
使用的硬件：VMware Workstation -12版本镜像文件：CentOS-6.4-x86_64-bin-DVD1.iso本人最近在学习大数据，现在是环境安装的环节不得不说环境的安装确实也是下了好大的功功夫，本来我有两台机器，一台安装好了，另外一台却出现了问题，所以在此写下该博客供自己和其他博友参考，好了 不多说了 直接开始吧。。首先VM和ISO镜像我就不提供了，各位看官自行下...
2018-12-08 17:32:09
4664
转载 ActiveMQ的初步入门(参照某位大神的帖子做的笔记)
步骤一:下载apache-activeme-5.2.0.zip解压包(尝试了几下 下载的这个版本之前的不知道什么原因不能下载) http://activemq.apache.org/download.html 下载之后貌似什么都不用干了,直接在bin目录下打开运行.bat结尾的文件就行了(或者在cmd中找到该文件的bin目录下 启动服务)步骤二:使用maven管理项目 需要在p
2017-03-31 20:36:41
366
转载 rabbitMQ初步学习
问题一:为什么使用消息队列对于一个业务比较小的系统，以前的做法是直接通过一个项目集成了所有业务，比如是一个商城系统，登陆，注册，购物车，支付功能等等，一个系统把所有的事情做完了，但是随着业务的不断扩张，单纯的单一系统，已经不能再适应这个系统，我们很多时候回对整个系统进行解耦，进行分布式的开发，把一些功能细化出去，形成各种各样的子系统，那么问题来了，由于两个不同的服务器之间，两者是如何进行消息的
2017-03-31 15:11:59
1864
原创 Crm项目中的环境搭建和一些细节问题
一:前言:项目的就是和房子一样 环境的搭建就是一个房子的核心框架 一个没有环境的项目是不可能将项目完整的运行起来的 所以环境的搭建就是项目中的核心环节 但是具体的项目开发中一般都是有项目经理讲环境搭建 做为初级的程序员必须看的懂环境的搭建 下面我讲讲诉一个由练习项目到项目开发过度的小型项目Crm项目的一些环境搭建和一些细节问题(基本都是参考博客老师的讲解 我作为自己的复习资料供各位大神参
2016-12-05 21:44:28
1236
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人