- 博客(29)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 程序员的自动化系统构建
程序员每天的时间宝贵，但是又可能被各种繁杂事务干扰，导致影响到日常的工作，并且会降低输出质量，所以提出 自动化系统 的哲学代码自动化代码分块构建：常用的代码平时注意保存，做成函数，或者是lib的形式，这样在调用的时候就可以更加方便简单功能的框架预设：是上一点的升级，对于一些小工具，或者是大型工程也好，大多是由一个框架改过来的，那么在修改的过程中难免：增删改查，预设框架的目的就是为了省略 删...
2019-11-27 08:17:26
416
原创 【待完成】VIM常用插件和使用
平时检视代码常用：ctags -Rvim xxx.cctrl + ]ctrl + t目前需要搞一个自动补全功能，可能会好很多taglisttag管理nerdtree ctrlp文件管理系统winmanager多窗口nerdcommenter注释用neocomplete自动补全molokai主题vim-airline底部状态栏...
2019-10-25 16:44:37
165
原创 【待写完】C & CPP的各种测试手段
gbd神器，记几个cheatsheet就好gdb [program]gdb [program] coregdb [program] [PID]break mainbreak 100r (run)c (continue)n (next)p (print)bt (函数堆栈）finish (退出函数)q (quit)gcov是一个覆盖率测试程序profilli...
2019-10-25 15:17:56
286
转载 Linux下UDP收/发广播消息简单实现
#include<stdio.h>#include<stdlib.h>#include<string.h>#include<sys/types.h>#include<sys/socket.h>#include<sys/wait.h>#include<netinet/in.h>#include<a...
2019-10-24 08:37:43
309
原创 linux C语言 共享内存的使用
由于只在C语言环境上使用过，所以不知道C++行不行，理论上也可以共享内存基本上是不同进程间最快的通信方式，事实上如果采用不断轮询的方式的话，远比信号的管道等等要来的快。总之我们这边先讨论如何使用共享内存需要调用的库#include <sys/ipc.h>#include <sys/shm.h>在linux上， 共享内存的使用是非常方便的，其主要由三个命令构成：...
2019-10-22 20:48:44
778
原创 C++ 11和C++98，库的切换
混用C11的SO库时候，和自己本身代码一起编译时候遇到了问题：C++ 11和C++98相比有哪些新特性https://www.cnblogs.com/harlanc/p/6504431.htmlC++主流编译器整理（编译器版本–供应商–C++11支持情况）https://www.cnblogs.com/icmzn/p/5911661.html如何判断Ubuntu 16.04上的gcc/...
2019-10-22 19:43:36
1419
1
原创 【待完成】Linux SSH编程相关
VIM快捷键 & 设定显示行号~/.vimrc :set numap <F5> :call CompileRunGcc()<CR>func! CompileRunGcc() exec "w" if &filetype == 'c' exec '!g++ % -o %<' ex...
2019-10-18 17:53:29
133
原创 某Makefile详解
建议先阅读：https://seisman.github.io/how-to-write-makefile/introduction.html 跟我一起写Makefile对于以下一个makefileCFLAGS += -Wall -Wno-sign-compare -m64 -mtune=native -g -Wl,-E INCLUDES = -Iinclude -I/usr/inc...
2019-10-17 14:04:56
384
原创 【待写】大数据平台之：源码解读日记
由于是第一次进行源码解读，因此先来一篇别人的教程，然后再来别人的一篇解读来参考参考，然后再自己去解读一下试试看如何开展源码解读一个别人的解读样例正式进行源码的解读...
2019-09-24 11:09:21
253
原创 goland入门
goland project下面列举的是原生使用Go语言进行开发的部分项目。DockerDocker 是一种操作系统层面的虚拟化技术，可以在操作系统和应用程序之间进行隔离，也可以称之为容器。Docker 可以在一台物理服务器上快速运行一个或多个实例。例如，启动一个 CentOS 操作系统，并在其内部命令行执行指令后结束，整个过程就像自己在操作系统一样高效。项目链接：https://gi...
2019-09-23 09:56:46
217
原创 零基础转行大数据之：面经
按照前两天一个朋友的建议，把我参加面试的面经写下来，分享给大家【头条】接到头条猎头电话，后端岗，但有机会做大量数据处理一面已过第一个人：mysql关系数据库：角色分配，系统设计，特殊角色的人如何给出特殊的权限算法：N个数，找第K大数，经典题，leetcode原题给一个数组，求如何划分数组，使得abs（sum【A】 - sum【B】）最小，leetcode原题第二个人：HASHMA...
2019-09-20 20:23:55
320
1
原创 【待写】大数据平台之：如何成为一个Apache开发者
如何成为一名Apache开发者？或者是开源项目代码贡献者？我们知道，HR常常说，你TMD没项目，你有个开源代码贡献也行啊！所以我们就要讲讲，如何成为一名Apache开发者？？入门，如何注册，贡献方法，如何贡献，从哪里开始搞起过程、日常时间分配，每天贡献量，工作量，代码阅读量的要求要求最后达到的结果更好的结果成为一名全职开源贡献者。。。就像鱿鱼西那样的。。...
2019-09-19 17:52:38
471
1
原创 【待写】CentOS 7大数据平台之：项目寻找
我们知道面试官很喜欢问那种7788的项目，然后你TMD的又没有这个项目，这可咋整？要求接下来我们找几个项目来搞一搞，自娱自乐一下，基本要求最好是完成从端到端的设计开发（数据采集，存储，处理、分析，输出）的过程并且要用START法描述清楚这个项目项目1项目2...
2019-09-19 17:49:31
127
原创 【待写】CentOS 7大数据平台之：面试题分析
我打印，整理并筛选了晚上我能搜到的并且有价值的【中文】面试题，然后找一下答案，没有答案的我尽量用自己的语言来描述，欢迎拍砖。后面考虑加入英文面试题，还有实际的大数据项目题...
2019-09-19 17:44:01
525
原创 CentOS 7大数据平台之：ambari部署
为什么放弃UBUNTU转到centos如前人经验所说，ubuntu的系统确实不太稳定，在我的开发过程中，手上的三个ubuntu虚拟机运行过程中有时候常会弹出错误弹窗，但是要汇报错误之类的，并且有时候start-all.sh之后并不是所有的node都能起来，常常出现要运行两次namenode才起来，或者是namenode运行一半就自动消失了的情况，看log的话网上的解决思路和我的问题背景不太一样...
2019-09-19 17:41:41
217
原创 基础如何转行大数据之：裸辞，心路历程
先做个我个人的背景介绍吧985毕业，德国交换生，英语德语流利，然而对技术没有什么卵用，放弃在德国柏林工业大学读研的机会，回来华为上班。我本来在华为做程序员，原来做的是嵌入式系统开发，主要给5G基站做电源管理系统，后来做操作系统移植，经常接触C语言，汇编，有时候需要写python脚本，干活头半年非常卖力，学习了很多东西，加薪、加奖金也有不少，但是到了后面渐渐发现这个行业可以深挖的东西不多，再继续...
2019-09-18 12:09:48
626
原创 ubuntu 16.04 大数据开发之：第一个MR程序的编写
MR程序是基于hadoop开发的mapreduce程序，主要的操作对象是HDFS，话不多说，我们先来个小实例：实例1
2019-09-18 11:34:30
232
原创 ubuntu 16.04 搭建完全分布式之：HIVE搭建
对于hadoop集群来说，任何一个服务器按我理解都是可以弄hive的，反正hive就是个关系数据库，应该都是可以的反正我在namenode机器上面弄的哎……昨天写了好多，然后我以为相同的提交页面也是可以用的，结果我就把HIVE的那个页面提交了一下FLUME。。结果就TMD覆盖啊，我悔恨啊！我就大概记录一下HIVE的搭建过程，然后记录一下坑有哪些吧hadoop 2.7.7介绍HIVE和H...
2019-09-16 16:19:05
657
原创 RPC文章摘录
如何给老婆解释什么是RPChttps://www.jianshu.com/p/2accc2840a1b简单的Hadoop RPC实例https://blog.youkuaiyun.com/beidiqiuren/article/details/51658562Hadoop之RPC简单使用(远程过程调用协议)https://www.cnblogs.com/qq503665965/p/6708644.h...
2019-09-16 10:38:43
97
原创 ubuntu 16.04 hadoop完全分布式之HBASE搭建
HBASE是基于HDFS的一个大型nosql数据库，相当于谷歌的big table，和HIVE相比，他主要用于实时数据提取场景，获取数据应该很快搭建我的HBASE 是 1.3.5hadoop 2.7.7拷贝hdfs-site.xml core-site.xml zoo.conf到hbase/conf里面vi /etc/profile 添加HBASE的bin修改hbase-env.sh...
2019-09-16 01:02:23
511
原创 ubuntu 16.04 搭建hadoop HA完全分布式系统
根据参考文件，本文的布置环境如下：VMWARE 14双核单CPU4G内存（建议一定要4G）三个虚拟机hadoop vesion 2.7.7布置方案：先设置zookeeper，然后对两个namenode进行format然后zookeeperformat然后run 起来配置文件core-site.xml<?xml version="1.0" encoding="UTF-8...
2019-09-16 00:54:56
318
原创 ubuntu 16.04 搭建完全分布式之：flume搭建，LOG4J配合使用，MAVEN工程初探
对于hadoop集群来说，任何一个服务器按我理解都是可以弄hive的，反正hive就是个关系数据库，应该都是可以的反正我在namenode机器上面弄的布置mysqlsudo apt install mysql-server不要安装ubuntu自带的connector，那个东西弄了个链接到hive/lib里面结果用不了我的mysql版本是5.7然后sudo mysql_secure_...
2019-09-16 00:44:40
218
原创 在google cloud建立hadoop，JAVA安装，伪分布模式
参考链接一开始看的这个https://blog.youkuaiyun.com/kh896424665/article/details/78765175结果发现第一个教程有的设置defaul.sh的脚本有点问题，然后参考了下面印度风味的教程https://docs.google.com/document/d/1CJ2hxxz8KHHd38FmXePNq3TqVtMqYKrOjL2a3356N1Y/edi...
2019-09-07 23:46:36
286
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人