- 博客(17)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 中国电信次800M频段学习
本文中次800M频段指的是821~825MHz（上行）/866~870MHz（下行）频段，共计5MHz x 2带宽。目前中国电信ＣＤＭＡ网络运营频率为８００ＭＨｚ，具体为８２５～８３５ＭＨｚ（上行）／８７０～８８０ＭＨｚ（下行）频段，共计１０ＭＨｚＸ２带宽，共有２８３、２４２、２０１、１６０、１１９、７８和３７这７个频点。中国电信ＣＤＭＡ网络利用这７个频点分别发展２Ｇ（１ｘ）和３Ｇ（ＥｖＤＯ）网...
2019-10-09 10:05:42
5720
原创 监控摄像头数据采集系统
这是我第一个参与完整的JavaWeb项目，前端html5，后端Spring、SpringMVC和Mybatis框架，只有简单的数据库SQL查询。在此，感谢鹏哥、丹哥和敏哥，还有温先森。https://pan.baidu.com/s/1MKm0DF_kYGvioK7E3zc6fQ...
2018-08-28 16:17:51
3599
原创 tomcat配置tomcat-users.xml登录密码
直接将下面这段复制黏贴<tomcat-users><!-- NOTE: By default, no user is included in the "manager-gui" role required to operate the "/manager/html" web application. If you wish to use this app, ...
2018-08-17 16:34:26
889
原创 eclipse没有run on server和Dynamic Web Module提示java 1.6 or newer
解决方法：WEB项目右键，Properties——Project Facets——同时勾选Dynamic Web Module、Java、JavaScript，刷新到能点Apply为止就行了。参考：https://blog.youkuaiyun.com/road_walker/article/details/74375100...
2018-08-06 10:45:44
410
原创 web日志预处理（数据清洗）day10
1、需求：对web访问日志中的各字段识别切分去除日志中不合法的记录根据KPI统计需求，生成各类访问请求过滤数据 2、实现代码：a)定义一个bean，用来记录日志数据中的各数据字段public class WebLogBean { private String remote_addr;// 记录客户端的ip地址 private String remote_user;// 记录客户...
2018-07-09 18:22:25
1359
原创 Mapreduce原理全剖析过程
1.mapreduce原理全剖析map+shuffle+reducer wordcount为例 1.mapper开始运行，调用InputFormat组件读取文件逻辑切片（逻辑切片不是block块，切片大小默认和block块大小相同） 2.经过inputformat组件处理后，文件以<k,v>的形式进入我们自定义的mapper逻辑 3.mapper逻辑中输出结果会调用Ou...
2018-07-06 16:46:22
2575
1
原创 mapreduce框架设计思想
1、mapreduce框架设计思想 mapreduce结构 一个完整的mapreduce程序在分布式运行时有三类实例进程： 1、MRAppMaster：负责整个程序的过程调度及状态协调 2、mapTask：负责map阶段的整个数据处理流程 3、ReduceTask：负责reduce阶段的整个数据处理流程运行流程：以wordcount（单词统计）为例 分析： 假如要统计三个文件中每个单词出现的次数 ...
2018-07-03 16:44:13
1199
原创 HDFS的namenode管理元数据机制及一些问题
namenode对数据的管理采用了三种存储形式： 内存元数据(NameSystem) 磁盘元数据镜像文件 数据操作日志文件（可通过日志运算出元数据） 元素据存储机制 1、内存中有一份完整的元数据(内存meta data) 2、磁盘有一个“准完整”的元数据镜像（fsimage）文件(在namenode的工作目录中) 3、用于衔接内存metadata和持久化元数据镜像fsimage之间的操作日志（ed...
2018-07-02 18:38:53
1440
原创 客户端向HDFS读写数据机制
1、HDFS集群角色介绍1.HDFS集群分为两大角色：NameNode、DataNode (Secondary Namenode)2.NameNode负责管理整个文件系统的元数据3.DataNode 负责管理用户的文件数据块4.文件会按照固定的大小(blocksize，2.x以后默认是128M)切成若干块后分布式存储在若干台datanode上5.每一个文件块可以有多个副本，并存...
2018-07-02 18:34:56
1798
原创 HADOOP生态圈以及各组成部分的简介
传智大数据day06重点组件：HDFS：分布式文件系统，隐藏集群细节，可以看做一块儿超大硬盘 主：namenode,secondarynamenode 从：datanodeYarn：分布式资源管理系统，用于同一管理集群中的资源（内存等） 主：ResourceManager 从：NodeManagerMAPREDUCE：分布式运算程序开...
2018-06-29 15:26:07
2421
转载 RPC
在校期间大家都写过不少程序，比如写个hello world服务类，然后本地调用下，如下所示。这些程序的特点是服务消费方和服务提供方是本地调用关系。而一旦踏入公司尤其是大型互联网公司就会发现，公司的系统都由成千上万大大小小的服务组成，各服务部署在不同的机器上，由不同的团队负责。这时就会遇到两个问题：1）要搭建一个新服务，免不了需要依赖他人的服务，而现在他人的服务都在远端，怎么调用？2）其它团队要使用...
2018-06-27 15:39:13
194
原创 线程
传智大数据day04，08.并发包中各种线程池的用法及future获取任务返回结果的机制。进程：它是内存中的一段独立的空间，可以负责当前应用程序的运行。当前这个进程负责调度当前程序中的所有运行细节。多线程：在一个进程中，我们同时开启多个线程，让多个线程同时去完成某些任务（功能）。(比如后台服务系统，就可以用多个线程同时响应多个客户的请求)启动的QQ聊天软件，需要和多个人进行聊天。这时多个人之间是不...
2018-06-26 17:29:34
203
原创 Zookeeper
Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务A、zookeeper是为别的分布式程序服务的B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务……D、虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个...
2018-06-25 17:29:18
210
原创 单元模块测试无法插入MYSQL，junit报错class path resource [beans.xml] cannot be opened because it does not exist
org.springframework.beans.factory.BeanDefinitionStoreException: IOException parsing XML document from class path resource [beans.xml]; nested exception is java.io.FileNotFoundException: class path res...
2018-06-01 16:51:28
830
原创 关于JAVA往MYSQL写入中文，SQLyog显示为问号的解决方法。
<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE hibernate-configuration PUBLIC "-//Hibernate/Hibernate Configuration DTD 3.0//EN" "http://hibernate.sourceforge.net/hibernate-configuration-3.0...
2018-05-29 11:04:41
1652
1
转载 解决Navicat无法连接到MySQL的问题
最近遇到了一件非常棘手的问题，用Navicat远程连接数据库居然连接不到，真是头都大了。 网上查阅了一下原因，原来是没有开通远程权限，好吧，下面我就来回忆一下自己怎么处理这问题的！大家都知道，用Navicat连接数据库一般是这样连得：问题整理以及解决办法错误一：错误原因：本地IP（xxx.xxx.xxx.xxx）没有访问远程数据库的权限。于是下面开启本地IP（xxx.xxx.xxx.xxx）对远程...
2018-05-17 15:42:32
104909
4
转载 CentOS 6.7安装配置LAMP服务器(Apache+PHP5+MySQL)
准备篇：1、配置防火墙，开启80端口、3306端口vi /etc/sysconfig/iptables-A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT #允许80端口通过防火墙-A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT #...
2018-05-11 11:19:12
1042
MySQL-server和MySQL-clien
2018-03-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人