weixin_41070431的博客

原创 Vue脚手架工程中引入qs框架

导入到你想使用它的地方（通常是组件或者页面）。你可以选择全局导入或者单个文件导入两种方式之一。1.首先，打开命令行界面并切换到你的Vue项目所在的文件夹。框架，并可以根据自己的需求使用其提供的功能了。4.完成上述步骤后，你现在已经成功引入了。如果你希望在每个组件都能直接使用。这样就可以在任何组件中通过。在Vue脚手架项目中引入。2.运行以下命令来安装。

原创 脚手架中使用富文本编辑器wangEditor

3.在需要显示富文本编辑器的位置添加一个div。1.通过以下命令 安装wangEditor。2.在main.js文件中添加以下配置信息。4.在script标签中进行初始化操作。

原创 如何使用axiso发出异步请求

1.停止启动的脚手架工程 命令行中执行 npm i axios -S。2.在main.js中导入。

原创 脚手架工程使用ElementUI

【代码】脚手架工程使用ElementUI。

原创 Hadoop三大核心组建

3.YARN (Yet Another Resource Negotiator)：YARN是Hadoop的资源管理系统。1.HDFS (Hadoop Distributed File System)：HDFS是一个分布式文件系统。2.MapReduce：作为Hadoop的核心分布式计算框架。

原创 数据仓库分层

DW ：data warehouse翻译成数据仓库DW数据分层，由下到上为 DWD,DWB,DWSODS：Operational Data Store 细节数据层（操作数据存储），是业务层与数据仓库的隔离层，也被称为贴源层，是数据仓库体系结构中的一个可选部分。DWB：data warehouse base 基础数据层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。DWS：...

原创 原型、交互及界面设计阶段-产出物

原创 原型、交互及界面设计阶段的评审会

分享给大家

原创 原型、交互及界面设计工作流程

原创 AXURE的使用

一、AXURE分为软件界面分为：菜单栏、工具栏、页面、元件库、母版、设计界面、检视:页面、概要：页面，8个部分。二、AXURE的页面设计步骤：第一步：准备素材第二步：设置用例第三步：预览调试三、AXURE作用范例如下：...

原创 xmind的使用

最常用的三个快捷键：1、ENTER，生成同级目录2、Tab，生成子目录3、空格键，输入文本使用范例如下：

原创 VISIO的使用

一、基本流程图制作二、跨职能流程图制作

转载 AI产品，如何做好从零到一

分享嘉宾：腾讯翻译君产品负责人@史景慧本文为嘉宾现场分享总结整理内容，编辑有修改：随着互联网行业的发展，每隔一个阶段就会诞生一种风口型的业务；而当我们不是做这种风口型产品的时候，往往会有一种恐慌，不敢确认自己的职业能力是不是符合未来互联网的发展方向——很多人都会经历这种心理过程。在腾讯，虽然很多人觉得可以不用担心什么，但这个恐慌其实也一直伴随着我：我在做PC的时候，大家都在做移动做...

原创 产品经理VISIO操作

一、基本流程制作二、跨职能流程图

原创 HQL优化

基本原则：1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段2. on 条件字段尽量不要使用函数处理3. on 条件后面尽量不用或者少用where4. group by的字段不要使用函数处理5. 尽量避免重复计算，相同计算逻辑的sql片段考虑建临时表复用  =============5：写SQL要先了解数据本身的特点，如...

原创 com.mysql.jdbc.PacketTooBigException: Packet for query is too large

Caused by: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (3227 > 1024). You can change this value on the server by setting the max_allowed_packet' variable.at com.mysql.jdbc....

原创 Permission denied: user=root, access=WRITE, inode="/user/root/.staging":hdfs:hdfs:drwxr-xr-x

解决办法如上图，创建root目录，并将该目录赋给hdfs组的root 用户所属

原创 azkaban启动报错：Provider org.apache.xerces.jaxp.DocumentBuilderFactoryImpl not found

Provider org.apache.xerces.jaxp.DocumentBuilderFactoryImpl not found导致Could not instantiate UserManager azkaban.user.XmlUserManager。原因：缺少xerces.jar包

原创 页面分析：页面停留时间+页面路径分析

页面停留时间 通过js获取访问页面时刻的时间戳：比如js中设置ar_get_time()方法获取当前时间戳。 分析页面停留时间2.1平均页面停留时间avg(pagetime)pagetime=(1次会话时间/该会话访问的页面数)1次会话时间=该会话中最大的时间戳-该会话中最小的时间戳1次会话访问的页面数=distinct ssid 2.2单个页面停留时间avg(pa...

原创 大数据优秀书籍推荐

资源链接地址：==============================================================资源链接地址：==============================================================《数据即未来》

转载 Hbase过滤器查询

引言：过滤器的类型很多，但是可以分为两大类——比较过滤器，专用过滤器过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端；一、hbase过滤器的分类   1、比较过滤器      行键过滤器 RowFilterFilter filter1 = new RowFilter(CompareOp.LESS_OR_EQUAL, new BinaryComparator(Bytes...

原创 kafka启动：Native memory allocation (mmap) failed to map 1073741824 bytes for committing reserved memor

错误信息如下：Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12)## There is insufficient memory for the ...

原创 sqoop启动遇到的Could not find or load main class "-Djava.library.path=.usr.local.src.hadoop-2.7.1.lib"

问题描述：Error: Could not find or load main class "-Djava.library.path=.usr.local.src.hadoop-2.7.1.lib"解决办法：在hadoop-env.sh中或者/etc/profile中加入以下两行配置：export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/na...

原创 Spark Streaming运行原理

spark程序是使用一个spark应用实例一次性对一批历史数据进行处理，spark streaming是将持续不断输入的数据流转换成多个batch分片，使用一批spark应用实例进行处理。...

原创 大数据开发工程师面试题锦集

1、一个网络商城1天大概产生多少G的日志？10GB2、1天大概有多少条日志记录（在不清洗的情况下）？1千万条3、日访问量大概有多少个？几十万个独立访客4、注册数大概多少？不清楚几百万吧5、我们的日志是不是除了apache的访问日志是不是还有其他的日志？log4j日志6、你们的服务器有多少台？几十台7、你们服务器的内存多大？有的8G，有的16G8...

原创 文件很大，内存受限， 怎么统计

1. 分而治之/hash映射；2. hash统计；3.堆/归并排序。

原创 ecelipse下开发mapreduce需要导入的Jar包

hadoop-2.7.1/share/hadoop/mapreduce下的所有jar包（子文件夹下的jar包不用）hadoop-2.7.1/share/hadoop/common下的hadoop-common-2.7.1.jarhadoop-2.7.1/share/hadoop/common/lib下的commons-cli-1.2.jar...

转载 Spark 任务调度之启动CoarseGrainedExecutorBackend

概要本篇博客是Spark 任务调度概述详细流程中的第五部分，介绍CoarseGrainedExecutorBackend的启动。CoarseGrainedExecutorBackend在介绍CoarseGrainedExecutorBackend的启动流程前，先了解下CoarseGrainedExecutorBackend。我们知道Executor负责计算任务，即执行task，而Executor对...

原创 Spark On Yarn搭建

实现步骤：1）搭建好Hadoop（版本，2.7）集群2）安装和配置scala（版本，2.11）上传解压scala-2.11.0.tgz—>配置 /etc/profile文件配置示例：3）在NodeManager节点（04,05,06节点）上安装和配置Spark4）进入Spark安装目录的Conf目录，配置：spark-env.sh 文件配置示例：export JAVA_HOME=/usr/l...

原创 Hadoop2.7集群datanode都起不来解决方案

datanode起不来的原因可以是：进行了namenode格式化操作。每次进行namenode格式化都会清空namenode文件存放目录下的文件并产生一个新的clusterID，但不会清空datanode产生的数据所存放的文件夹目录下的文件，也就是datanode文件存放目录下保存的clusterID还是之前的clusterID，这导致namenode下的clusterID和datanode下的c...

原创 Hadoop2.7高可用集群搭建步骤

集群节点分配Park01 Zookeeper  NameNode (active)Resourcemanager (active) Park02Zookeeper NameNode (standby)  Park03Zookeeper ResourceManager (standby) Park04DataNode NodeManager JournalNode Park05DataNodeNod...

原创 HADOOP伪分布式namenode起不来：InconsistentFSStateException

第一步：查看日志文件，报错信息如下：InconsistentFSStateException: Directory /usr/local/src/hadoop-2.7.1-alone/tmp/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible这里的目录既然是在tmp下...

原创 JVM运行原理

java代码执行流程：① Java源文件—->编译器—->字节码文件② 字节码文件—->JVM—->机器码JVM运行原理核心掌握：JVM内存、GC垃圾回收机制

转载 RDD：spark的核心

RDD是spark的核心，也是整个spark的架构基础，RDD是弹性分布式集合（Resilient Distributed Datasets）的简称，是分布式只读且已分区集合对象。这些集合是弹性的，如果数据集一部分丢失，则可以对它们进行重建。具有自动容错、位置感知调度和可伸缩性，而容错性是最难实现的，大多数分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。对于大规模数据分析系统，数据检查...

原创 Spark性能调优

对需要重复计算的才使用 cache, 同时及时释放掉(unpersist)不再需要使用的 RDD避免使用 shuffle 运算.需要的时候尽量选取较优方案合理配置 Executor/Task/core 的参数,合理分配持久化/ shuffle的内存占比：    driver-memory: 1Gexecutor-memory: 4~8G(根据实际需求来)num-executors: 50~100e...

原创 zookeeper选举流程简述

zookeeper选举流程简述(fast-paxos)目前有5台服务器，每台服务器均没有数据，它们的编号分别是1,2,3,4,5,按编号依次启动，它们的选择举过程如下：服务器1启动，给自己投票，然后发投票信息，由于其它机器还没有启动所以它收不到反馈信息，服务器1的状态一直属于Looking。服务器2启动，给自己投票，同时与之前启动的服务器1交换结果，由于服务器2的编号大所以服务器2胜出，但此时投票...

原创 ZooKeeper的工作原理

Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式（选主）和广播模式（同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。为了保证事务...

原创 SSO单点登录流程

SSO单点登录流程：1.当用户第一次登陆时,先通过SSO单点登录系统进行登录操作.2.根据用户信息查询用户数据验证登录是否有效3.如果用户名和密码都正确,则生成ticket.并将User对象转化为JSON数据4.将ticket和UserJSON数据写入redis缓存中5.当用户登陆成功后,在cookie保存ticket信息.6.当用户再次访问前台系统时,首先根据ticket信息,查询redis缓存...

原创 Redis简介

Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sortedset --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与...

原创 Shiro配置文件

一、修改web.xml<!-- spring整合shiro安全框架 --><filter> <filter-name>DelegatingFilterProxy</filter-name> <filter-class>org.springframework.web.filter.DelegatingFil...