
hadoop
life_+
这个作者很懒,什么都没留下…
展开
-
(三)JDBC-SQL注入漏洞和CRUD操作之PreparedStatement
一、SQL注入漏洞分析1、分析2、测试public class UserDao { /** * 完成用户登录的方法:解决SQL注入漏洞 * @param username * @param password * @return */ public boolean login2(String username,String password){ Connection conn = null; Prepa...原创 2020-07-19 13:07:37 · 250 阅读 · 0 评论 -
hive(一)介绍
一、Hive介绍维基百科:https://cwiki.apache.org/confluence/display/Hive1、简介Apache Hive是一个建立在Hadoop架构之上的数据仓库。它能够提供数据的精炼,查询和分析。Apache Hive起初由Facebook开发,目前也有其他公司使用和开发Apache Hive,例如Netflix等。亚马逊公司也开发了一个定制版本的Ap...原创 2019-03-26 18:43:56 · 492 阅读 · 0 评论 -
MapReduce
一、介绍 MapReduce是一种分布式计算模型,是Google提出的,主要用于搜索领域,解决海量数据的计算问题。MR有两个阶段组成:Map和Reduce二、架构 MapReduce 框架结构 一个完整的 mapreduce 程序在分布式运行时有三类实例进程: 1、MRAppMaster:负责整个程序的过程调度及状态协调 2、MapTask...原创 2019-05-25 15:48:52 · 150 阅读 · 0 评论 -
HDFS文件系统
一、HDFS 介绍HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统。是Hadoop 核心组件之一,作为最底层分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景,它们为存储和处理超大规模数据提供所需的扩展能力。二、Name...原创 2019-05-25 14:28:42 · 294 阅读 · 0 评论 -
二、环境搭建
一、环境搭建1、关闭防火墙 查看防护墙状态 service iptables status 关闭 service iptables stop 查看防火墙开机启动状态 chkconfig iptables --list 关闭开机启动...原创 2018-02-07 13:34:33 · 200 阅读 · 0 评论 -
Hbase 工具类
/** * 创建表、删除表、新增数据、查询数据(get、scan、scan filter) */public class HBaseUtil { private static Connection connection; public static ArrayList<ArrayList<Map<String, String>>> s...原创 2018-12-02 14:50:38 · 490 阅读 · 0 评论 -
solrcould javaAPI测试
public class SolrTest {```private CloudSolrServer solrServer;@Beforepublic void createSolrServer() { // zkHost:zookeeper的地址列表 String zkHost = "192.168.8.100:2181,192.168.8.101:2181,192.168.8....原创 2018-12-02 14:47:00 · 212 阅读 · 0 评论 -
Hbase shell
HBase shell一、kerberos认证命令 kinit -kt */*.keytab hbase二、表的管理1、查看表的列表 list2、创建表语法:create 't1', {NAME => 'f1', VERSIONS => 1}, {NAME => 'f2', VERSIONS => 1} create 'tablenam...原创 2018-12-02 14:35:06 · 263 阅读 · 0 评论 -
一、大数据介绍
一、常见概念HDFS-Hadoop分布式文件系统,GFS的java的开源实现,运行于大型商用机器集群,可实现分布式存储。MapReduce-一种并行计算框架,Google Mapreduce 模型java开源的实现,基于其写出来的应用程序能够运行再有上千个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理T级以上的数据集。Zookeeper-分布式协调系统Hbase-基...原创 2018-01-30 15:53:24 · 455 阅读 · 0 评论