- 博客(61)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 mysql中关于批量插入数据（1万、10万、100万、1000万、1亿级别的数据）二
硬件：windows7+8G内存+i3-4170处理器+4核CPU关于前天写的批量插入数据，还有一种方式，就是通过预先写入文本文件，然后通过mysql的load in file命令导入到数据库，今天把这种方式也说一下，首先是main方法调用：解释一下为什么要两个参数：第一个参数是写入几次第二个参数是一次写入多少条，直观来说就是StringBuffer中存储多少条记录(目的为了测试S...
2019-01-04 22:35:00
10526
2
原创 mysql中关于批量插入数据（1万、10万、100万、1000万、1亿级别的数据）
硬件：windows7+8G内存+i3-4170处理器+4核CPU首先贴上数据库的操作类BaseDao：import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLExc...
2019-01-02 19:51:25
24517
19
原创 ssm框架下实现SSO单点登录
1.定义对象并实现可序列化接口public class Users implements Serializable { private int id; private String username; private String password; public int getId() { return id; } public void setId(int id) { ...
2018-12-08 09:38:36
4799
1
翻译 北京尚学堂--单例模式笔记
1、前言说到单例模式，最开始认识的时候是在数据库连接里面，当时也不知道为什么要采用单例模式，就是自学跟着视频里面的讲师敲代码，定义一个字段：private static DBConnectionManager instance;采用一个方法： public static synchronized DBConnectionManager getInstance() { ...
2018-08-04 11:43:17
401
原创 docker-compose下mariadb主从同步配置
目录1、docker、docker-compose安装2、mariaDB配置文件3、docker-compose文件编写4、主从同步配置5、测试1、docker、docker-compose安装参考菜鸟教程，这里不做介绍2、mariaDB配置文件主节点：mariadb-master.cnf[client]port = 3306socket = /var/run/mysqld/mysqld.sock[mysqld_safe]socket = /var/
2021-03-18 23:28:12
1186
原创 Python基础入门：从变量到异常处理--阿里云天池
系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习..
2021-03-11 22:24:38
1191
1
转载 hive中的lateral view 与 explode函数的使用
https://blog.youkuaiyun.com/guodong2k/article/details/79459282
2019-01-21 15:13:33
739
转载 MySQL教程之concat、concat_ws、group_concat的用法
Hive中的用法和此相同：https://baijiahao.baidu.com/s?id=1595349117525189591&wfr=spider&for=pc
2019-01-21 14:47:41
269
原创 阿里云1G服务器玩转Spark——Swap与Memory
博主前一段时间买了1G的阿里云服务器，然后各种折腾下，Hadoop相关生态圈基本给搭建完毕，但用到Spark时候却遇到了重大问题，进程启动一切正常，但进入spark shell客户端时候一直报OOM，到这怎么办？难道升级阿里云服务器的内存，但看了看价格，还是算了。。。办法还是人想出来的，终于经过一番艰难的寻找，终于找到了让我给找到了，下面就是今天准备给大家介绍的主人公：Swap与Memor...
2019-01-18 15:19:59
838
转载 zookeeper客户端管理命令总结
本着不要重复造轮子的态度，分享一个详细链接：https://www.cnblogs.com/chengxuyuanzhilu/p/6698059.html
2019-01-05 09:45:08
229
转载 Lock和synchronized的区别和使用
分享一个很详细的链接：https://www.cnblogs.com/baizhanshi/p/6419268.html
2019-01-03 20:06:48
263
转载 Spark Streaming性能调优详解（转）
原文链接：Spark Streaming性能调优详解 Spark Streaming提供了高效便捷的流式处理模式，但是在有些场景下，使用默认的配置达不到最优，甚至无法实时处理来自外部的数据，这时候我们就需要对默认的配置进行相关的修改。由于现实中场景和数据量不一样，所以我们无法设置一些通用的配置（要不然Spark Streaming开发者就不会弄那么多参数，直接写死不得了），我们需要根据数据量，...
2018-12-28 15:46:13
178
原创 Redis的工具类
import redis.clients.jedis.Jedis;import redis.clients.jedis.JedisPool;import redis.clients.jedis.JedisPoolConfig;import java.io.Serializable;/** * Created by lk on 2018/12/27. */public class...
2018-12-28 09:35:14
186
原创 scala练习题--Scala基础
1、在Scala REPL中，计算3的平方根,然后再对该值求平方。现在，这个结果与3相差多少？ scala> scala.math.sqrt(3) warning: there were 1 deprecation warnings; re-run with -deprecation for details res5: Double = 1.7320508075688772...
2018-12-27 09:15:53
1752
转载 scala之集合上常见的函数式风格
"过滤"相关的操作：flter:设定一个判定结果为布尔型的过滤条件，应用到集合的每一个元素上，返回的是集合里所有满足条件的元素构成的一个子集。partition：filter类型操作的一个变种，同样是设定一个判定结果为布尔型的过滤条件，应用到集合的每一个元素上，返回的是第二个元素的Tuple，第一个元素是所有满足条件的元素构成的一个集合，第二个元素是所有不满足条件的元素构成的一个...
2018-12-27 09:07:52
264
转载 scala中:: , +:, :+ , ::: , ++ 的区别
4种操作符的区别和联系:: 该方法被称为cons，意为构造，向队列的头部追加数据，创造新的列表。用法为 x::list,其中x为加入到头部的元素，无论x是列表与否，它都只将成为新生成列表的第一个元素，也就是说新生成的列表长度为list的长度＋1(btw, x::list等价于list.::(x)) :+和+: 两者的区别在于:+方法用于在尾部追加元素，+:方法用于在头部追加元素，和::很类似...
2018-12-27 09:04:07
195
原创 HBase读数据和写数据流程
Hbase架构图镇楼：HBase读数据的流程：HRegionServer保存着meta表以及表数据，要访问表数据，首先Client先去访问zookeeper，从zookeeper里面获取meta表所在的位置信息，即找到这个meta表在哪个HRegionServer上保存着。 接着Client通过刚才获取到的HRegionServer的IP来访问Meta表所在的HRegionSer...
2018-12-17 15:50:36
478
转载 Sqoop常用命令及参数
https://blog.youkuaiyun.com/liangzelei/article/details/80305988
2018-12-12 15:08:48
263
转载 Hadoop hive里的视图
原文链接：https://www.cnblogs.com/zlslch/p/6105243.html可以先，从MySQL里的视图概念理解入手 视图是由从数据库的基本表中选取出来的数据组成的逻辑窗口，与基本表不同，它是一个虚表。在数据库中，存放的只是视图的定义，而不存放视图包含的数据项，这些项目仍然存放在原来的基本表结构中。 视图可以被定义为多个表的连接，也可...
2018-12-12 10:52:05
534
原创 利用分析函数over()--去重数据
提出问题：假如有10条记录，从业务上理解是重复的，只有一个系统自动生成的id号是不同的，怎么去重只剩下一条？业务背景：三张数据表 A B C其中 A表是最大的表，包含 B和C中的数据（部分或全部）；同时，B和C之间也可能存在部分重复的数据。实现：需要写一个SQL，查询A B C三张表中的数据，要求是： 1、如果A B C三张表中都有的数据，那么只显示A表中的那...
2018-12-11 19:52:18
1580
原创 Hadoop 设置任务执行的队列以及优先级
作业提交到的队列：mapreduce.job.queuename作业优先级：mapreduce.job.priority优先级默认有5个:low very_low norman(默认) high very_highPig版本：SET mapreduce.job.queuename root.etl.distcp;SET mapreduce.job.priority HIGH;...
2018-12-10 22:05:23
1537
转载 Hadoop参数汇总(各配置文件中参数代表的含义)
https://www.cnblogs.com/shijiaoyun/p/5808052.html
2018-12-08 10:17:27
428
转载 Hadoop之HDFS基本概念
https://blog.youkuaiyun.com/weixin_35353187/article/details/82047892
2018-12-08 09:39:13
367
转载 报错kernel:NMI watchdog: BUG: soft lockup - CPU#0 stuck for 26s
发现高可用的ZK监听在运行一段时间后莫名挂掉，报错kernel:NMI watchdog: BUG: soft lockup - CPU#0 stuck for 26s原文链接：https://www.cnblogs.com/nulige/p/8000490.html近期在服务器跑大量高负载程序，造成cpu soft lockup。如果确认不是软件的问题。解决办法:#追加到配置文件...
2018-12-03 12:24:38
5264
转载 配置Redis作为缓存（六种淘汰策略）
将 Redis 用作缓存时, 如果内存空间用满, 就会自动驱逐老的数据。 默认情况下 memcached 就是这种方式, 大部分开发者都比较熟悉。LRU是Redis唯一支持的回收算法. 本文详细介绍用于限制最大内存使用量的 maxmemory 指令, 并深入讲解 Redis 所使用的近似LRU算法。maxmemory 配置指令maxmemory 用于指定 Redis 能使用的最大内存。...
2018-11-28 09:10:13
3078
转载 rsync同步工具和xsync、xcall集群脚本
rsyncrsync 远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsync 和 scp 区别：用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去。（1） 查看rsync 使用说明man rsync | more（2） 基本语法rsync -rvl $pdir/$fn...
2018-11-20 20:18:15
914
原创 shell脚本一键启动
三台主机名：s1 s2 s3xcall jps#!/bin/shpcount=$#if((pcount==0));then echo no args...; exit;fiparams=$@for((host=1; host<=3; host++)); do echo ==================s$host====...
2018-11-20 10:06:44
1575
转载 Spring声明式事务中属性解释
本文内容节选自北京尚学堂张佳明老师培训视频1. name=”” 哪些方法需要有事务控制支持*通配符2. readonly=”boolean” 是否是只读事务.如果为 true,告诉数据库此事务为只读事务.数据化优化,会对性能有一定提升,所以只要是查询的方法,建议使用此数据. 如果为 false(默认值),事务需要提交的事务.建议新增,删除,修改.3. propagation 控制...
2018-11-03 15:32:03
327
原创 mybatis中大于等于小于等于的写法
第一种写法：原符号 < <= > >= & ' "替换符号 &lt; &lt;= &gt; &gt;= &amp; &apos; &quot;第二种写法：大于等于<![
2018-10-31 11:30:50
637
原创 Mybatis运行原理源码分析
运行中涉及到的类以及源码剖析1.1 Resources：MyBatis 中 IO 流的工具类Mybatis运行的第一步首先需要加载全局配置文件(参照Mybatis官网上的例子，就是mybatis-config.xml这个文件)，加载配置文件利用了Resources的getResourceAsStream()方法，这个方法底层是去调用ClassLoaderWrapper类的getResour...
2018-10-30 15:59:22
212
转载 HBase内置过滤器的一些总结
转载自：https://blog.youkuaiyun.com/cnweike/article/details/42920547HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。通常来说，通过行键，值来筛选数据的应用场景较多。1....
2018-10-25 15:02:28
829
转载 Redis的配置文件redis.conf中的参数说明
redis.conf 配置项说明如下： 原文链接:菜鸟教程--http://www.runoob.com/redis/redis-conf.html1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程 daemonize no2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过...
2018-10-09 19:11:35
265
原创 XX公寓管理系统技术点总结
最近三天做了XX公寓管理系统，采用JSP+Servlet+Oracle的设计方式，数据库连接池采用c3p0，总体架构为三层设计模式，利用过滤器做了登陆验证和设置页面的字符编码。以上为当前小项目采用的技术，现在还没有做完，只是做了管理员的用户管理模块和角色管理两个模块，现在针对这两个模块来总结下遇到的问题：1、模糊查询序列问题这个序列问题是由于我在进行连表查询时候没有将表放在正确的位置上产生...
2018-09-26 22:09:35
5454
转载 补全状态码避免再去搜
原文链接：http://www.runoob.com/ajax/ajax-xmlhttprequest-onreadystatechange.html 菜鸟教程后面评论100——客户必须继续发出请求101——客户要求服务器根据请求转换HTTP协议版本200——交易成功201——提示知道新文件的URL202——接受和处理、但处理未完成203——返回信息不确定或不完整20...
2018-09-20 10:39:24
122
原创 视图、序列、索引、约束
视图视图(VIEW)也被称作虚表，即虚拟的表，是一组数据的逻辑表示。视图对应于一条SELECT语句，结果集被赋予一个名字，即视图名字。 视图本身并不包含任何数据，它只包含映射到基表的一个查询语句，当基表数据发生变化，视图数据也随之变化。语法： CREATE [OR REPLACE] VIEW view_name[(alias[,alias…]...
2018-09-19 19:42:54
172
转载 Java中Lambda表达式的使用
贴上原文链接：https://www.cnblogs.com/franson-2016/p/5593080.html，如有侵权，请转告，立即删除。简介(译者注:虽然看着很先进，其实Lambda表达式的本质只是一个"语法糖",由编译器推断并帮你转换包装为常规的代码,因此你可以使用更少的代码来实现同样的功能。本人建议不要乱用,因为这就和某些很高级的黑客写的代码一样,简洁,难懂,难以调试,维护人员...
2018-09-19 10:17:22
299
原创 JQuery总结
JQuery能做什么？ ·访问和操作DOM元素 ·控制页面样式 ·对页面事件进行处理 ·扩展新的JQuery插件 ·与AJAX技术完美结合注：JQuery能做的JavaScript也都能做，但使用JQuery能大幅提高开发效率。优势？ ·体积小，压缩后只有100KB左...
2018-09-18 08:42:08
190
转载 JSP分页---假分页的实现
昨天写了一个真分页的数据库查询，今天本来想写个假分页，但在浏览时候发现了一个写的比较详细的假分页知识，下面分享一下：首先贴上原文链接--https://www.cnblogs.com/yfsmooth/p/4774326.html首先还是来总结一下真假分页的优缺点和特性吧。假分页：从数据库中取出所有的数据，然后分页在界面上显示。访问一次数据库，但由于选择的数据量比较大，所以第一次花费时间比...
2018-09-14 11:45:02
820
原创 Oracle+JSP+Servlet实现的数据分页展示
前言在做任何事情之前，我们都应该清楚的知道这件事是什么以及我们为什么做这件事，分页也不例外，我们在分页之前首要要知道什么是分页？还要知道为什么要去进行分页？我们只有弄清楚了这两个问题，才能去讨论如何实现分页。首先，说一下什么是分页以及为什么进行分页(这两个概念放在一起讲最合适)？在我的认知里，分页正如字面上的意思，分成一页一页，我们从小到大应该都接触过书籍，没有哪一本书籍是放在一页上的...
2018-09-13 20:38:46
735
转载 分页技术原理与实现之分页的意义及方法（一）
转载自https://www.jb51.net/article/86326.htm。什么是分页技术 分页,是一种将所有数据分段展示给用户的技术.用户每次看到的不是全部数据,而是其中的一部分,如果在其中没有找到自习自己想要的内容,用户可以通过制定页码或是翻页的方式转换可见内容,直到找到自己想要的内容为止.其实这和我们阅读书籍很类似. 下页显示了两种常见的分页方式:分页的意义 分页...
2018-09-11 21:04:19
5840
基于Java的控制台图书购买系统
2018-08-20
eclipse-jee-indigo-SR1-win32-x86_64+jdk+1.6+.zip
2018-04-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人