- 博客(94)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python爬虫试手
第一步是先爬取详情页的数据，发现页面数据是js渲染出来的，直接用请求获取不到信息，于是使用selenium来模拟浏览器实际请求，然后需要的各个标签值也都没有id，就根据class来获取值的列表，具体方法为。大体需求是需要爬取详情页内的信息，详情页有一定格式规律，但是详情页需要从列表页跳入，列表页中的每一条记录需要鼠标悬停才会弹出跳转链接，点击后才可跳转，然后将数据存在excel中，一个个解决吧。同事让帮忙在某个网站爬点数据，首次尝试爬虫，遇到的问题及解决思路记录下。
2023-07-18 10:06:16
1873
转载 JAVA的PreparedStatement和addBatch()方法
本文介绍两个内容，为什么使用PreparedStatement的addBatch()方法？以及使用PreparedStatement的好处。一、addBatch使用方法昨天用JAVA做了一个导表的功能，数据量非常多，使用下面的缓冲方法非常使用。1. 建立链接 Connection connection =getConnection();2. 去掉自动提交功能 Commitc...
2018-09-02 23:24:37
6594
转载 https://blog.youkuaiyun.com/qq_23167527/article/details/77994677
问题：我原本想在5的位置用成员变量2，但是因为位置5所在的方法时static的，怎么办？？第一步：在位置1写注解@Component 使当前类成为一个bean对象。(@Controller,@service都行)第二步：在位置3写个static的变量第三步：写个@PostConstruct注解注解注释的方法，在这个方法里，将位置2的值赋值给位置3.第四步：就可以在位置5处用位置...
2018-09-01 13:43:13
10899
转载 Nginx日志按天切割及日志基本配置说明
转自https://blog.youkuaiyun.com/RobertoHuang/article/details/699308901.Nginx日志基本配置说明声明日志格式: access_log logs/access.log main; 声明log log位置 log格式;定义日志格式(以下为常用的日志格式 可各自按...
2018-08-27 11:02:04
9852
1
转载 hprof教程
https://blog.youkuaiyun.com/jediael_lu/article/details/44016871大部分内容参考http://www.linuxidc.com/Linux/2012-04/58178.htm J2SE中提供了一个简单的命令行工具来对java程序的cpu和heap进行 profiling，叫做HPROF。HPROF实际上是JVM中的一个native...
2018-08-03 11:22:47
2970
转载 Java程序内存分析：使用mat工具分析内存占用
https://www.cnblogs.com/AloneSword/p/3821569.html在工作中可能会遇到内存溢出这种灾难性的问题，那么程序肯定是存在问题，找出问题至关重要，上一篇文章讲了jmap命令的使用方法，当然用jmap导出的文件我们也看不懂啊，那就交给memory analyzer(mat)这个工具，让他帮助我们来观察程序的内存分布情况吧。 1. 用jmap生成堆信息...
2018-08-03 11:21:20
1319
转载 SpringBoot+Mybatis+druid(基于maven)
# PS：项目是基于maven配置的1. 添加Mybatis和druid的依赖在maven的pom.xml中添加依赖 添加mybatis依赖 <!--io.swagger.mybatis--> <dependency> <groupId>org.mybatis.spring.boot</groupId&...
2018-07-08 21:58:05
851
转载 使用maven创建spring-boot项目
前期准备安装maven：下载->安装->配置环境变量。下载链接:http://maven.apache.org/download.cgi安装eclipse：eclipse-jee-neon-3-win32-x86_64 下载链接:https://www.eclipse.org/downloads/创建maven项目1.eclipse: file->new->maven pr...
2018-07-07 21:58:56
533
转载 Spring Boot干货系列：（二）配置文件解析
转自https://www.cnblogs.com/zheting/p/6707036.html前言上一篇介绍了Spring Boot的入门，知道了Spring Boot使用“习惯优于配置”（项目中存在大量的配置，此外还内置了一个习惯性的配置，让你无需手动进行配置）的理念让你的项目快速运行起来。所以，我们要想把Spring Boot玩的溜，就要懂得如何开启各个功能模块的默认配置，这就需要了解Spr...
2018-06-27 23:01:12
178
转载 图文并茂超详细搭建redis缓存服务器(nginx+tomcat+redis+mysql实现session会话共享)
图文并茂超详细搭建redis缓存服务器(nginx+tomcat+redis+mysql实现session会话共享)。一、redis介绍redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。与memcached一样，...
2018-06-19 22:49:35
2620
1
转载 Linux下杀毒软件clamav的安装和使用
最近发现有台服务器中毒了，手动去查杀总是会有遗漏，最后安装了Linux下的杀毒软件clamav，使用起来还是不错的。环境：Linux 6.8版本：clamav-0.99.2.tar.gz依赖关系：yum install pcre* zlib zlib-devel libssl-devel libsslopenssl version 0.9.8 or higher一.安装clamav有两种方法安装：...
2018-05-11 16:51:13
6992
1
转载 缓存穿透，缓存击穿，缓存雪崩解决方案分析
转自https://blog.youkuaiyun.com/zeb_perfect/article/details/54135506前言设计一个缓存系统，不得不要考虑的问题就是：缓存穿透、缓存击穿与失效时的雪崩效应。缓存穿透缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时被动写的，并且出于容错考虑，如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询，失去了缓存的意义...
2018-05-07 17:29:02
216
转载 三大表连接方式详解之Nested loop join和 Sort merge join
在早期版本，Oracle提供的是nested-loop join，两表连接就相当于二重循环，假定两表分别有m行和n行 如果内循环是全表扫描，时间复杂度就是O(m*n) 如果内循环是索引扫描，时间复杂度就是O(m*㏒n) 而hash join的时间复杂度是O(m*n) 因此10g后，hash join成为缺省的连接方法 对于三...
2018-05-04 11:54:12
6382
转载 docker启动mysql
首先是pull image，这里我拉取的是5.6.35:1$ sudo docker pull mysql:5.6.35 拉下来以后大可以按照官方的说明无脑启动，但是外部无法访问，所以绑定端口:1$ sudo docker run --name mysql -p 12345:3306 -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql:5.6.35 试着用客户...
2018-03-12 23:27:24
6703
转载 UML类图与类的关系详解
在画类图的时候，理清类和类之间的关系是重点。类的关系有泛化(Generalization)、实现（Realization）、依赖(Dependency)和关联(Association)。其中关联又分为一般关联关系和聚合关系(Aggregation)，合成关系(Composition)。下面我们结合实例理解这些关系。基本概念类图（Class Diagram）: 类图是面向对象系统建模中最
2018-01-09 22:49:26
470
转载 使用本地JConsole监控远程JVM(最权威的总结)
问题背景 Tomcat经常崩溃crash，想看看JVM内存使用情况，就想到了用Jconsole监控，以前只是监控本地的JVM，这次要监控远程的，遇到了不少问题。 经过几个小时的努力，参考了众多网友的资料之后，才最终解决了这个问题。 比较坑爹的是，网上的资料，竟然没有一个是：完美无缺的，没有一篇文章提到了“jmxremote.access”这个文件的重要性。
2018-01-09 22:48:15
659
转载 Eclipse中Cannot nest src folder解决方法
下面是工程中出现的问题:Cannot nest 'Project/src/main/java' inside library 'Project/src 如果你的classpath中导入了web app libraries中可能就会找到project/src,本来这里是放包的，这样他还会造成另一个结果，就是WEB-INF/classes中编译后还包含了源文件。网上找到解决方法
2017-11-13 17:24:12
6197
转载 centOS安装telnet(在线和rpm包安装）
在执行telnet时会提示命令不存在，此时输入命令 rpm -qa telnet-server ，若无输出内容，则表示没有安装。1.在线安装分别执行如下两个命令：yum install telnetyum install telnet-server2.rpm包安装下载对应的rpm包：下载地址 http://vault.centos
2017-09-12 14:32:42
625
原创 新建maven工程并打出可执行jar包
1、New -> Project... 选择 Maven Project, 点击Next >2、在Select projrect name and location界面，各选项如下图，点击Next >3、在Select an Archetype界面，选择maven-archetype-quickstart，点击Next >4、在Specify A
2017-08-11 00:51:21
1011
转载 jvisualvm远程监控Tomcat
网上已经有很多这方面的资料，但有些很杂乱，这里做了整理总结。 一.Java VisualVM 概述 对于使用命令行远程监控jvm 太麻烦 。 在jdk1.6 中 Oracle 提供了一个新的可视化的。 JVM 监控工具 Java VisualVM 。jvisualvm.exe 在JDK 的 bin 目录下。 双击启动 Java Visua
2017-08-10 23:47:31
430
转载 jmap,jhat分析内存
分析JAVA Application的内存使用时，jmap是一个很实用的轻量级工具。使用jmap可以查看heap空间的概要情况，粗略的掌握heap的使用情况。也可以生成heapdump文件，再使用jhat通过web浏览器具体分析内容中的对象和数据。jmap是JDK自带的一个工具，非常小巧方便，其支持参数如下：-heap 打印heap空间的概要，这里可以粗略的检验hea
2017-08-10 11:06:55
838
转载 JVM GC调优一则--增大Eden Space提高性能
缘起线上有Tomcat升级到7.0.52版，然后有应用的JVM FullGC变频繁，在高峰期socket连接数，Cpu使用率都暴增。思路思路是Tomcat本身的代码应该是没有问题的，有问题的可能是应用代码升级，或者环境改变了，总之Tomcat的优先级排在最后。先把应用的heap dump下来分析下：jmap -dump:format=b,file=path pi
2017-08-10 01:29:40
466
转载 JVM性能调优之生成堆的dump文件
最近因项目存在内存泄漏，故进行大规模的JVM性能调优 ， 现把经验做一记录。一、JVM内存模型及垃圾收集算法 1.根据Java虚拟机规范，JVM将内存划分为：New（年轻代）Tenured（年老代）永久代（Perm） 其中New和Tenured属于堆内存，堆内存会从JVM启动参数（-Xmx:3G）指定的内存中分配，Perm不属于堆内存，有虚拟机直接分配，但可以通过
2017-08-10 01:28:11
356
原创 tomcat查看内存使用情况
配置tomcat可查看内存使用情况：修改tomcat/conf/tomcat-users.xml 3、进入了Server Status页面，可以在JVM表格中看到
2017-08-10 01:05:30
2467
转载 Spring aop 原理及各种应用场景
Spring aop 原理及各种应用场景时间 2015-01-05 20:19:36 IT社区推荐资讯原文 http://itindex.net/detail/52418-spring-aop-原理主题 AOP SpringAOP是Aspect Oriented Programing的简称，面向切面编程。AOP适合于那些具有横切逻辑的应用：如性能监测，访问控
2017-07-25 22:31:19
606
转载 JProfiler入门笔记
1 前言 开始之前，我问自己，为什么要学习jProfiler？ 回答之前先让我们来看看什么是jProfiler：JProfiler是一个商业授权的Java剖析工具，由EJ技术有限公司，针对Java EE和java SE应用程序开发的。它允许两个内存剖面评估内存使用情况和动态分配泄漏和CPU剖析，以评估线程冲突。JProfiler直觉式的GUI让你可以找到性能瓶颈、抓出内存
2017-07-25 17:18:33
445
转载 eclipse Git插件Team中不显示
主要原因： eclipse版本git版本不对应解决方案： 卸载git插件，安装对应版本的git插件卸载git插件,加载干净结果：help->about eclipse中不显示git help->installion detail->instaled softwahore, 选中对应的git, 点击下方uninstall；如果还存在git插件,在eclipse安装文件, 找到
2017-07-11 01:07:05
3027
转载 秒杀系统架构分析与实战
目录1 秒杀业务分析2 秒杀技术挑战3 秒杀架构原则4 秒杀架构设计5 大并发带来的挑战6 作弊的手段：进攻与防守7 高并发下的数据安全8 总结转载: 秒杀系统架构分析与实战1 秒杀业务分析正常电子商务流程（1）查询商品；（2）创建订单；（3）扣减库存；（4）更新订单；（5）付款；（6）卖家发货秒杀业务的特性（1）
2017-07-09 22:51:53
423
转载 kettle性能及效率提升
Kettle数据处理的过程中难免会遇到性能瓶颈，因此性能及效率的提升成为摆在面前的问题，因此笔者罗列一些常用的优化建议。kettle优化索引的正确使用数据抽取SQL优化kettle优化尽量使用数据库连接池；尽量提高批处理的commit size；尽量使用缓存，缓存尽量大一些（主要是文本文件和数据流）；Kettle 是Java 做的，尽量用大一点的内存参数启动Kettle
2017-07-08 13:29:53
1298
转载 tomcat查看GC信息
tomcat启动参数，将JVM GC信息写入tomcat_gc.logCATALINA_OPTS='-Xms512m -Xmx4096m -XX:PermSize=64M -XX:MaxNewSize=128m -XX:MaxPermSize=64m -XX:ParallelGCThreads=8 -XX:+UseConcMarkSweepGC -Xloggc:/var/log/searc
2017-07-04 00:54:45
1207
转载 MySQL explain执行计划解读
本文我们主要介绍了MySQL性能分析以及explain的使用，包括：组合索引、慢查询分析、MYISAM和INNODB的锁定、mysql的事务配置项等，希望能够对您有所帮助。1.使用explain语句去查看分析结果 如explain select * from test1 where id=1;会出现：id selecttype table type possible_keys key
2017-07-03 00:42:58
287
转载 Spring+Mybatis+SpringMVC+Maven+MySql搭建实例
摘要：本文主要讲了如何使用Maven来搭建Spring+Mybatis+SpringMVC+MySql的搭建实例，文章写得很详细，有代码有图片，最后也带有运行的效果。本文工程免费下载一、准备工作1. 首先创建一个表： CREATE TABLE `t_user` ( `USER_ID` int(11) NOT NULL AUTO_INCREMENT,
2017-07-02 22:52:46
460
转载 ActiveMQ学习教程（一）——安装与示例
背景：ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。选择ActiveMQ作为JMS的入门学习中间件，是因为其拥有以下优点1.多种语言和协议编写客户端。语言: Java, C, C++, C#, Ruby, Perl, Python, PHP。应用协议: OpenWire,Stomp REST,WS Notification,XMPP,AMQP2.完全支
2017-06-28 08:41:01
370
转载 MySQL错误TIMESTAMP column with CURRENT_TIMESTAMP的解决方法
在部署程序时遇到的一个问题，MySQL定义举例如下：复制代码代码如下:CREATE TABLE `example` ( `id` INTEGER UNSIGNED NOT NULL AUTO_INCREMENT, `created` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP, `lastUpdated` TI
2017-06-19 18:47:29
941
转载 mysql grant 用户权限总结
MySQL 有多个个权限？经常记不住，今天总结一下，看后都能牢牢的记在心里啦！！很明显总共28个权限：下面是具体的权限介绍：转载的，记录一下：一．权限表mysql数据库中的3个权限表：user 、db、 host权限表的存取过程是：1)先从user表中的host、 user、 password这3个字段中判断连接的IP、用户名、密码是否存
2017-06-10 00:57:25
478
转载 mysql更改用户权限
mysql更改用户权限This entry was posted by admin Monday, 26 April, 20101.“grant all on *.* to root@’%’ identified by ‘yourpassword’;”——这个还可以顺带设置密码。2.“flush privileges; ”——刷新一下，让权限生效。mysql的一些其他的管理
2017-06-10 00:52:16
4494
转载 centOS安装telnet(在线和rpm包安装）
在执行telnet时会提示命令不存在，此时输入命令 rpm -qa telnet-server ，若无输出内容，则表示没有安装。1.在线安装分别执行如下两个命令：yum install telnetyum install telnet-server2.rpm包安装下载对应的rpm包：下载地址 http://vault.centos
2017-06-06 14:20:11
20467
转载 mysql互换表中两列数据方法
1.创建表及记录用于测试CREATE TABLE `product` ( `id` int(10) unsigned NOT NULL AUTO_INCREMENT COMMENT '产品id', `name` varchar(50) NOT NULL COMMENT '产品名称', `original_price` decimal(5,2) unsigned NOT NULL COMM
2017-06-05 22:01:48
516
转载 mysql配置zerodatetimebehavior=converttonull什么意思
JAVA连接MySQL数据库，在操作各项值均为为0（或者有0不正确的数据？？）的timestamp等（日期为0000-00-00。。。。）类型时不能正确处理，而是默认抛出一个异常，比如所见的：java.sql.SQLException: Cannot convert value '0000-00-00 00:00:00' from column XX to TIMESTAMP。举个实际的栗
2017-05-19 09:53:55
36730
2
转载 kettle 合并记录步骤中的 关键字段和 比较字段的说明
旧数据来源：旧数据来源的步骤新数据来源。新数据来源的步骤标志字段：设置标志字段的名称，标志字段用于保存比较的结果，比较结果有下列几种。1. “identical” – 旧数据和新数据一样2. “changed” – 数据发生了变化;3. “new” – 新数据中有而旧数据中没有的记录4. “deleted” –旧数据中有而新数据中没有的记录关
2017-05-14 15:08:10
3754
JUnit_ A Cook’s Tour.pdf
2019-05-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人