- 博客(24)
- 收藏
- 关注
RSS订阅原创 selenium ChromeDriver禁用图片
环境：centos6.6+selenium maven 2.45.0+41.0.2272.101 (64-bit)ChromeDriver禁用图片问题，花了几个小时在网上搜索，一直没有找到想要的结果。搜到到结果大同小异，但是始终没有解决我的问题。偶然点到了这个网页https://www.linkedin.com/groups/Store-files-download-in-cu...
2015-03-27 14:19:08
1378
原创 selenium驱动Chrome抓取网页数据
目的：使用selenium抓取数据。抓取网页数据可以有多种技术方法(这里只列几种)：1.java httpclient+jsoup（对js基本无支持），类似于wget和jsoup。2.分析对方网站暴露出的接口3.htmlunit4.selenium5.webkit（没有测试过，不过听说chrome内核也是基于webkit的，具体细节不明）对于以上各种方法的适用场景：方法1：适合那种禁用js和c...
2015-03-25 11:41:52
358
原创 centos双网卡转发上网
简单的一个配置，mark一下，对iptables不太熟悉，仅作笔记使用！iptables -Fiptables -P INPUT ACCEPTiptables -P FORWARD ACCEPTiptables -t nat -A POSTROUTING -O ppp0 -j MASQUERADE说明：ppp0为实际的上网网卡名称可以将以上配置放到系统启动项中例如：/e...
2015-03-19 16:47:06
754
原创 selenium驱动firefox抓取网页数据，在firefox内存优化和速度优化方面的努力
使用默认frofile，启动firefox 内存600M，几个小时之后彪到一个G。禁用掉图片，缓存 启动内存200M左右，但是几个小时之后内存彪到600M左右. 目前查到的优化项，正在努力中&尝试中......，各种尝试如果都不行，目前想到的终极解决方案：爬取一定量的页面之后关闭当前线程对应的firefox窗口，开启新窗口！profile.setPreferen...
2015-03-04 20:00:24
1166
原创 selenium爬取网页的性能问题
5个浏览器窗口（5个线程），每小时3000个网页，理论上一台4C*8GB的台式机能达到每小时6-8000的网页（除掉带宽/对方防爬和对方服务器性能优越），对难搞的网站抓取性能还是不错的！...
2015-02-15 17:59:40
874
原创 网络爬虫技术
搞了大半夜，终于把selenium 驱动Firefox调通。这是web测试工具，也可用作页面抓取工具，尤其是对网站结构比较复杂，有异步加载的网站尤为合适。废话少说，上代码，上代码之前，先说下环境：selenium版本：<dependency> <groupId>org.seleniumhq.selenium</groupId&...
2015-02-12 02:22:51
119
原创 写在2015初
2014已经过去，2015已经到来！我是个不喜欢总结过去的人，现在的日子过好，未来的日子过的更好，足矣！但是人生到了三十立不立的时间节点，必须要好好想一想 停下来规划一下！提笔四顾心茫然！！！不知道该说些什么，那就算了吧！...
2015-01-12 16:05:54
103
原创 mysql分区的创建
好脑子不如烂笔头！mysql支持list hash等类型的分区，但是分区也不是在每个地方放都适用！分区适用于查询条件依赖引擎创建列效果明显，这样查询只在个别分区中进行；对于查询,不依赖分区创建列，反而会增加时间复杂度。另外，和isam不同的是，InnoDB不支持对分区指定物理路径（不知道新版mysql能不能指定），这样io也是一个瓶颈。...
2014-09-28 10:39:08
135
原创 linux-shell-find命令
find命令 find [路径] 模式 模式参数例: find /usr -name "*.SHIT" [找出/usr目录下或者子目录下以".SHIT"结尾的文件或者文件夹！]例：find /usr -name "*.SHIT" - type f | wc -l[统计/usr目录或者其子目录下以".SHIT"结尾的文件数量：（注意不是文件夹）] 另外：shell脚本中...
2013-07-11 11:22:40
166
Tomcat集群遇到反序列化出错的问题
错误信息：严重: Manager [/kssc]: Unable to receive message through TCP channeljava.io.InvalidClassException: com.kingstar.project.AbstractUser; local class incompatible: stream classdesc serialVersionUID = 8...
2012-11-05 14:51:37
755
1
原创 oracle学习笔记12_Managing Tables
--------表的分类Regular table(heap堆表)Partitioned tableIndex-organized tableCluster table--------数据类型[img]http://dl.iteye.com/upload/attachment/0068/7683/b4b22ef6-4ed3-3c5d-b941-779857dd9427.pn...
2012-05-29 09:17:11
135
原创 oracle学习笔记11_Managing Undo Data
--------Types of Undo Segmentssystem:Used for objects in the system tablespace.Non-system:Used for objects in other tablespaces: auto mode:Requires an UNDO tablespace Manual mode:private...
2012-05-28 14:49:56
161
原创 oracle学习笔记10_Storage Structure & Relationships
--------A database can be created with a standard block size and up to four nonstandard block size.
2012-05-28 14:48:11
155
原创 oracle学习笔记09_管理表空间和数据文件
--------system tablespaceUndo tablespaceTemporary Tablespaces--------Read-Only Tablespaces/Read-Write Tablespacesalter tablespace TABLESPACE read only;影响1.Causes a checkpoint影响2.Data ava...
2012-05-25 14:13:18
103
原创 oracle学习笔记08_Maintaining Online Redo Log Files
--------Characteristics:Recored all changes made to data.Provide a recovery mechanism.Can be organized into group.At least two group required.--------Online Redo Log File GroupsA set of id...
2012-05-24 10:26:18
149
原创 oracle学习笔记07_Maintaining the Control File
--------Oracle strongly recommends that your database has a minimum of two control files and that they are located on separate physical disks.--------Control File ContentsDatabase name and i...
2012-05-23 12:19:29
123
原创 oracle学习笔记06_数据字典和动态性能表
--------数据字典包含的信息：数据库的逻辑和物理结构对象的定义和空间分配数据完整性的约束用户信息角色信息权限信息审计信息--------Dynamic Performance Tables...
2012-05-23 09:45:20
101
原创 oracle学习笔记05_oracle创建数据库
--------Planning for database;1、确定你的数据库的目的,是为事物还是以分析为主。2、确定数据库的类型（OLDP/OLAP）。3、勾勒出数据库的布局。4、选择数据库名称。--------DBCA创建数据库--------Authentication Methods:1、OS 2、Use a password file.------...
2012-05-18 11:28:44
123
原创 oracle学习笔记04_oracle启动和关闭、trace功能的打开和关闭
--------参数文件：spfile（9i以后使用）和pfile--------oracle启动的时候：首先spfileSID.ora,其次去找 spfile.ora,再次找initSID.ora,最后default PFILE.--------start后面的参数 PFILE="路径" 或者 首先设置spfile再启动.拥有SYSDBA或者拥有SYSTEM权限的用...
2012-05-17 16:33:08
566
原创 oracle学习笔记03_oracle工具介绍
--------Oracle Universal Installer：统一安装工具（跨平台）用来安装、升级、删除各个组件和创建数据库--------其他工具：略
2012-05-14 11:26:13
81
原创 oracle学习笔记02_oracle体系结构
oracle体系结构的相关组件[img]http://dl.iteye.com/upload/attachment/0067/9719/dd17adbb-d5a6-321d-a546-98adb8430e2c.jpg[/img]--------内存结构oracle大体分两部分：instance和database;instance包含SGA和PMON、SMON、DBWR、LGWR、C...
2012-05-11 15:51:39
114
原创 激励下自己
看了某人的某个关于oracle EBS 前世今生的介绍，瞬间对企业应用非常感兴趣。以他的观点，这个领域在高速发展的中国非常的有前景，如果是这样的话，我不知道能不能抓住这个大的市场机遇，成就我自己的人生。 曾今看浪潮之巅，也看的非常澎湃、热心沸腾，也想在中国的计算机界弄个血雨腥风，随后这热度就消失不见。不知道这次的热度能持续多久。可不管怎么说，oracle学好、学精肯定是没错的。...
2012-05-10 11:08:05
112
原创 oracle学习笔记01_用户权限及登录、普通用户不能导入表结构及数据的问题
学习记录：--------新建的用户无法导入数据，因为缺少相关权限；select * from user_role_privs;查看当前用户拥有的权限select * from user_sys_privs;产看当前用户拥有的系统权限IMP_FULL_DATABASE：导入需要的权限；--------其他权限管理(grant create session to ...
2012-05-10 10:52:54
182
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人