csy92620的专栏

在实体对象中添加了成员变量用于表示购买的直接地址。同时在wrap方法中要获取categoryId每个网站商品对应的id时都会用到subString，之前就看过该方法可能会引起内存泄露，看了一篇文章，总结了这是为什么。http://www.cnblogs.com/techyc/p/3324021.html String类中有int offset, int co

原本准备通过一个基类用子类进行拓展的方式来规划不同网站上爬取的商品，数据库实现上用hibernate的joined-subclass。父表储存所有共同信息，子表主键为父表主键，存不同特异信息。后来发现其实每个子表的多余数据都是它在相关网站的id和买的链接所属电商，id可直接在原表中赋值，所属电商实际上没有投入使用，索性去掉子表，直接用category注明所属电商，没有相关子表查询，减少了数

由于要处理值值值网站蛋疼的价格提取，所以考虑到正则表达式，同时也回顾了一下编码方式。今天中午，我突然想搞清楚Unicode和UTF-8之间的关系，于是就开始在网上查资料。结果，这个问题比我想象的复杂，从午饭后一直看到晚上9点，才算初步搞清楚。下面就是我的笔记，主要用来整理自己的思路。但是，我尽量试图写得通俗易懂，希望能对其他朋友有用。毕竟，字符编码是计算

由于发现爬商品信息的几个网站时，发现它曾经推荐过的商品会忽略时间排序方式跑到前面去，有些推荐过的商品可能会被删除，这就给爬取算法带来了很大的困难。如果不妥善处理这个问题，可能会有很多重复商品信息，给后续商品展示带来了很大的困扰。所以给goods表中添加了唯一约束，添加列为商品所属网站和在网站的ID。Sql代码 alter table goods   add cons

在做图片展示部分的时候发现img标签src为图片url时无法显示，发现是这些图片来源网站为了防止图片盗链浪费资源所以不让外站访问。它们的识别机制是根据http请求里的header中的referer来判断来源网站，比如我在chrome开发者工具里查看值值值网站的图片，就能看到完整的request header。Accept: image/webp,*/*;q=0.8

转载于 http://www.blogjava.net/robbie/archive/2009/04/05/264003.htmlSpring配置文件中关于事务配置总是由三个组成部分，分别是DataSource、TransactionManager和代理机制这三部分，无论哪种配置方式，一般变化的只是代理机制这部分。    DataSource、TransactionManager这