<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[http://john2007.javaeye.com/]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/john2006</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; john2006]]></copyright><item><title><![CDATA[架设Wikipedia的本地镜像]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83886123</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83886123</guid><author>john2006</author><pubDate>Thu, 07 Apr 2011 10:14:25 +0800</pubDate><description><![CDATA[


本文试图总结架设Wikipedia镜像的过程。
 


准备工作 

首先需要安装Mediawiki软件，以及Mediawiki所依赖的软件，Apache，Php5，Mysql等，这里就不详细讲解了。对于懒人，有两个选择：

第一是安装Debian[1]，这样apt-get install mediawiki就可以完成软件的安装。


第二是下载VMWare Player[...]]></description><category></category></item><item><title><![CDATA[利用wikipedia 的API实现对其内容的查询]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83740952</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83740952</guid><author>john2006</author><pubDate>Tue, 02 Nov 2010 11:37:41 +0800</pubDate><description><![CDATA[wikipedia提供了api可以供我们对其内容进行操作。其API文档地址为：
http://en.wikipedia.org/w/api.php
 
列举一些常见用法：
1、全文搜索
http://en.wikipedia.org/w/api.php?action=query&amp;amp;list=search&amp;amp;srsearch=fluoxetine
srsearch为要检索的内...]]></description><category></category></item><item><title><![CDATA[python解析HTML的工具总结]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83727061</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83727061</guid><author>john2006</author><pubDate>Mon, 04 Oct 2010 11:24:11 +0800</pubDate><description><![CDATA[做HTML解析工作也有好多次了，每次总是面临着选择不同工具的困惑。刚刚开始时正则表达式，之后用beautifulsoup,还用过python自带的htmlparser,sgmlparser。在前几篇博客中还提到了其自身的一些bug.
 http://john2007.iteye.com/blog/559840
做数据提取的时候，越来越感觉到美丽的汤功能的有限，最终还是选择了Xpath。在用xp...]]></description><category></category></item><item><title><![CDATA[用于虚拟筛选的小分子化合物库使用专业导读]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83643722</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83643722</guid><author>john2006</author><pubDate>Tue, 15 Jun 2010 17:45:52 +0800</pubDate><description><![CDATA[药物设计是随着药物化学学科的诞生相应出现的。早在２０世纪２０年代以前，就开始进行天然有效成分的结构改造。而目前药物设计的方向主要集中在小分子方面，尤其是在里宾斯基五原则、RO3原则等药物设计的经典原则出现后，人们对化合物的选择方向也发生了变化。目前市场热点主要集中在：小分子杂环化合物、天然产物、肽类、糖类等等。世界上也随之出现了很多商业公司专门为药物设计和发现提供各类用于筛选的化合物以提高工作效率...]]></description><category></category></item><item><title><![CDATA[分子对接软件大比拼]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83643715</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83643715</guid><author>john2006</author><pubDate>Tue, 15 Jun 2010 17:13:51 +0800</pubDate><description><![CDATA[文献报道过的或者没报道过的分子对接软件有很多，很多最初都是由实验室开发，免费发布。当软件很完善，没有什么缺陷时，可能会被专门的商业软件公司购买，就变成了某个大型软件包中的模块。其实不止分子对接软件，其他还有药效团软件、定量构效关系软件、数据库筛选软件等，都是这样的发展历程。不过，其中还是有一些实验室，在商品化大潮的影响下屹立不倒，依旧免费给我们提供免费的强大的软件，甚至是源代码（source co...]]></description><category></category></item><item><title><![CDATA[基于python的crawler]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83643381</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83643381</guid><author>john2006</author><pubDate>Mon, 14 Jun 2010 09:38:02 +0800</pubDate><description><![CDATA[
考虑到垂直爬虫及站内搜索的重要性，重新思考一下项目爬虫的技术架构及实现方案。以前的垂直爬虫曾经使用过heritrix、htmlparser、nutch等，各有优缺点。尤其是要做垂直网站的定向爬取时候，并没有太好的方案，只能够做指定页面的定向解析，因此以前主要还是使用htmlparser的方案。
    考察垂直爬虫的几个原则：

性能较高：较好支持多线程并发处理；支持异步、非阻塞socke...]]></description><category></category></item><item><title><![CDATA[更正一个GAE SDK的bug]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83531736</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83531736</guid><author>john2006</author><pubDate>Wed, 20 Jan 2010 15:03:48 +0800</pubDate><description><![CDATA[当我们在gae的数据存储中存储了数据后，可以利用SDK提供的 sdk console （http://localhost:8081/_ah/admin/datastore）方便的进行数据的浏览和修改。
 
但是如果字段中有中文数据记录，就会出错。一个stack就猜到是中文编码的问题。（部署在服务器上好像没有此现象。）
具体更正方法就是对字符进行正确的编码。
 
1、所有的py文件用utf...]]></description><category></category></item><item><title><![CDATA[自动检测文件编码]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83523705</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83523705</guid><author>john2006</author><pubDate>Thu, 31 Dec 2009 11:19:48 +0800</pubDate><description><![CDATA[对于抓取的网页处理时，我们往往要判断它的字符编码，今天发现了python的一个自动判断编码的lib，特与众分享.
名称：chardet
介绍：Character encoding auto-detection in Python 2 and 3. As smart as your browser. Open source.
 
下载地址：
http://pypi.python.org/p...]]></description><category></category></item><item><title><![CDATA[有关字符编码的问题收集]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83523654</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83523654</guid><author>john2006</author><pubDate>Thu, 31 Dec 2009 09:43:07 +0800</pubDate><description><![CDATA[http://blog.minidx.com/2008/10/22/1570.html
http://blog.minidx.com/2008/11/06/1607.html
http://blog.minidx.com/2008/12/06/1689.html
http://blog.minidx.com/2008/12/09/1700.html
 
 
摘录1：
 
 
GB...]]></description><category></category></item><item><title><![CDATA[htmlparser 解析html标签中文属性且未加标签 bug解决办法]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83523441</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83523441</guid><author>john2006</author><pubDate>Wed, 30 Dec 2009 16:25:43 +0800</pubDate><description><![CDATA[bug:
利用HTMLParser解析 带有中文属性的标签，例如：&quot;&amp;lt;img alt=周润发 src=&quot;/html&quot;/&amp;gt;&quot;
会出现如下错误：
 


raise HTMLParseError(message, self.getpos())
HTMLParser.HTMLParseError: junk characters in start tag: u'\u5468\u...]]></description><category></category></item><item><title><![CDATA[htmlparser vs sgmlparser 解析html的单个标签br img ]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83523369</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83523369</guid><author>john2006</author><pubDate>Wed, 30 Dec 2009 10:57:19 +0800</pubDate><description><![CDATA[上一次发现了SGMLParser的bug,（见Python sgmlparser bug）于是就想到了利用HTMLParser，于是对其利用同样的HTML代码做了测试：
 
测试代码如下：
 


class postparser(HTMLParser):
    def __init__(self):
        HTMLParser.__init__(self)
    ...]]></description><category></category></item><item><title><![CDATA[Python sgmlparser bug]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83523181</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83523181</guid><author>john2006</author><pubDate>Tue, 29 Dec 2009 19:19:15 +0800</pubDate><description><![CDATA[无法正确解析&amp;lt;br/&amp;gt;&amp;lt;img src=&quot;&quot;/&amp;gt;等单个标签：
 
测试代码如下：
 
class TestSGMLParser(SGMLParser):

    def __init__(self, verbose=0):
        self.testdata = &quot;&quot;
        SGMLParser.__init__(self, verbos...]]></description><category></category></item><item><title><![CDATA[Some of the Best Open Source Project's in VC++ & MFC]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83468163</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83468163</guid><author>john2006</author><pubDate>Sun, 11 Oct 2009 11:11:05 +0800</pubDate><description><![CDATA[Introduction
This article lists of some of the best Open Source projects written in VC++/MFC. 
Background
CodeProject has the best source code repository for VC++ developers. But another site Sourc...]]></description><category></category></item><item><title><![CDATA[最常见的20种VC++编译错误信息]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83369397</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83369397</guid><author>john2006</author><pubDate>Mon, 06 Apr 2009 09:26:25 +0800</pubDate><description><![CDATA[　1、fatal error C1010: unexpected end of file while looking for precompiled header directive。　　　寻找预编译头文件路径时遇到了不该遇到的文件尾。（一般是没有#include &quot;stdafx.h&quot;） 　　2、fatal error C1083: Cannot open include file: 'R…….h...]]></description><category></category></item><item><title><![CDATA[图像的单色变换——原理与实现（Single color transformation）]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83333393</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83333393</guid><author>john2006</author><pubDate>Fri, 16 Jan 2009 22:03:08 +0800</pubDate><description><![CDATA[Single color transformation&amp;mdash;&amp;mdash;Principle and implement
&amp;nbsp;
From May 1 to May 3, I have a 3-day holiday. When I was on the Internet, I downloaded some resource about image process by cha...]]></description><category></category></item><item><title><![CDATA[文本/Web挖掘推荐书目]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83331380</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83331380</guid><author>john2006</author><pubDate>Fri, 09 Jan 2009 14:36:09 +0800</pubDate><description><![CDATA[*****e事通论坛可下载到以下部分电子书Survey of Text Mining II: Clustering, Classification, and RetrievalClassification and Clustering for Knowledge Discovery (Studies in Computational Intelligence)Classification and ...]]></description><category></category></item><item><title><![CDATA[几个有趣的python开源项目]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83329770</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83329770</guid><author>john2006</author><pubDate>Sun, 04 Jan 2009 13:05:12 +0800</pubDate><description><![CDATA[一直都对搜索引擎很感兴趣，因此有一个是python的蜘蛛程序。另一个是用python操作pdf格式文件。
 
1、用python来做一个蜘蛛程序抓取网页，有了urllib库，真是太简单了。另外网页的解析也有相应的库sgmllib可以使用。不过还不知道python的sgmllib有没有类似 Jtidy 的规范html代码的功能，或者是有另外的库来干这事。
比较有名气的：
Harvest Man---...]]></description><category></category></item><item><title><![CDATA[利用python操作access，sql server数据库]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83329521</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83329521</guid><author>john2006</author><pubDate>Fri, 02 Jan 2009 22:08:40 +0800</pubDate><description><![CDATA[本文主要介绍了python如何利用 ADO访问windows平台下的数据库，比如access,sql server.
(译者注：作者原文用的IDE是pythonwin,但我的pytonwin重装了两遍了就是用不起来，就算写个helloworld运行也崩掉，妈的，只好用IDLE了)
Table of Contents 
 


Running MakePy 

DSN 

Opening...]]></description><category></category></item><item><title><![CDATA[中英文对照python tutorial ]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83328902</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83328902</guid><author>john2006</author><pubDate>Tue, 30 Dec 2008 15:42:20 +0800</pubDate><description><![CDATA[中英文对照的python简明教程，挺好懂的，拿出来分享了。独乐乐，与人乐乐，孰乐？
老鸟就别看了。]]></description><category></category></item><item><title><![CDATA[asp.net多数据分页方法]]></title><link>https://blog.youkuaiyun.com/john2006/article/details/83327657</link><guid>https://blog.youkuaiyun.com/john2006/article/details/83327657</guid><author>john2006</author><pubDate>Thu, 25 Dec 2008 14:38:16 +0800</pubDate><description><![CDATA[1、使用自带分页功能的控件gridview。
优点：方便，代码量少，拖拉控件，修改属性就可以了。
缺点：不灵活，大数据量存在速度和效率问题。
 
2、datalist和datarepeater
简单、方便、灵活。所需代码量增加。
&amp;lt;asp:DataList ID=&quot;DataList1&quot; runat=&quot;server&quot; CellPadding=&quot;4&quot; ForeColor=&quot;#333333&quot; &amp;g...]]></description><category></category></item></channel></rss>