码农成长日记

年底了，本来打算提前一周请假回家的，领导也批了，但是临时又有了任务，需要在年前搭一个演示系统，于是被扣下了。。 需要做一个多机通信的系统，我这边的任务大概就是需要管理员用户能对数据库内容进行编辑，并且通过服务器中转程序与客户用户程序通信。总共也没多少工作量，和几个开发人员简单的商讨了一下，确定了大体框架，说好都用C/S架构直接写就OK。最近写C/S socket通信之类的都有点烦了，于是我

<br />数据匹配<br /> <br />首先先研究最关键的数据抓取。从形式各异的数据中将内容“扒”下来。<br />当然得依赖我们的强力工具 正则表达式了（个人觉得基于DOM树分析很麻烦，很不灵活）<br /> <br />分析了几个BOKECC页面后，总结如下：<br />1. 各页面有一定差别，可能是基于不同版本。HTML写的很不正规，基于HTML标签来匹配肯定不合适。<br />2. 页面带动态内容，需要分析，模拟AJAX去请求。<br /> <br />在基于HTML源码的数据爬取中，如果单纯

<br />呵呵，前两节好像和python没多大关系。。这节完全是贴代码，<br /> <br />这是我第一次写python，很多地方比较乱，主要就看看逻辑流程吧。<br /> <br />对于编码格式确实搞得我头大。。取下来页面不知道是什么编码，所以先找charset，然后转unicode。统一在unicode下操作，但是数据库是utf8的，WINDOWS的控制台又必须是gbk的，但是我IDE控制台必须是utf8的。。所以才会有DEBUG这个变量存在。。。主要是为了控制输出编码。<br /> <br /

<br />这几天做一个小项目，分给我的模块是对于BOKECC体系网站的抓取。<br />从来没有用过python，这次来尝一下鲜，感觉还行~<br /> <br />BOKECC就是一个视频网站的解决方案，我的任务很简单，就是给定一个网址，我来抓取对应页面上的数据内容。<br />整个系统采用分布式架构，我来负责做爬虫节点。<br /> <br /><br /> <br /> <br />简单来说就是整个系统可分布式部署，每个节点接收来自控制者的远程调用，独立完成任务，并向上级汇报完成情况。<br />这

环境：<br />1.       Tomcat6.0.26<br />2.       页面抓取工具 WebClient<br />3.       tomcat运行环境：默认参数分析工具及方法：<br />工具：JProfiler 6.0.3<br />方法：在真实生产环境下启动爬虫，使用JProfiler监测该爬虫节点具体运行情况。错误现象：<br />1.       关闭tomcat时报错。（MYSQL JDBC或XXX线程无法关闭可能导致memory leek。）<br />2.       运

<br />最近开始正式整我的吉他谱搜索引擎，搭了一个很轻量级但是个人觉得比较好用的爬虫框架，以及一个非常简单的搜索页面。<br /> <br />另外花了一点钱将域名注册了下来，可以试试 http://www.needtab.com<br /> <br />现在上面放的是这个最简单的版本，接下来将在功能上及美工方面逐步细化。并在短期内推广上线。<br /> <br /> <br />这里不过多的讨论曲谱搜索引擎了，我将我写的轻量级爬虫框架开源到了网上，希望能对需要的人有所参考帮助。<br /> <br /

<br /> <br />function time_tran($the_time){ $now_time = date("Y-m-d H:i:s"); $now_time = strtotime($now_time); $show_time = strtotime($the_time); $dur = $now_time - $show_time; if( $dur>=259200 ) return $the_time; else if

发布了needtab.com第一版

<br /> <br />概述：<br /> <br />在分布式系统中，经常需要采集各个节点的日志，然后统一分析。<br />本文提供一种简单的方案，本文采用开源日志项目 + 统一数据库结构的方式，在各个开发环境中，提供统一的配置及调用方法，所有的日志均记录在日志服务器中，可以追踪查询任意一个系统节点上任意应用的任意线程的运行状况。<br /> <br /> <br />考究现在比较流行的apache的开源日志项目log4j以及它在其他平台的衍生产物（log4net log4py等）。其由appender

mark 一下proxool无法解析utf8 bom头的问题

apache的alias配置

php xml小函数

金X由于被推荐到ACFUN游戏排行第一名，并同时在17YY、7K7K、U77、17173等各大小游戏网站上线，迎来了在线用户数量的爆炸式增长

一次实践中总结的对flash、starling、feathers、starling MVC等现有flash开发库的理解。

Comet初步研究与实践 – PHP到C#应用程序的数据推送DEMO  前段时间小接触了一下comet，关于其基本原理和代码示例请参考我之前的博文《与comet的一次亲密接触——基于ajax的http的长连接技术》 这次我们稍微系统的实现一个由PHP Web 服务器端向一个C#客户端应用程序推送的示例。实现“推送”、“用户状态”、“用户列表”的功能。具体一些代码细节就不详细介绍...

今天研究试验了一下“服务器推”的comet技术。 之前上GOOGLE GMAIL时也很好奇它的那个即时聊天框，居然可以在WEB页面中做到类似于QQ的聊天框，很有意思。最近才知道这个技术一直被WEB技术探讨，——WEB服务器如何向指定的客户端推送数据？因为HTTP传输机制的限制，一次HTTP请求就完整的包括了TCP建立、TCP传输 和TCP关闭。我们在一个页面被访问完毕之后，这次连接...

 今天需要写一个功能，对于数据库中的数据，在用户通过WEB显示出来的时候，自动启动服务器端脚本对每个数据的有效性进行检测，并将结果呈现给用户。 我考虑的就是，呈现每条数据的时候，启动一个ajax通信进程，将结果反馈回来就OK了。细节方面需要考虑的是，每个进程完成任务后在回调的时候如何知道它的“宿主”数据是哪一个（哪条数据发起的任务）。 还有由于XMLHttpRequest对...

跨JAVA WEB工程远程更新方案设计<br />版本：V0.1<br />作者：CG背景<br />需要在JAVA跨WEB工程，基于HTTP协议可靠的传输大规模数据。<br />原因：在使用数据库远程连接的时候由于远程数据库连接本身的不可靠性（服务器端经常断开与JDBC的连接），而造成事务不断回滚而造成数据始终无法传递。所以需要设计一个可靠的、通用的远程更新方案。方案流程 <br />技术选型及实验结果<br />l         序列化、反序列化实验<br />使用第三方JAVA包xstream-1.

<br />今天用了一下java的数据库持久化-业务的hibernate框架。下面给出hibernate 连接mysql数据库示例<br /> <br />建表结构如下<br /> <br />mysql> desc test;<br />+----------+--------------+------+-----+---------+----------------+<br />| Field    | Type         | Null | Key | Default | Extra       

继续咱们的lucene之旅，今天结合jdbc把数据库中的内容建到倒排序索引文件去。使用jdbc的时候出现了一个疑惑，调了半天也没明白。我有一个类 Db负责与数据库交互，在构造的时候建立数据库连接池，然后通过这个类的其他方法对数据库进行交互。我有大概20万条表记录需要插到lucene的倒排序文件中，然后思路很简单，我直接遍历数据库。由于内存有限，我不可能直接读出整个数据库来索引，于是采取的分块进行。每次读出若干条，建索引，释放，然后读出下N条……问题出现了，我发现不一会儿，java就内存溢出了！仔细找了几遍代

在这几天的工作过程中，需要实现PHP在服务器端能与其他程序通信。和老何俩人研究了半天，终于大致弄出了一个用WINDOWS的命名管道通信的方法。 有几点需要注意的： PHP服务器端我们每次都是重新挂接命名管道。（这样写，PHP端代码量极其少，而且也很方便。） 那么我们用C/C++写的命名管道服务器则需要每次通信都创建一次管道（方法很恶心，但是暂时能实现，而且对效率要求不是那么

练琴的时候把RIFF叫做一个曲子的小片段，那么我自己定义一下程序的RIFF就是一小段程序吧，放一些这几天自己写的，以后也长期更新，作为自己积累和今后编程的参考。 1. 格式化网址，若没有HTTP头则插入HTTP头 <?php //add http head to url function AddHttpHead( &$s ) { $exist = strstr(

今天为了一些已有数据导入MYSQL的数据库，我写了一个很简单的PHP程序。程序思路很简单，就是读一条数据，然后往MYSQL里插入一条。结果总是发现 每次导入只能导入2000条，就自动停止了，而且没有任何提示。在网上搜解决方案各种搜不到。 刚开始怀疑是内存缓冲给少了，调了一下，还是不行。。 最后发现一个规律，就是每次对数据库操作到60秒的时候程序就自动中止了。查了一下

这几天工作中需要写个程序对于一个视频网站地址，如优酷的某个地址，提取出其中的FLASH地址来。然后我用PHP实现了这个功能，我觉得用PHP来做这项工作简直是一种享受！使用其提供的强大的HTML页面处理函数和正则表达式，短短的几行代码就能搞定这个功能。 贴一下关键代码: <?php //获取优酷页面中的flash地址 function get_flash_url( $

最近工作开始做一个简单演示系统（用PHP、C++），我负责WEB方面以及网站后台数据库等。 之前开发用的环境是WAMP，我用的就是自己机器的windows XP + apache + mysql + php。现在需要将网站整体架构移往LINUX下，由于我对LINUX也不熟，我就装了一个图形界面的CentOS5。 首先是CentOS5的LAMP环境搭建，这个还是没啥问题，直接在图

这两天碰到一个小问题卡了我老半天……就是LINUX下PHP程序与其他程序通信。 我们需要实现用户在WEB页面上进行操作时可以启用我们在服务器端的后台程序（用C、C++编写）。之前在windows下，已经使用命名管道实现（请见我之前的博文http://blog.youkuaiyun.com/rcfalcon/archive/2010/02/09/5303142.aspx），这次将服务器整体移往LIN

 今天需要写一个功能，对于数据库中的数据，在用户通过WEB显示出来的时候，自动启动服务器端脚本对每个数据的有效性进行检测，并将结果呈现给用户。 我考虑的就是，呈现每条数据的时候，启动一个ajax通信进程，将结果反馈回来就OK了。细节方面需要考虑的是，每个进程完成任务后在回调的时候如何知道它的“宿主”数据是哪一个（哪条数据发起的任务）。 还有由于XMLHttpRequest对

今天做了一下界面，丑陋版 电影/电视剧 搜索引擎 新鲜出炉了~ 现在资源还不够多，不过好像一般的电影/电视剧都有了~试了一下还不错~ 有兴趣的朋友可以玩玩 nvtest.gicp.net/search.php界面上就用之前说到的AJAX自动完成做了一个自动完成的搜索文本框， 搜索结果页面就是直接把电影/电视剧的URL列举出来 

今天写个PHP程序，从文本文件里拿数据，然后往数据库里写。 碰到个很奇怪的现象 —— 每次都是第一行数据写入失败，其他数据一切OK。 把query的字符串打出来，一切正常。。 然后mysql_error()一下，说什么插入值错误，我数据库字段是 varchar(50)，PHP里给的是一个字符串。。哪错了啊？ 突然…… 看到一个熟悉的身影， EF BB

<br />SmallGameLib是我自己这两天学习silverlight，通过对昨天编写的“气球人”游戏代码重构及解偶，开发出一个超级轻量级的小游戏开发包，<br />现在功能还非常薄弱，不过架构已基本形成，可以使用它进行一些超小型游戏的快速开发。<br /> <br />本文主要对该游戏开发包进行架构介绍与分析，为广大尚未入门的游戏开发者提供一个构建属于自己的游戏框架的思路。与此同时，我将继续完善这个框架，并且使用这个框架开发更多的示例游戏。<br /> <br />1。 为什么需要开发包？<br /

在iframe的页面中如果使用history.back()，那么会使其主窗口后退。如何令单独的子窗口后退呢？或者如何指定某个页面后退呢？ 查了一下网上各种说法，什么 top.history.back() 还有 self.history.back()之类的，经过我的实验都不行。 最后采用这种： javascript:parent.document.getElement

<br />ffmpeg在C和C++下有直接可以使用的API，但是在JAVA上没找到很好用的开源包。<br />于是我对其进行了很简单的封装。实际上我是在基于操作系统命令行层面的封装，利用java的跨平台性，可以在windows和linux下使用。<br /> <br />基本上思想就是调用命令行的ffmpeg可执行文件，然后重定位输出，抓取分析输出内容来实现我们的需求。<br /> <br />/** * */package com.nvvideo.util;import java.

Comet初步研究与实践 – PHP到C#应用程序的数据推送DEMO  前段时间小接触了一下comet，关于其基本原理和代码示例请参考我之前的博文《与comet的一次亲密接触——基于ajax的http的长连接技术》http://blog.youkuaiyun.com/rcfalcon/archive/2010/04/30/5546828.aspx 这次我们稍微系统的实现一个由PHP Web

 今天研究一个小问题，在C#的WebBrowser下打开奇艺网的视频，经常整个FLASH就偏了，进度条控制条什么的都没有。要全屏一下然后还原才能解决这个问题。 如下，图1为webbrowser打开，图2为IE8打开。webbrowser中整个偏了，并且没有控制条。  然后试了一下用各种基于微软Webbrowser控件的浏览器都有该问题。。用VS2010 建winform

<br />简易XML解析<br /> <br /> //XML解析工具 //XML节点 class XMLNode { function XMLNode ($aa) { foreach ($aa as $k=>$v) $this->$k = $aa[$k]; } } function parseXML($data) { $parser = xml_parser_cre

<br />这两天开始研究lucene，<br />可怜连java都没用过的我简直是举步维艰啊，<br />于是还附带的小学习了一下myeclipse等玩意的配置。。今天收获颇丰，晒一下与lucene第一次亲密接触的成果。<br /> <br />上apache的官网下了一个lucene最新版，（发现居然有人人网的一个分流，不错~下载速度很快！）<br />然后看了半天多lucene的基础教程，大概理清楚了他的框架和工作流程。<br /> <br />lucene我们应该理解为一个搜索引擎的类库，它不是一个

在这几天的工作过程中，需要实现PHP在服务器端能与其他程序通信。和老何俩人研究了半天，终于大致弄出了一个用WINDOWS的命名管道通信的方法。 有几点需要注意的： PHP服务器端我们每次都是重新挂接命名管道。（这样写，PHP端代码量极其少，而且也很方便。） 那么我们用C/C++写的命名管道服务器则需要每次通信都创建一次管道（方法很恶心，但是暂时能实现，而且对效率要求不是那么...