最近我部门的校园招聘学生机试试题

由我出的题目，是一道比较考验编码能力和即时学习能力的题。

应聘者普遍是北京各理工科高校的硕士生。

机试试题：

小明非常喜欢综艺节目，他发现优酷网上有一个用户叫做“琪琪综艺”上传相关的综艺节目特别多。所以他想监控“琪琪综艺”的更新信息。他的需求有：

<!--[if !supportLists]-->1. <!--[endif]-->收集“琪琪综艺”所有上传过的影片信息。

<!--[if !supportLists]-->2. <!--[endif]-->若“琪琪综艺”发布了新的影片，需要在尽快通知小明。

<!--[if !supportLists]-->3. <!--[endif]-->影片信息包括两点：影片名 和 播放地址。

如影片 首尔酷旅行20101031 的播放地址是

http://v.youku.com/v_show/id_XMjE5MTQ1NzE2.html

请为小明编写这个程序。

具体要求：

<!--[if !supportLists]-->1. <!--[endif]-->由于时间有限，所以你只需要成功抓到前100个视频信息，就认为你已经完成了“收集所有上传影片”的任务。

<!--[if !supportLists]-->2. <!--[endif]-->将要求1抓取到的影片信息记入文本文件(movies.txt)，格式为：每个影片信息一行，包括影片名和播放地址，中间用制表符(/t)隔开。

<!--[if !supportLists]-->3. <!--[endif]-->在要求2完成之后，对于“琪琪综艺”新发布的影片，立即在控制台打印影片信息，并将信息追加到文件movies.txt末尾。

小提示：

<!--[if !supportLists]-->1. <!--[endif]-->你可以在http://u.youku.com/user_video/id_UNDM5NjAyNzY=.html获得“琪琪综艺”的所有上传影片。

<!--[if !supportLists]-->2. <!--[endif]-->你有最多4个小时时间进行编码，但提前完成将提高你的最终得分。

<!--[if !supportLists]-->3. <!--[endif]-->你可以任意使用互联网搜索需要的信息，但严禁上网与其他人讨论或在论坛发帖咨询。

目前情况：

机试的学生普遍情况看来不太理想，一般表现为：

集中表现为代码的逻辑性较低，然后是相关知识获取、即时学习的速度（比如正则表达式，网页抓取），最后是异常处理（健壮性），以及审题。

例如以下是一个学生写的部分代码，其中///<是我给的评价

package main; import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.URL; import java.util.Calendar; import java.util.Date; import util.ContentUtil; public class Task implements Runnable { String httpurl; FileHandler fh; Task(String httpurl, FileHandler fh) { this.httpurl = httpurl; this.fh = fh; } public void run() { // TODO Auto-generated method stub System.out.println(Calendar.getInstance().getTime()); getHtmlReadLine(httpurl, fh, true); ///< 为什么上来就一定翻页? } /** * @param httpurl * @param fh * @param searchNextPage:search the videos at other pages or not */ public int getHtmlReadLine(String httpurl, FileHandler fh, boolean searchNextPage) { ///< 本函数评价： ///< 1. 使用了正则表达式，但只使用了最基本的match功能。实际上可以直接使用正则表达式挖取所有数据。 ///< 包括视频名、视频URL、翻页地址等； ///< 2. 是否继续爬取（翻页）的逻辑有问题，应该是抓到已重复的数据就标识任务完成，否则继续翻页抓取。 ///< 而不仅仅限于翻页一次。（有可能用户一次就更新N个视频，占据多个页面，这样就会漏掉信息）； ///< 3. 耦合了页面抓取本身与业务逻辑，可以直接把整个页面内容全部拿下来再进行逻辑（不要把对行的读取 ///< 耦合在页面分析中。 String currentLine = ""; InputStream urlStream; int newArrival = 0; try { URL url = new URL(httpurl); HttpURLConnection connection = (HttpURLConnection) url.openConnection(); connection.connect(); urlStream = connection.getInputStream(); BufferedReader reader = new BufferedReader(new InputStreamReader(urlStream, "utf-8")); Video video;///< 没有必要在此声明，参考就近原则 boolean alreadyFindVideo = false; //Only search the other pages after already analyze the videos. ///< 基于每一行的内容解析 while ((currentLine = reader.readLine()) != null) { currentLine = currentLine.trim(); if (ContentUtil.matchTitle(currentLine)) { ///< 匹配行 alreadyFindVideo = true; video = ContentUtil.analizeVideo(currentLine); ///< 解析HTML if (!fh.existUrl(video)) { ///< 文件或缓存里面没有 System.out.println("New arrival:"); System.out.print(video); fh.add(video); newArrival++; } } else if (alreadyFindVideo && searchNextPage && ContentUtil.matchPages(currentLine)) { String nextpage = ContentUtil.analizePage(currentLine); ///< 解析下一页的地址 // System.out.println("Search Next Page at:" + nextpage); newArrival += getHtmlReadLine(nextpage, fh, false); ///< 翻页,为什么翻页就一定是传false? ///< 递归？这样会造成栈内资源不释放，是否考虑放到更上层来调度？ } } } catch (Exception e) { e.printStackTrace();///< 没有处理该异常 ///< 如果异常了，可能会是什么？ ///< 最可能是网页抓取超时，这时应该考虑重试抓取网页。 } if (searchNextPage && newArrival == 0) ///< 没有新的，就不抓取？ System.out.println("No new arrival！"); return newArrival; } }