老的网易相册爬虫

 最近网易相册改革了，有很多的相册都改成了新的版本，这就苦了一些以前的网易相册获取工具（包括我用ajax写的一个）；虽然自己写的这个程序是有点过时了，但是这是我用java写的第一个类似爬虫的东西（其实并不是这样的），以后在有时间和有兴趣时，我会研究新的网易相册，写出一个真正的爬虫出来;

相关说明，我把获得的相册列表文件放到了C盘根目录（可以修改代码37行），在等10行中为相册名赋值；现在这个工具对某些没有升级的相册还是有用的；本工具就是分析了"http://photo.163.com/js/albumsinfo.php?user=username&from=guest";这个文件

其中汉字处理还有问题

 

好的现在给出源代码吧:

1. import java.io.*;
2. import java.net.*;
3. import java.util.*;
4. import java.util.regex.*;
6. public class socket {
8.     public static void main(String[] args) {
10.         String username = "";  //这里写上你想要获取相册的用户名
11.         String urlName = "http://photo.163.com/js/albumsinfo.php?user="
12.                 + username + "&from=guest";
13.         String content = getContent(urlName);
15.         // 正则表达式处理
16.         String re = "gAlbumsIds//[([0-9]*)[^//d]*(//d+)[^,]*,[^,]*,(//d*),/"(.*?)/",/"(.*?)/"//]";
17.         List<AlbumsInfo> list = getContentListA(re, content);
19.         System.out.println("begin aaa!/r/n content's length is:"
20.                 + content.length());
22.         for (AlbumsInfo album : list) {
23.             urlName = "http://photo.163.com/js/photosinfo.php?user=" + username
24.                     + "&aid=" + album.getListId() + "&from=guest";
25.             content = getContent(urlName);
27.             printAlbum(album);
29.             re = "([^/"]+?)/"//];";
30.             List<String> l = getContentList(re, content);
31.             String fileContent = l.toString().replaceAll("[//[//]]", "")
32.                     .replaceAll("//s*,//s*", "/r/n");
34.             fileContent += "/r/n/r/n===============相关信息=========================/r/n"
35.                     + album.getNote();
37.             writeToFile("c://" + album.getTitle() + ".txt", fileContent);  //文件放在C盘根目录
39.         }
41.         System.out.print("end aaa!/r/n");
43.     }
45.     public static void printAlbum(AlbumsInfo album) {
46.         System.out.print("/r/n========/r/nId: " + album.getId() + "/r/nListId: "
47.                 + album.getListId() + "/r/nnum : " + album.getTitle()
48.                 + "/r/ntitle : " + album.getTitle() + "/r/nNote : "
49.                 + album.getNote());
50.     }
52.     public static void writeToFile(String fileName, String content) {
53.         try {
54.             FileWriter out = new FileWriter(fileName);
55.             out.write(content);
56.             out.close();
57.         } catch (IOException e) {
58.             e.printStackTrace();
59.         }
60.     }
62.     public static List<String> getContentList(String re, String content) {
63.         Pattern p = Pattern.compile(re);
64.         Matcher m = p.matcher(content);
66.         List<String> list = new LinkedList<String>();
67.         while (m.find())
68.             list.add(m.group(1));
70.         return list;
71.     }
73.     public static List<AlbumsInfo> getContentListA(String re, String content) {
74.         List<AlbumsInfo> list = new LinkedList<AlbumsInfo>();
75.         Pattern p = Pattern.compile(re);
76.         Matcher m = p.matcher(content);
78.         while (m.find()) {
79.             AlbumsInfo temp = new AlbumsInfo();
80.             temp.setId(Integer.parseInt(m.group(1)));
81.             temp.setListId(m.group(2));
82.             temp.setNum(m.group(3));
83.             temp.setTitle(changeStr(m.group(4)));
84.             temp.setNote(m.group(5));
85.             list.add(temp);
86.         }
88.         return list;
89.     }
91.     public static String changeStr(String str) {
92.         char[] temp = str.toCharArray();
93.         return temp.toString();
94.     }
96.     public static String getContent(String urlName) {
97.         StringBuilder content = new StringBuilder();
98.         try {
99.             URL url = new URL(urlName);
100.             InputStream inStream = url.openStream();
101.             Scanner in = new Scanner(inStream);
103.             while (in.hasNext()) {
104.                 content.append(in.next() + "/r/n");
105.             }
106.         } catch (IOException e) {
107.             e.printStackTrace();
108.         }
109.         return content.toString();
110.     }
112. }

 

1. public class AlbumsInfo
2.     {
3.         private int id=0;
4.         private String listId="";
5.         private String num="";
6.         private String title="";
7.         private String note="";
8.         
9.         public AlbumsInfo()
10.         {
11.         }
12.         public int getId() {
13.             return id;
14.         }
15.         public void setId(int id) {
16.             this.id = id;
17.         }
18.         public String getNum() {
19.             return num;
20.         }
21.         public void setNum(String num) {
22.             this.num = num;
23.         }
24.         public String getTitle() {
25.             return title;
26.         }
27.         public void setTitle(String title) {
28.             this.title = title;
29.         }
30.         public String getNote() {
31.             return note;
32.         }
33.         public void setNote(String note) {
34.             this.note = note;
35.         }
36.         public String getListId() {
37.             return listId;
38.         }
39.         public void setListId(String listId) {
40.             this.listId = listId;
41.         }
42.     }