用VB编写异步多线程下载程序

用VB编写异步多线程下载程序

大庆油田有限公司勘探开发研究院网络室 满孝

---

为了高效率地下载某站点的网页,我们可利用VB的Internet Transfer 控件编写自己的下载程序, Internet Transfer 控件支持超文本传输协议 (HTTP) 和文件传输协议 (FTP)，使用 Internet Transfer 控件可以通过 OpenURL 或 Execute 方法连接到任何使用这两个协议的站点并检索文件。本程序使用多个Internet Transfer 控件，使其同时下载某站点。并可判断文件是否已下载过或下载过的文件是否比服务器上当前的文件陈旧，以决定是否重新下载。所有下载的文件中的链接都做了调整，以便于本地查阅。

OpenURL 方法以同步方式传输数据。同步指的是传输操作未完成之前，不能执行其它过程。这样数据传输就必须在执行其它代码之前完成。

而 Execute 方法以异步方式传输数据。在调用 Execute 方法时，传输操作与其它过程无关。这样，在调用 Execute 方法后，在后台接收数据的同时可执行其它代码。

用 OpenURL 方法能够直接得到可保存到磁盘的数据流，或者直接在 TextBox 控件中阅览（如果数据是文本格式的）。而用 Execute 方法获取数据，则必须用 StateChanged 事件监视该控件的连接状态。当达到适当的状态时，调用 GetChunk 方法从控件的缓冲区获取数据。

首先，建立启始的http检索连接,

Public g As Variant

Public k As Variant

Public spath As String

Dim links() As String

g = 0

spath = 本地保存下载文件的路径

links(0)=启始URL

inet1.execute links(0), "GET" '使用GET方法。

事件监控子程序（每个Internet Transfer 控件设置相对应的事件监控子程序）：

用StateChanged 事件监视该控件的连接状态, 当该请求已经完成，并且所有数据均已接收到时，调用 GetChunk 方法从控件的缓冲区获取数据。

Private Sub Inet1_StateChanged(ByVal State As Integer)

'State = 12 时，使用 GetChunk 方法检索服务器的响应。

Select Case State

'...没有列举其它情况。

Case icResponseCompleted '12

'获取links(g)中的协议、主机和路径名。

addsuf = Left(links(g), InStrRev(links(g), "/"))

'获取links(g)中的文件名。

fname = Right(links(g), Len(links(g)) - InStrRev(links(g), "/"))

'判断是否是超文本文件，是超文本文件则分析其中的链接，若不是则存为二进制文件。

If InStr(1, fname, "htm", vbTextCompare) = True Then

'初始化用于保存文件的FileSystemObject对象。

Set fs = CreateObject("Scripting.FileSystemObject")

Dim vtData As Variant '数据变量。

Dim strData As String: strData = ""

Dim bDone As Boolean: bDone = False

'取得第一块。

vtData = inet1.GetChunk(1024, icString)

DoEvents

Do While Not bDone

strData = strData & vtData

DoEvents

'取得下一块。

vtData = inet1.GetChunk(1024, icString)

If Len(vtData) = 0 Then

bDone = True

End If

Loop

'获取文档中的链接并置于数组中。

Dim i As Variant

Dim po1 As Variant

Dim po2 As Variant

Dim oril As String

Dim newl As String

Dim lmtime, ctime

po1 = InStr(1, strData, "href=", vbTextCompare) + 5

po2 = 1

Dim newstr As String: newstr = ""

Dim whostr As String: whostr = ""

i = 0

Do While po1 > 0

newstr = Mid(strData, po2, po1)

whostr = whostr + newstr

po2 = InStr(po1, strData, ">", vbTextCompare)

'将原链接改为新链接

oril = Mid(strData, po1 + 1, po2 - po1 - 1)

'如果有引号，去掉引号

ln = Replace(oril, """", "", vbTextCompare)

newl = Right(ln, Len(ln) - InStrRev(ln, "/"))

whostr = whostr & newl

If ln <> "" Then

'判定文件是否下载过。

If fileexists(spath & newl) = False Then

links(i) = addsuf & ln

i = i + 1

Else

lmtime = inet1.getheader("Last-modified")

Set f = fs.getfile(spath & newl)

ctime = f.datecreated

'判断文件是否更新

If DateDiff("s", lmtime, ctime) < 0 Then

i = i + 1

End If

End If

End If

po1 = InStr(po2 + 1, strData, "href=", vbTextCompare) + 5

Loop

newstr = Mid(strData, po2)

whostr = whostr + newstr

Set a = fs.createtextfile(spath & fname, True)

a.Write whostr

a.Close

k = i

Else

Dim vtData As Variant

Dim b() As Byte

Dim bDone As Boolean: bDone = False

vtData = Inet2.GetChunk(1024, icByteArray)

Do While Not bDone

b() = b() & vtData

vtData = Inet2.GetChunk(1024, icByteArray)

If Len(vtData) = 0 Then

bDone = True

End If

Loop

Open spath & fname For Binary Access Write As #1

Put #1, , b()

Close #1

End If

Call devjob '调用线程调度子程序

End Select

End Sub

Private Sub Inet2_StateChanged(ByVal State As Integer)

...

end sub

...

线程调度子程序,g和是k公用变量，k为最后一个链接的数组索引加一，g初值为零，每次加一，直到处理完最后一个链接。

Private Sub devjob()

If Not g + 1 < k Then GoTo reportline

If Inet1.StillExecuting = False Then

g = g + 1

Inet1.Execute links(g), "GET"

End If

If Not g + 1 < k Then GoTo reportline

If Inet2.StillExecuting = False Then

g = g + 1

Inet2.Execute links(g), "GET"

End If

...

reportline:

If Inet1.StillExecuting = False And Inet2.StillExecuting = False And ... Then

MsgBox ("下载结束。")

End If

End Sub