有关多线程下载有关资料与总结

 实例1 转自c# 多线程下载

 实例2 转自用C#实现HTTP协议下的多线程文件传输  

 

HTTP协议，HTTP亦即Hpyer Text Transfer Protocal的缩写，它是现代互联网上最重要的一种网络协议，超文本传输协议

位于TCP/IP协议的应用层，是一个面向无连接、简单、快速的C/S结构的协议。HTTP的工作过程大体上分连接、请求、响

应和断开连接四个步骤

 

HttpWebRequest类实现了很多通过HTTP访问WEB服务器上文件的高级功能。HttpWebRequest类对WebRequest中定义的属性和方法提供支持，HttpWebRequest将发送到Internet资源的公共HTTP标头的值公开为属性，由方法或系统设置，常用的由属性或方法设置的HTTP标头为：接受, 由Accept属性设置, 连接, 由Connection属性和KeepAlive属性设置, Content-Length, 由ContentLength属性设置, Content-Type, 由ContentType属性设置, 范围, 由AddRange方法设置. 实际使用中是将标头信息正确设置后,传递到WEB服务器,WEB服务器根据要求作出回应。

　　HttpWebResponse类继承自WebResponse类，专门处理从WEB服务器返回的HTTP响应，这个类实现了很多方法，具有很多属性，可以全面处理接收到的互联网信息。在HttpWebResponse类中，对于大多数通用的HTTP标头字段，都有独立的属性与其对应，程序员可以通过这些属性方便的访问位于HTTP接收报文标头字段中的信息，本例中用到的HttpWebResponse类属性为：ContentLength 既接收内容的长度。

 

总结的代码
using System; using System.Collections.Generic; using System.Text; using System.Net; using System.IO; using System.Threading; namespace 下载网页进度程序 { public class ManyTheardingLoad { #region 数据定义 private int _threadNum; //线程数量 private long _fileSize; //文件大小 private string _extName; //文件扩展名 private string _fileUrl; //文件地址 private string _fileName; //文件名 private string _savePath; //保存路径 private short _threadCompleteNum; //线程完成数量 private bool _isComplete; //是否完成 private volatile int _downloadSize; //当前下载大小 private Thread[] _thread; //线程数组 private List<string> _tempFiles = new List<string>(); public string FileName { get { return _fileName; } set { _fileName = value; } } public long FileSize { get { return _fileSize; } } public int DownloadSize { get { return _downloadSize; } } public bool IsComplete { get { return _isComplete; } set { _isComplete = value; } } public int ThreadNum { get { return _threadNum; } set { _threadNum = value; } } public string SavePath { get { return _savePath; } set { _savePath = value; } } #endregion public ManyTheardingLoad(int threahNum, string fileUrl, string savePath) { this._threadNum = threahNum; this._thread = new Thread[threahNum]; this._fileUrl = fileUrl; this._savePath = savePath; } public void Start() { HttpWebRequest request = (HttpWebRequest)WebRequest.Create(_fileUrl); HttpWebResponse response = (HttpWebResponse)request.GetResponse(); _extName = response.ResponseUri.ToString().Substring(response.ResponseUri.ToString().LastIndexOf('.'));//获取真实扩展名 _fileSize = response.ContentLength; int singelNum = (int)(_fileSize / _threadNum); //平均分配 int remainder = (int)(_fileSize % _threadNum); //获取剩余的 request.Abort(); response.Close(); for (int i = 0; i < _threadNum; i++) { List<int> range = new List<int>(); range.Add(i * singelNum); if (remainder != 0 && (_threadNum - 1) == i) //剩余的交给最后一个线程 range.Add(i * singelNum + singelNum + remainder - 1); else range.Add(i * singelNum + singelNum - 1); //实例线程带方法的参数 ThreadStart starter = delegate { Download(range[0], range[1]); }; _thread[i] = new Thread(starter); //方法二 //_thread[i] = new Thread(new ParameterizedThreadStart(Download));// _thread[i].Start(range[0], range[1]); _thread[i].Name =string.Format("tmpfile_{0}",(i + 1)); _thread[i].Start(); } } private void Download(int from, int to) { Stream httpFileStream = null, localFileStram = null; try { string tmpFileBlock =string.Format(@"{0}/{1}_{2}.dat",_savePath, _fileName, Thread.CurrentThread.Name); _tempFiles.Add(tmpFileBlock); HttpWebRequest httprequest = (HttpWebRequest)WebRequest.Create(_fileUrl); httprequest.AddRange(from, to); HttpWebResponse httpresponse = (HttpWebResponse)httprequest.GetResponse(); httpFileStream = httpresponse.GetResponseStream(); localFileStram = new FileStream(tmpFileBlock, FileMode.Create); byte[] by = new byte[5000]; int getByteSize = httpFileStream.Read(by, 0, (int)by.Length); //Read方法将返回读入by变量中的总字节数 while (getByteSize > 0) { Thread.Sleep(20); _downloadSize += getByteSize; localFileStram.Write(by, 0, getByteSize); getByteSize = httpFileStream.Read(by, 0, (int)by.Length); } _threadCompleteNum++; } catch (Exception ex) { throw new Exception(ex.Message.ToString()); } finally { if (httpFileStream != null) httpFileStream.Dispose(); if (localFileStram != null) localFileStram.Dispose(); } if (_threadCompleteNum == _threadNum) { //自加，防止线冲冲突 _threadCompleteNum++; _isComplete = true; Complete(); } } private void Complete() { Stream mergeFile = new FileStream(string.Format(@"{0}/{1}{2}",_savePath, _fileName, _extName), FileMode.Create); BinaryWriter AddWriter = new BinaryWriter(mergeFile); foreach (string file in _tempFiles) { using (FileStream fs = new FileStream(file, FileMode.Open)) { BinaryReader TempReader = new BinaryReader(fs); AddWriter.Write(TempReader.ReadBytes((int)fs.Length)); TempReader.Close(); } File.Delete(file); } AddWriter.Close(); } } }

 

主线程

ManyTheardingLoad load = new ManyTheardingLoad( int.Parse(txt_threadnum.Text), txt_url.Text, txt_filepath.Text); load.FileName = txt_filename.Text; DateTime sdt = DateTime.Now; load.Start(); //progressBar1.Value = 0; //progressBar1.Maximum = (int)load.FileSize; while (!load.IsComplete) { //progressBar1.Value = load.DownloadSize; } DateTime edt = DateTime.Now; TimeSpan ts = edt.Subtract(sdt); MessageBox.Show("完成/n开始时间" + sdt.ToLongTimeString() + " 结束时间:" + edt.ToLongTimeString() + "经过 "+ts.Seconds.ToString()+"秒");

 

重点还要学习多线程的处理。流文件的处理也是个很有意思的地方

 

这里不可避免的遇到了个问题，线程同步。如_threadCompleteNum++，因为是多个线程同时并发执行，在此句之后可能会造成有两个或两个以上线程认为_threadCompleteNum == _threadNum 条件（=5）都成立，例如第五个线程刚执行完_threadCompleteNum++，而第四个线程刚执行到条件判断，则造成两个条件都成立，而执行两次Complete()合并文件的方法。

还有例如主线程被调用多次，就是Btn多次单击生成多个主线程，解决此方法使用了Lock语句。

转自使用C# lock同时访问期间共享数据

主线程的LOCK在外部声明静态变量 

private static object run = new object();

再在主线程的第一句加lock (run)

这样不会造成多个主线程同时访问生成的暂时文件资源造成冲突。