c#利用WebClient和WebRequest获取网页源代码

C#中一般是可以利用WebClient类和WebRequest类获取网页源代码下面分别说明这两种方法的实现

WebClient类获取网页源代码

WebClient类

WebClient类位于SystemNet命名空间下WebClient类提供向URI标识的任何本地Intranet或Internet资源发送数据以及从这些资源接收数据的公共方法

源代码

///引用命名空间

using SystemIO;

using SystemNet;

using SystemText;

PageUrl = webkaka; //需要获取源代码的网页

WebClient wc = new WebClient(); // 创建WebClient实例提供向URI 标识的资源发送数据和从URI 标识的资源接收数据

wcCredentials = CredentialCacheDefaultCredentials; // 获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据

///方法一

Encoding enc = EncodingGetEncoding(GB); // 如果是乱码就改成 utf / GB

Byte[] pageData = wcDownloadData(PageUrl); // 从资源下载数据并返回字节数组

ContentHtmlText = encGetString(pageData); // 输出字符串(HTML代码)ContentHtml为Multiline模式的TextBox控件

/// 方法二

/// ***************代码开始**********

/// Stream resStream = wcOpenRead(PageUrl); //以流的形式打开URL

/// Encoding enc = EncodingGetEncoding(GB); // 如果是乱码就改成 utf / GB

/// StreamReader sr = new StreamReader(resStreamenc); //以指定的编码方式读取数据流

/// ContentHtmlText = srReadToEnd(); //输出(HTML代码)ContentHtml为Multiline模式的TextBox控件

/// resStreamClose();

/// **************代码结束********

///

wcDispose();

WebRequest类获取网页源代码

WebRequest类

WebRequest类是NET Framework中请求/响应模型的abstract基类用于访问Internet数据使用WebRequest类请求/响应模型的应用程序可以用协议不可知的方式从Internet请求数据在这种方式下应用程序处理WebRequest类的实例而协议特定的子类则执行请求的具体细节请求从应用程序发送到某个特定的URI如服务器上的网页URI从一个为应用程序注册的WebRequest子类列表中确定要创建的适当子类注册WebRequest子类通常是为了处理某个特定的协议（如HTTP或FTP）但是也可以注册它以处理对特定服务器或服务器上的路径的请求

WebRequest类中最常用的是Create方法Create方法用于为指定的URI方案初始化新的WebRequest实例

语法

public static WebRequest Create

(

string requestUriString

)

参数

requestUriString标识Internet资源的URI

返回值特定URI方案的WebRequest子类

注意Create方法将运行时确定的WebRequest类的子类作为与requestUri最接近的注册匹配项返回例如当//开头的URI在requestUri中传递时由Create返回一个HttpWebRequest如果改为传递以file://开头的URI则Create方法将返回FileWebRequest实例NET Framework包括//和file:// URI方案的支持

WebResponse类

WebResponse类是abstract基类协议特定的响应类从该抽象基类派生应用程序可以使用 WebResponse类的实例以协议不可知的方式参与请求和响应事务而从WebResponse类派生的协议特定的类携带请求的详细信息

在WebResponse类中最常用的是GetResponse方法GetResponse方法用于当在子类中被重写时返回对 Internet 请求的响应

语法

public virtual WebResponse GetResponse ()

返回值包含对Internet请求的响应的WebResponse

源代码

///引用命名空间

using SystemIO;

using SystemNet;

using SystemText;

PageUrl = ; //需要获取源代码的网页

WebRequest request = WebRequestCreate(PageUrl); //WebRequestCreate方法返回WebRequest的子类HttpWebRequest

WebResponse response = requestGetResponse(); //WebRequestGetResponse方法返回对 Internet 请求的响应

Stream resStream = responseGetResponseStream(); //WebResponseGetResponseStream 方法从 Internet 资源返回数据流

Encoding enc = EncodingGetEncoding(GB); // 如果是乱码就改成 utf / GB

StreamReader sr = new StreamReader(resStream enc); //命名空间:SystemIO StreamReader 类实现一个 TextReader (TextReader类表示可读取连续字符系列的读取器)使其以一种特定的编码从字节流中读取字符

ContentHtmlText = srReadToEnd(); //输出(HTML代码)ContentHtml为Multiline模式的TextBox控件

resStreamClose();

srClose();