用Boost.regex库进行网页分析源代码（批量下载篇）

经过今天时间对bnoost的学习，特别是对regex 库的熟悉，完成了批量下载的boost.regex版（此前还有字符匹配＋线程类版本，shell版本），功能很强，但如果需要完成具体任务，需要添加不少控制代码（此处略，可能以后会加上）。

功能：利用regex进行网页分析，稍加运用，即可用于批量下载，可用于资源手机，包括手机图片，彩信彩图，彩信铃声，flash小游戏（具体方法您自己捉摸，反正我是用此方法下了不少）；

环境:vc++6.0 +boost_1_33_1

要求：编译regex库，并将D:\BOOST\boost_1_33_1（我的目录）添加到include搜索路径

简介：主要实现函数都在"common.cpp"中

// common.h

//******************************************

// Author by: chenpeng

// Create time: 2005-12-15

// File name:common.h

// Comments: ...

//*******************************************

#ifndef H_COMMON_2005_chenpeng_INCLUDED_

#define H_COMMON_2005_chenpeng_INCLUDED_

#if _MSC_VER > 1000

#pragma once

#endif // _MSC_VER > 1000

#include <boost/regex.hpp>

#include <vector>

using namespace std;

typedef struct structPairLink

{

string value1;

string value2;

} pairLink;

void writeLog(const string filename,const string message);

//vector<pairLink>& analysisWebsite(const string URL,const boost::regex reg,const boost::regex reg2);

vector<pairLink> analysisWebsite(const string URL,const string regExpression);

int downloadLinks(vector<pairLink>& linklist);

int testRegExpression(const string filename,const string regExpression);

string strSubReplace(string strBig, const string & strsrc, const string &strdst);

#endif

// common.cpp

//******************************************

// Author by: chenpeng

// Create time: 2005-12-15

// File name:common.cpp

// Comments: ...

//*******************************************

#include "StdAfx.h"

#include "common.h"

#include <afxinet.h>

#include <fstream>

#include <time.h>

vector<pairLink> analysisWebsite(const string URL,const string regExpression)

{

vector<pairLink> vecValueFromWeb;

CInternetSession session(NULL,0);

CInternetFile* file=NULL;

try

{

file = (CInternetFile*) session.OpenURL(URL.c_str());

}

catch (CInternetException* m_pException)

{

file = NULL;

m_pException->Delete();

session.Close();

writeLog("err_session.txt","session : Failed to connect "+URL);

return NULL;

}

ASSERT(file);

pairLink matchedPair;

boost::regex e(regExpression);

boost::smatch what;

char strLine[1024];

while (file->ReadString(strLine,1024))

{

if (boost::regex_match(strLine,what,e)==true)

{

//将符合的内容(而不是该行)存入

cout<<what[0]<<endl;

// cout<<what[1]<<" "<<what[2]<<endl;

// matchedPair.value1=what[1];

// matchedPair.value2=what[2];

// vecValueFromWeb.push_back(matchedPair);

// writeLog("down.log",what[1]);

}

return vecValueFromWeb;

}

int downloadLinks(vector<pairLink>& links)

{

return 0;

}

//测试正则表达式是否正确

//第一个参数filename表示待分析的文件

//第二个参数表示所写的正则表达式

//第三个参数表示输出模式： 0－输出到控制台，1－输出到文件（文件名：time.txt）

//ignore the third argument,so the result can only be see in the file

int testRegExpression(const string filename,const string regExpression)

{

int lineCount=0;

char tmp[30];

_tzset();

_strtime(tmp); const string tmpTime=tmp;

_strdate(tmp); const string tmpDate=tmp;

// strSubReplace(tmpDate,"/","-");

// strSubReplace(tmpTime,":",".");

std::ZeroMemory(tmp,10);

std::strcpy(tmp,".\\logs\\");

std::strcat(tmp,strSubReplace(tmpDate,"/","-").c_str());

std::strcat(tmp,"_");

std::strcat(tmp,strSubReplace(tmpTime,":",".").c_str());

std::strcat(tmp,".log");

std::ofstream fout(tmp,ios::out|ios::app);

ASSERT(fout);

fout<<"\n***************************************************************"<<endl;

fout<<"Test time: "<<tmpDate<<" "<<tmpTime<<endl;

fout<<"Filename: "<<filename<<endl;

fout<<"Regex expression: "<<regExpression<<endl<<"……"<<endl;

char strLine[1024];

std::ifstream finput(filename.c_str(),ios::in);

ASSERT(finput);

boost::regex e(regExpression);

boost::smatch what;

int count=0;

while(!finput.eof())

{

finput.getline(strLine,1024);//只返回换行符前面的一行，故可以实现逐行读取

if (boost::regex_match(strLine,what,e)==true)

{

//what[0] 表示整个匹配行的内容

fout<<"$"<<++lineCount<<"$ "<<what[1]<<" "<<what[2]<<what[3]<<endl;

//fout<<"$"<<++lineCount<<"$ "<<what[0]<<endl;

//fout<<"$"<<++lineCount<<"$"<<strLine<<endl;

}

ASSERT(fout);

fout<<"************** There are total "<<lineCount<<" lines matched! ***************"<<endl;

fout.close();

return lineCount;

}

//write log file

void writeLog(const string filename,const string message)

{

fstream errfile(filename.c_str(),ios::out|ios::app);

ASSERT(errfile);

string tmpbuf;

_tzset();

_strdate((char *)tmpbuf.c_str());

errfile<<tmpbuf<<" ";

_strtime((char *)tmpbuf.c_str());

errfile<<tmpbuf<<" "<<message<<endl;

errfile.close();

}

//将整个文件写到一个string中

void load_file(std::string& s, std::istream& is)

{

s.erase();

s.reserve(is.rdbuf()->in_avail());

char c;

while(is.get(c))

{

if(s.capacity() == s.size())

s.reserve(s.capacity() * 3);

s.append(1, c);

}

string strSubReplace(string strBig, const string & strsrc, const string &strdst)

{

string result;

string::size_type pos=0;

string::size_type srclen=strsrc.size();

string::size_type dstlen=strdst.size();

while( (pos=strBig.find(strsrc, pos)) != string::npos)

{

strBig.replace(pos, srclen, strdst);

pos += dstlen;

}

result=strBig;

return result;

}

//环境配置测试代码

using namespace boost;

vector<string> strList;

std::string s1="1265-2365-8954-8962";

std::string s2="gttrgghtht";

std::string s3="1265 2365 8954 8962";

static const boost::regex e("(\d{4}[- ]){3}\\d{4}",regbase::normal|regbase::icase);

if (boost::regex_match(s1,e)==true)

std::cout<<"s1 ok"<<std::endl;

else

std::cout<<"s1 failed"<<std::endl;

if (boost::regex_match(s2,e)==true)

std::cout<<"s2 ok"<<std::endl;

else

std::cout<<"s2 failed"<<std::endl;

if (boost::regex_match(s3,e)==true)

std::cout<<"s3 ok"<<std::endl;

else

std::cout<<"s3 failed"<<std::endl;

//成功执行过的代码（恕不解释）

//采用归纳法，由一般得到共同的表达式

//get one

//testRegExpression("newhits.html"," <td width=\"17%\" height=\"28\" bgcolor=\"#FFFFFF\" class=\"border\"><a href=\"http://mp3.baidu.com/m?tn=baidump3&ct=134217728&lm=-1&li=2&word=%B5%C8%B5%C8%B5%C8%B5%C8+%C1%CE%F6%C1%BC%CE" target=_blank>等等等等</a>");

//get one out of three

//testRegExpression("newhits.html"," <td width=\"17%\" height=\"28\" bgcolor=\"#FFFFFF\" class=\"border\"><a href=\"http:[^\"]*\" target=_blank>[^<]*</a>");

//get all

//testRegExpression("newhits.html"," <td width=\"17%\" [^#]*bgcolor=\"#FFFFFF\" class=\"border\"><a href=\"http:[^\"]*\" target=_blank>[^<]*</a>");

//优化:加入括号，以便于提取所需的内容

//testRegExpression("mp3topsong.html"," <td width=\"17%\" [^#]*bgcolor=\"#FFFFFF\" class=\"border\"><a href=\"(http:[^\"]*)\" target=_blank>([^<]*)</a>");

//testRegExpression("newhits.html"," <td width=\"17%\" [^#]*bgcolor=\"#FFFFFF\" class=\"border\"><a href=\"(http:[^\"]*)\" target=_blank>([^<]*)</a>");

//testRegExpression("m.html","<a href=\"[^\"]*\" target=\"_blank\" title=\"请点击左键！来源网址: ([^\\s]*) 请参照百度权利声明使用.*<font style=color:#e10900>([^<]*)</font> - <font style=color:#e10900>([^<]*)</font>.*");

//执行结果记录：

函数： //testRegExpression("mp3topsong.html"," <td width=\"17%\" [^#]*bgcolor=\"#FFFFFF\" class=\"border\"><a href=\"(http:[^\"]*)\" target=_blank>([^<]*)</a>");

结果：

***************************************************************

Test time: 12/20/05 21:19:37

Filename: mp3topsong.html

Regex expression: <td width="17%" [^#]*bgcolor="#FFFFFF" class="border"><a href="(http:[^"]*)" target=_blank>([^<]*)</a>

……

$1$ http://mp3.baidu.com/m?tn=baidump3&ct=134217728&lm=-1&li=500&word=%D2%B9%C7%FA+%D6%DC%BD%DC%C2%D7 夜曲

$2$ http://mp3.baidu.com/m?tn=baidump3&ct=134217728&lm=-1&li=500&word=%B2%BB%B5%C3%B2%BB%B0%AE+%C5%CB%E7%E2%B0%D8 不得不爱

$3$ http://mp3.baidu.com/m?tn=baidump3&ct=134217728&lm=-1&li=500&word=%B7%A2%C8%E7%D1%A9+%D6%DC%BD%DC%C2%D7 发如雪

$4$ http://mp3.baidu.com/m?tn=baidump3&ct=134217728&lm=-1&li=500&word=%BC%C5%C4%AF%C9%B3%D6%DE%C0%E4+%D6%DC%B4%AB%D0%DB 寂寞沙洲冷

$5$ http://mp3.baidu.com/m?tn=baidump3&ct=134217728&lm=-1&li=500&word=%B1%CA%BC%C7+%D6%DC%B1%CA%B3%A9 笔记

$6$ http://mp3.baidu.com/m?tn=baidump3&ct=134217728&lm=-1&li=500&word=%CE%FB%E0%A7%E0%A7+%BB%A8%B6%F9%C0%D6%B6%D3 嘻唰唰