一、运行程序
开发环境mdac2.7,vc6 sp5,win2000
如果你的mdac版本是旧请升级或者重新编译。服务器端的数据库access,用ado来操作的。客户端用csv格式的文件系统的。将SMSServer和SMSClient放在同一个机器上,因为编译时我将IP设置成了127.0.0.1,SMSServerDB与SMSServer放在同一个目录。源代码是按1字节对其编译,静态连接的,程序并没有在网络负担大,SOCKET连接数量大的条件下测试过。
二、数据结构和通讯协议及处理实现
服务器端是采用完成端口异步模式,客户端是同步的SOCKET类实现的。
服务器端有侦听线程,工作线程组成。
typedef struct _SessionPack
{
WORD CommandID; // 命令ID
WORD DataLength; // Data数据长度
WORD DataItems; // 数据区数据项数,即Data中有效的结构体的个数
char Data[1]; // 数据区
}SESSIONPACK,*PSESSIONPACK;
前三个字段相当于包头,Data是有效数据首地址。根据需要分配。结构体定义
在packet.h文件中,协议定义在protocol.h文件中。一个SessionPack不要超过4k。CIocpFrame是完成端口的封装类,业务逻辑都在CIocpFrame::Proecssjob中处理,其中几个数据库操作的函数在server.h中。PER_HANDLE_DATA,PER_IO_OPERATION_DATA这两个结构详细请见完成端口。
客户端发送大量数据处理,例如,上传通讯录
for(int j=0;j<nGroup;j++)
{
Sleep(100);
if(j!=nGroup-1)//还没有到最后一组
{
PSESSIONPACK pPack=(PSESSIONPACK)new char[sizeof(SESSIONPACK)+sizeof(LINK)*MAXLINK-1];//一组数据分配大约4k空间一起发送
PLINK pData=(PLINK)pPack->Data;
memset(pPack,0,sizeof(SESSIONPACK)+sizeof(LINK)*MAXLINK-1);//MAXLINK是LINK结构体个数
pPack->DataLength=sizeof(LINK)*MAXLINK;
pPack->DataItems=MAXLINK;//告诉服务器有几个LINK要处理
pPack->CommandID=COMMAND_UPLOAD_LINK;
for(int i=0;i<MAXLINK;i++)
{
file://往pData中赋值
file://下一条数据
pData++;
}
g_pClient->Send(pPack,sizeof(SESSIONPACK)+sizeof(LINK)*MAXLINK-1,0);
delete pPack;
}//ifj
else//最后一组可能不到MAXLINK个LINK结构体
{
int iLeft=parser.m_nRows-j*MAXLINK;
PSESSIONPACK pPack=(PSESSIONPACK)new char[sizeof(SESSIONPACK)+sizeof(LINK)*iLeft-1];
PLINK pData=(PLINK)pPack->Data;
memset(pPack,0,sizeof(SESSIONPACK)+sizeof(LINK)*iLeft-1);
pPack->DataLength=sizeof(LINK)*iLeft;
pPack->DataItems=iLeft;
pPack->CommandID=COMMAND_UPLOAD_LINK;
for(int i=0;i<iLeft;i++)
{
file://往pData中赋值
file://下一条数据
pData++;
}
g_pClient->Send(pPack,sizeof(SESSIONPACK)+sizeof(LINK)*iLeft-1,0);
delete pPack;
}
}
//服务器接受数据
PLINK pBody;
pBody=(PLINK)pPack->Data;
for(int i=0;i<DataItem;i++)
{
SaveLink(pBody);//往数据库插纪录
pBody++;
}
memset(pConText,0,sizeof(PER_IO_OPERATION_DATA));//这句话是否有问题?
pConText->DataBuf.len=DATA_BUFSIZE;
pConText->DataBuf.buf=pConText->Buffer;
pConText->OperationType=RECV_POST;
Flags = 0;
if (WSARecv(sClient, &(pConText->DataBuf), 1, &RecvBytes, &Flags,
&(pConText->Overlapped), NULL) == SOCKET_ERROR)
{
if (WSAGetLastError() != ERROR_IO_PENDING)
dwRet=PROCESS_FAIL;
}
服务器向客户端发送大量数据 例如 下载通讯录
原理与客户端大量发送类似,不过在服务器发送大最后一个包时要将命令字设置成COMMAND_DOWNLOAD_LINK_EXIT通知客户端数据发送结束,请不要在接收了。客户端请求时需将本地数据的最大id存放在有效数据区以告诉服务器,避免重复查询。
三、完成端口介绍
主要用到3个函数和一个OVERLAPPED的结构
每当有一个连接上来,就将它与完成端口关联,完成端口实际上就是一个重叠IO的队列,当队列中某一个对象有信号时,GetQueuedCompletionStatus就返回了,并将这个重叠IO及与之对应的单据柄数据传出,在我的程序里这个单句柄数据就是客户端套接字,这时你就可以对缓冲区数据操作了。
HANDLE CreateIoCompletionPort(
HANDLE FileHandle,//用于完成端口的设备的句柄
HANDLE ExistingCompletionPort,//完成端口句柄,如果是NULL则生成一个新的
ULONG_PTR CompletionKey,//单据柄数据
DWORD NumberOfConcurrentThreads//允许最大的工作线程的数量
);//这个函数主要的功能就是生成完成端口,或者将某句柄与完成端口关联
BOOL GetQueuedCompletionStatus(HANDLE CompletionPort,//需要监视的完成端口句柄
LPDWORD lpNumberOfBytes,//实际传输的字节
PULONG_PTR lpCompletionKey,//单句柄数据
LPOVERLAPPED* lpOverlapped,//一个指向伪造的重叠IO的指针,大小取决于你的定义
DWORD dwMilliseconds//等待多少秒
);
这个函数返回有几种可能,某个重叠IO发生了数据传输,或者客户端CloseSocket,或者其他原因导致完成端口失败,或者服务器调用PostQueuedCompletionStatus主动要求结束。以下是我在程序里的判断代码。
bSuccess=GetQueuedCompletionStatus(g_hCompPort,
&dwNumBytes, (DWORD*)&PerHandleData, (OVERLAPPED**)&ConText, INFINITE);
if(!bSuccess)
{
file://客户端断开连接
if(PerHandleData!=NULL)
if(dwNumBytes == 0&&PerHandleData->pIOContext->OperationType==RECV_POST)
{
pIocpFrame->CloseClient(PerHandleData);
continue;
}
}
if(bSuccess)
if(PerHandleData==NULL&&dwNumBytes==0)
{
file://工作线程被通知结束
SetEvent(g_ThreadHandles[pos]);
return 0;
}
BOOL PostQueuedCompletionStatus(
HANDLE CompletionPort,
DWORD dwNumberOfBytesTransferred,
ULONG_PTR dwCompletionKey,
LPOVERLAPPED lpOverlapped
);
我是用这个函数来告诉工作线程给我马上停止工作。你也可以用这个函数发送其他字定义消息到完成端口,不过调用这个函数要记得先关闭所有客户端。程序中我的客户端套接字保存在链表中的是由ctx开头的几个函数处理的。
四、结束语
该程序是我学习完成端口的一个总结,源代码变量函数结构体较多注释少可能不好阅读,使用完成端口设计程序关键是对完成端口的几个函数的理解。主要用于文件上传下载服务。网关,c/s的程序中也可以使用,缺陷是不能移植到unix平台下。
参考资料:platformsdk 中iocp的例子,msdn,windows网络程序设计