分享
 
 
 

探讨关于门户网站中的大型计数器问题解决方案(Inber原作)

王朝java/jsp·作者佚名  2006-01-14
窄屏简体版  字體: |||超大  

-- 发布时间:2005-10-20 22:06:01

-- 计数器系统

有一计数器系统要求如下:

1性能要求:每天访问量要求符合100000/天 且有30-40 个站点统计 同时进行

2刷新量,纯IP统计(0-24 每个时间段内)各自形成每天报表

本人的解决方案:

第一次读数据库,之后的数据都存在APLICATION中进行加一操作定时更新数据库 三四十个站点同时进行。

问题:发现Aplication 有不稳定的情况(同一Aplication 有时候一会儿变成这个数据 一会儿变成那个数据,之间的差值会虽时间长而变大,但是还是最大的那个正确,就是检查不出来怀疑数据访问量大的时候Tomcat 没有处理好Aplication这个东西)如果把这个程序单独每个统计站布署一个就不会出现这种情况。注:我的程序不存在性能瓶经基本全在内存中操作速度很快服务器硬件也没有问题。

谁能用JAVA来实现统一计数实现我如上的条件,或者能解决一下我的问题所在,本人将以高分数表示感谢,希望写过大型计数器的朋友进入

本人写了一个Servlet 不怕大家见笑抛砖引玉:

以下是本人前100行代码(程序有不完善的地方见笑。。。)

import java.sql.*;

import javax.sql.*;

import javax.servlet.*;

import javax.servlet.http.*;

import javax.servlet.jsp.PageContext;

import java.io.*;

import java.util.Date;

import java.text.DateFormat;

import com.inberkong.util.DataBaseConnection;

public class CounterServlet extends HttpServlet

{

private String counterSite;

//private int count=0;

private Connection con=null;

private String pString ="";

private final int WRITE_TIME=6;//定时写数据库的间隔时长以秒为单位

private ServletContext application=null;

public void doGet(HttpServletRequest request,

HttpServletResponse response)

throws IOException, ServletException

{

response.setContentType("text/html;charset=gb2312");

String theIP=request.getRemoteAddr();//得到访问者IP;

Date time1=new java.util.Date();//获得系统当前时间

String Referer=request.getHeader("Referer");//得到来访者地址

if(Referer==null)

{

System.out.print("No Referer value");

}

// String Referer="http://61.163.234.223/zhaotie/test1.htm";//' target="_blank" >http://61.163.234.223/zhaotie/test1.htm";//摸拟得到来访者地址(检验数据开始要把此项打开)

String [] siteAddress=Referer.split("/");

counterSite=siteAddress[0]+"//"+siteAddress[2];//得到来访者的网址域名

PrintWriter out =response.getWriter();

String sql="";

Date tm=new java.util.Date();//获得系统当前时间

String sqltm=new Timestamp(tm.getTime()).toString();//将当前时间转换成sql server可以识别的对象

String st2=sqltm;

st2=st2.substring(0,19);//2005-08-14 18:41:33

String d1=st2.substring(0,10);

application = getServletConfig().getServletContext();

try

{

if(application.getAttribute(counterSite+"_checkAccount")==null)//初始计数器的状态.

{

//application.setAttribute(counterSite,new Integer(count));//计数器

Statement stmt=null;

try{

//如果数据库缓冲池无连接则重新启动TOMCATE服务

stmt=con.createStatement();

}catch(SQLException ee)

{

destroy();

Runtime rn=Runtime.getRuntime();

Process p=null;

try{

p=rn.exec("tomcat5.exe stop");

for(int i=0;i<1999999999;i++)

{

;

}

p=rn.exec("taskkill /F /IM tomcat5w.exe /T");

p=rn.exec("taskkill /F /IM tomcat5.exe /T");

for(int j=0;j<1999999999;j++)

{

;

}

p=rn.exec("tomcat5.exe start");

}catch(Exception e){

System.out.println("Error exec notepad");

}

以下为101-200行代码

System.out.print(ee+""+new java.util.Date());

}

ResultSet rs=null;

application.setAttribute(counterSite+"Date1",new java.util.Date());//站点定时时间

sql="select id,R_TODAY_SUM,R_TOM_SUM,R_THIS_MONTH_SUM,R_TOTAL_SUM,R_TOTAL_DAY,R_COUNT_DATE from inber_count_account where ACCOUNT_SIT_ADD like \'%"+counterSite+"%\'";

//out.print(sql);

rs=stmt.executeQuery(sql);

if(rs.next())

{

application.setAttribute(counterSite+"_checkAccount",new String("ok"));

application.setAttribute(counterSite+"_id",new Integer(rs.getInt(1)));

application.setAttribute(counterSite+"_R_TODAY_SUM",new Integer(rs.getInt(2)));

application.setAttribute(counterSite+"_R_TOM_SUM",new Integer(rs.getInt(3)));

application.setAttribute(counterSite+"_R_THIS_MONTH_SUM",new Integer(rs.getInt(4)));

application.setAttribute(counterSite+"_R_TOTAL_SUM",new Integer(rs.getInt(5)));

application.setAttribute(counterSite+"_R_TOTAL_DAY",new Integer(rs.getInt(6)));

//****

application.setAttribute(counterSite+"_R_COUNT_DATE",new String(rs.getString("R_COUNT_DATE")));

}

rs.close();

stmt.close();

}

else

{

if((application.getAttribute(counterSite+"_checkAccount").toString()).equals("ok"))//校验此计数器账号引用是否存在

{

Date accessTime=null;

//刷新率 start----------------------------------

application.setAttribute(counterSite+"_R_TODAY_SUM",new Integer(Integer.parseInt((application.getAttribute(counterSite+"_R_TODAY_SUM").toString()))+1));

application.setAttribute(counterSite+"_R_THIS_MONTH_SUM",new Integer(Integer.parseInt((application.getAttribute(counterSite+"_R_THIS_MONTH_SUM").toString()))+1));

application.setAttribute(counterSite+"_R_TOTAL_SUM",new Integer(Integer.parseInt((application.getAttribute(counterSite+"_R_TOTAL_SUM").toString()))+1));

String d2=application.getAttribute(counterSite+"_R_COUNT_DATE").toString();

//当日期改变时,清除当天的计数

String tYear,tMonth,tDay;

tYear=d2.substring(0,4);

tMonth=d2.substring(5,7);

tDay=d2.substring(8,10);

if(!(d1.equals(d2)))

{

int todaysum=Integer.parseInt((application.getAttribute(counterSite+"_R_TODAY_SUM").toString()));

int totalday=Integer.parseInt((application.getAttribute(counterSite+"_R_TOTAL_DAY").toString()));

application.setAttribute(counterSite+"_R_TOM_SUM",new Integer(todaysum));

application.setAttribute(counterSite+"_R_TODAY_SUM",new Integer(0));

application.setAttribute(counterSite+"_R_TOTAL_DAY",new Integer(totalday+1));

application.setAttribute(counterSite+"_R_COUNT_DATE",new String(d1));

try{

CallableStatement cstmt4=null;

pString = "{call p_setDetailList3(\'"+tYear+"\', \'"+tMonth+"\', \'"+tDay+"\',"+todaysum+", \'"+d2+"\',"+Integer.parseInt((application.getAttribute(counterSite+"_id").toString()))+")}";

cstmt4=con.prepareCall(pString);

cstmt4.executeUpdate();

cstmt4.close();

}

catch(Exception ee)

{

System.out.println("call p_setDetailList3 is wrong:"+ee);

}

}

String cMonth=d1.substring(5,7);

//当月改变时清除当月的计数,并计数当月第一个浏览者.

if(!(cMonth.equals(tMonth)))

{

application.setAttribute(counterSite+"_R_THIS_MONTH_SUM",new Integer(0));

application.setAttribute(counterSite+"_R_COUNT_DATE",new String(d1));

}

//刷新率 end----------------------------------

201-3百行以后的代码

//count=Integer.parseInt((application.getAttribute(counterSite).toString()));

////////////////////////////////////////////定时写数据库同时初始化数据 start/////////

Date time2=new java.util.Date();//获得系统当前时间

Date t1=(Date)application.getAttribute(counterSite+"Date1");

int secondValue=(int)(((double)time2.getTime()-(double)t1.getTime())/1000);

if(secondValue>=WRITE_TIME)//

{//定时写数据库同时初始化数据

int siteid=Integer.parseInt((application.getAttribute(counterSite+"_id").toString()));

int a1=Integer.parseInt((application.getAttribute(counterSite+"_R_TODAY_SUM").toString()));

int a2=Integer.parseInt((application.getAttribute(counterSite+"_R_TOM_SUM").toString()));

int a3=Integer.parseInt((application.getAttribute(counterSite+"_R_THIS_MONTH_SUM").toString()));

int a4=Integer.parseInt((application.getAttribute(counterSite+"_R_TOTAL_SUM").toString()));

int a5=Integer.parseInt((application.getAttribute(counterSite+"_R_TOTAL_DAY").toString()));

String a6=application.getAttribute(counterSite+"_R_COUNT_DATE").toString();

try{

CallableStatement cstmt5=null;

pString = "{call p_INBER_COUNT_ACCOUNT_EDIT2("+siteid+","+a1+","+a2+","+a3+","+a4+","+a5+",\'"+a6+"\')}";

cstmt5=con.prepareCall(pString);

cstmt5.executeUpdate();

cstmt5.close();

}

catch(Exception ee)

{

System.out.println("call p_INBER_COUNT_ACCOUNT_EDIT2 is wrong:"+ee);

}

//count=0;

//application.setAttribute(counterSite,new Integer(count));//得到初始值,

application.setAttribute(counterSite+"Date1",new java.util.Date());//初始时间为系统当前时间

//application.setAttribute(counterSite,new Integer(count));//计数器

////////////////////////////////////////////定时写数据库同时初始化数据 end//////////////////

}

//////////////检验数据2开始///////////////////////////////////////////////////////////

/*out.print("secondValue="+secondValue+"<BR>");

out.print("counter="+count+"<BR>"+"counterSite="+counterSite+"<BR>");

*/

//////////////检验数据2结束///////////////////////////////////////////////////////////

}

else

{//校验此计数器账号引用是否存在

}

}

//System.out.println(count+":"+counterSite+" "+theIP);

// count++;

//application.setAttribute(counterSite,new Integer(count));

} catch(SQLException e)

{

System.out.println("cc:"+e);

}

out.close();

}

/**

*处理Post请求

*/

/**

*获得初始化参数

*/

public void init() throws ServletException

{

try{

int ss=0;

con=DataBaseConnection.getConnection();

}

catch (Exception e)

{

System.out.println("Error(con error):"+e);

}

}

public void destroy()

{

int siteid=Integer.parseInt((application.getAttribute(counterSite+"_id").toString()));

int a1=Integer.parseInt((application.getAttribute(counterSite+"_R_TODAY_SUM").toString()));

int a2=Integer.parseInt((application.getAttribute(counterSite+"_R_TOM_SUM").toString()));

int a3=Integer.parseInt((application.getAttribute(counterSite+"_R_THIS_MONTH_SUM").toString()));

int a4=Integer.parseInt((application.getAttribute(counterSite+"_R_TOTAL_SUM").toString()));

int a5=Integer.parseInt((application.getAttribute(counterSite+"_R_TOTAL_DAY").toString()));

String a6=application.getAttribute(counterSite+"_R_COUNT_DATE").toString();

try{

CallableStatement cstmt6=null;

pString = "{call p_INBER_COUNT_ACCOUNT_EDIT2("+siteid+","+a1+","+a2+","+a3+","+a4+","+a5+",\'"+a6+"\')}";

cstmt6=con.prepareCall(pString);

cstmt6.executeUpdate();

cstmt6.close();

System.out.println("when the programe stoped execute this code automatic!");

con.close();

}

catch (SQLException e)

{

System.out.println("desdory error:"+e);

}

}

}

=====================

天哪... 没看懂

大概你是遇上并发操作的问题了. 所有的应用服务器都有并发的问题, 主要还是看的应用怎么去处理了. 要注意一下几点

1. 数据库操作得用事务, 而且避免脏读. 如果想避免别人并发操作你的数据, 可以使用锁

2. 对象上注意是否线程安全, 避免多个线程同时写变量

3. 更新数据使用相对值, 不要用绝对值. 如: update table set a = a + @value where ...

100000/天访问不算大, 如果没有并发峰值限制. 不需要太特殊得处理方法

http://community.csdn.net/Expert/topic/4332/4332118.xml?temp=.1796991

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有