招聘网站新版上线的六喜五悲

王朝互联网·作者佚名  2011-12-20
窄屏简体版  字體: 小  |  中  |  大  |  超大  

一个国内中等规模的人才招聘网站,伍亿人才招聘网,是外表散漫内部组织统一的地区网站群。旗下有齐鲁人才网、首都人才网等50个地区站。开发团队四人(Sea、Luc、Lam、Ric),经过很长时间艰难的开发过程,认为网站新版具备上线条件。判断依据是我们做好了上线必备的两个重点:第一个重点由于数据结构发生了很大的变化,因此需要数据转移,为此提前两个月,进行了十次以上的数据转移实验,基本上是每周末做一次。第二个重点是应用程序的调试上线,当然是自认为在测试机上没有问题了网站才上线。

实际上线过程中,经历了六喜五悲,值得共勉。

此次上线安排在7月15日开始的周末进行,准备了三个晚上两个白天的时间。由于涉及到数据转移,因此网站肯定是要暂停访问的。

周五晚上18点40分停机,先将审核数据全部处理完然后备份数据库。备份完毕,做好转移数据前得一些准备工作后,安排Lam负责数据转移,这个工作需要10个小时左右因此需要通宵做,其他人回去睡觉,为明天的战斗养精蓄锐。

周六早上到办公室,看数据都转移完了,开始检查数据转移的完整性与一致性。开始似乎看上去很正常,但运行到一个不算复杂的SQL语句的时候,服务器连接不上了,仔细一看傻眼了数据库服务器异常重启了!重新启动后,再次运行再次异常重启,大悲。赶忙检查数据库的完整性,然后再次做了备份。再次运行一切正常,再也没有异常重启,虚惊一场!这个不明原因的事故耽误了4个多小时,校验数据库2个小时没出来快急死了,备份数据库1个半小时。最后折腾到晚上11点,网站后台前台都调通了,但只对测试人员开放,不对用户开放。看上去一切正常,想想明天周日网站会上线,心满意足回去睡觉了,大喜。

周日早上到办公室,似乎一切正常按计划进行,继续进行开发小组内部测试,下午1点开始发动公司员工测试前后台程序,一切正常。晚上9点将网站对所有用户开放,运行了一段时间后,又傻眼了,WEB服务器CPU占用都达到了百分之百,网站访问奇慢无比,大悲。苦思冥想,原来是伪静态搞的,忙着修正后,CPU使用率降下来了,全面测试没有问题了,大喜。凌晨心满意足的回去睡觉了,只想着明天周一用户上来后惊喜的表情。

周一早上到办公室,急不可耐的打开了电脑,赶紧登录网站去看,问题又来了。随着访问量的不断上升,网站表现越来越差。WEB服务器内存占用厉害,CPU居高不下,网站访问奇慢无比。到中午时间的时候,还没有找到问题的解决办法,没有办法只能关闭了一些前台功能还是不快。技术总监Sea快哭了,大悲。也曾经想过将旧版网站恢复的保底预案,但觉得不到万不得已还是不走这一步。赶紧将怀疑有问题的程序重新优化重新写,下午有所改善还是慢。到了晚上,我们有经验的技术总监说“是不是循环出了问题?”,其他人没有觉得是个大问题,因为既不是死循环,也不是很大数组循环,只能死马当活马医了,改了循环方式后,CPU迅速下降,问题解决了!让我们差点退回老版的问题,竟然是这么一个不起眼的几行代码。大喜。凌晨带着解决问题的喜悦,心满意足的回去睡觉了。

周二早上到办公室,服务器压力依然过大,继续傻眼,大悲。不得已将公司页面、职位页面、简历页面代码重写后,数据库连接降下来,到下午网站逐步恢复正常,又是大喜。晚上9点带着解决问题的喜悦,心满意足的回去睡觉了。

周三早上到办公室,数据库服务器压力又继续猛增,网站还是不快,用户反映还是很大,继续大悲。研究解决了职位搜索与简历搜索的复用、以及程序池的回收保持Session问题后,将数据库压力降了下来,大喜。晚上9点去吃鱼,然后带着解决问题的喜悦,心满意足的回去睡觉了。

周四早上到办公室,又陆续解决了数据库的复制发布、首页内容的缓存后,网站压力彻底降下来了。晚上9点去吃海鲜,然后带着解决问题的喜悦,心满意足的回去睡觉了。

周五,网站基本正常了,大喜。到目前过去了4天,只是解决了稳定性问题。用户提出的大量的功能改进,还需要继续去一一解决。让我们庆幸的是,遇到的都是WEB压力以及数据库压力方面的问题,数据都是安全的。

Ric 2011年7月22日下午14:36

 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
 
© 2005- 王朝網路 版權所有 導航