我们翻译了这篇刊登在美国《网络世界》上的文章,文章的观点非常值得普通的网络产品购买者、测试人员借鉴。
《网络世界》评测实验室在使用网络性能分析仪的时候,也遇到了在吞吐量测试和丢包率测试中,应该如何填写帧丢失容忍限度这一选项的问题。在以往的测试中我们都把帧丢失容忍的限度设为零丢帧率,阅读了这篇文章之后,我们自己也觉得更严格的测试对于读者和厂商都是一件很好的事情。
Tolly Group是国际上知名的第三方测试机构。
零丢失的真正含义
Brian Tolly
Tolly Group测试实验室的工程师曾经测试过许多网络设备,包括快速以太网交换机、千兆以太网交换机、路由器、VPN交换机、防火墙。在测试时,Tolly Group的工程师和很多从事网络测试的工程师一样,经常把被测设备会丢弃多少数据包(零丢包时候的速率我们称作吞吐量,也与丢弃情况有关)作为测量总体性能的关键尺度。曾经有一些厂商提出能否在零丢失测试所使用的套件中改变可接受的帧丢失容忍限度,降低帧丢失测试的严格程度。但是这样做并不好。
对于厂商来说,提出这种请求背后的原因五花八门。比如有的厂商会说,测试的产品是用于“住宅用户”的,而这些用户不懂或不在意0.001%丢失与1%丢失之间的差别。
对于提出寻求降低测试标准而不是提高产品质量的想法,特别是持有对小型办公室和家庭市场中的产品不必做到严格零丢包的想法来说,让人感到担忧。只是因为是住宅用户,就意味着不该享受与工作组和企业产品一样的质量吗?
根据RFC 2544――网络互联产品的基准测试方法学(我们曾经在前面的文章中称它是网络测试的“圣经”),零丢失是指没有包丢失。目前,Tolly Group的零丢失测试标准是五个九(99.999%)吞吐量,或0.001%的丢失。尽管Tolly Group偶尔会降低这个标准,但这样做不是因为希望这样做,而是出于取得被评估产品的可比较数据点的需要。即便如此,Tolly Group保留着被测产品在0.001%丢失率条件下运行的测试结果。
那么看一看0.001%和0.1%丢失之间的差别的真正含意。
当用0.001%帧丢失容限测试设备时,这时意味着流经被测试设备的每100000个帧中,只允许一个帧被丢弃。当以0.1%丢失率测试同样流经被测试设备的100000帧时,则意味着再这样的测试中,被测设备丢弃100帧是可接受的。
那么,这样的测试结果又意味着什么呢?降低测试要求的产品,会如何影响用户的使用呢?假设你正在下载6MB文件:我们将下载长度为6373920字节的文件。下载这个文件的时候使用1514字节的最大标准以太网帧长度,需要1400多帧才能完成下载。如果下载的过程中丢失一帧,会发生什么情况呢?丢失一个帧可能什么都没发生,但是随着帧丢失的增加,重新传输和超时也会增加,而超时最终会导致会话的终止。在执行那些状态必须保持在会话上的安全事务处理时,这种包丢失情况肯定是不能接受的。
所以说,作为用户可以坚持要求厂商提供公正和达到最高标准的测试结果:也就是说,别拿包丢失容限做文章。让厂商提高产品质量,而不是降低标准。