简介:
九十年代是网际网路大放异彩的年代,尤其是World Wild Web的出现更使得人与人之间的距离越来越小,但是图形、影像和声音的剧增对原本速度就不快的internet来说无疑是雪上加霜,因此大大小小Proxy server便油然而生,其目的是为减轻网路负载,也可加快client端网页浏览的速度。当初proxy server本为保护firewall内主机的安全并做为local与remote间的传输煤介,关如下
Client端不但可以流览网页,也可以透过Proxy存取Inetrnet资源并抵挡外界的网路风暴与破坏。
说明:
Squid Internet Object Cache (Harvest Project的後续版本) 是美国政府大力助的一项研究计画,其目的为解决网路频宽不足的问题,是现在Unix系统上使用者最多功能也最完整的一套软体,目前台湾三大网Tanet、Hinet和Seednet有超过95%以上的Proxy Server使用。Apache和Netscape虽附有Proxy软体,但因功能简单而不够普及。有关squid的详细说明可到squid网站查询http://squid.nlanr.net/Squid/。
安装说明:
我们这次安装的平台是Pentium 200 MMX,使用32 mb 记忆体,有2.5 gb的硬碟,安装的是Slackware-3.3 Linux,核心为 linux-2.0.30。目前squid稳定的版本是1.1.16,另有一个并行发展的软体squid-1.NOVM.16是适合於使用较少虚拟记忆体的主机,如使用的swap memory很小的话可以下载这个版本,但是file descriptors会变大,确定了我们所要使用的软体後,再来就可以把软体下载到主机中,这次我们使用的是squid-1.1.16.tar.gz,首先用adduser增加一个proxy user,因为使用root帐号开启proxy server会有安全上的问题且程式本身也不允许,再来的动作都由proxy user来完成,如此才不会有权限不足而导致cache无法写入的影响,把刚传下来的squid-1.1.16.tar.gz用tar解开,进入squid目录中依序输入
./configure --prefix=/usr/local/squid
make all
make install
便完成了所有compiler和install的过程,此时我们的 squid完全install到/usr/local/squid目录下,进入安装完成的目录中或是link过来也可以,我们可以看到三个目录分别是bin、etc与log,进入bin中使用 squid z把要cache的目录建立起来,再来编辑etc目录下的squid.conf,有关 squid.conf语法稍後会详述,完成所有设定後便可以背景执行squid或是放在/etc/rc里,成一开机便执行的daemon,执行後可使用bin里的client测试squid是否成功的执行,方法 client h localhost p 3128
squid.conf 设定说明:
http_port: squid接受client端http需求使用的阜号,预设 值3128,在命令列中也可使用squid a做设定。
icp_port: squid接收或传送icp讯号所使用的阜号,预设值为3130,如非必要不需做修改,也可使用squid u在命令列中做设定。icp是一种udp_base的封包,主要的功能为web cache主机间连络的讯息格式,也因为是udp_base的封包,所以速度上也就比client与server间的tcp封包还来的快,可减少cache主机间传送的时间。
cache_host: 设定其它的cache主机,当server收到client端的request时,便透过3130这个port传送icp给设定中的每一台cache主机,如cache host有client端所需求的资料,便传送一份给server,如没有server便自己抓取资料。例:
cache_host proxy.nsysu.edu.tw sibling 3128 3130 option
第一为hostname。
第二为type 有 “parent” “sibling” “multicast”。
在web cache的阶层里,同一个cache level里以sibling称之,在上位者则为parent,不过在整个cache level中并没有很明显的分层,所以每一台主机有可能是sibling 或是 parent。当server收到request时,先对所有的sibling和parent送出ICP去询问,等待回应开始对第一个回应HIT的cache抓object,如没有人回覆HIT,就对先回覆MISS的parent开始抓取,找到资料後送给host并自己cache起来,若都失败server便乖乖的自己去source抓取资料。
第三为proxy_port 为cache主机的porxy port。
第四为icp_port cache主机接收icp的port,通常为3130。
第五为option 有proxy-only、weight=n、ttl=n、no-query、default、round-robin、multicast-responder等。当proxy server的储存空间很少时,可加上proxy-only,server便不会把资料cache住,直接将资料送往client。Weight值为与parent间的依赖性,值越大依赖性越大,预设值为1。
Inside_firewall:设定firewall内主机domain。
Local_domain:设定local_domain主要是把这些网域视为本身网域的一部份,如此一来当所要抓取的URL为是在本网域中,则不必再向Neighbor/Sibling询问了,只要是与有直接连线的都可设为local_domain。
Local_ip:与local_domain同。
Neighbor_timeout:当送出icp时等待回应的时间。
Cache_mem:用来储存物件的记忆体大小,包括in-transit、negative和”hot”物件,通常设定实体记忆体的三分之一大小,所谓的实体记忆体是只主记体加上swap memory。In-transit比negative与hot等物件拥有较大的优先权,当有资料进来时,negative与hot objects将会首先被更新,换句话说,两者将会填满所有in-transit objects没有使用的记忆体空间。
Cache_swap: Proxy使用的最大磁碟空间,当使用的空间接近此值的话,cache使用LRU(Least-Recently-Used)的设定来删除过久的资料。Squid对物件的清除是由每个物件的LRU年龄档标准,如太久没用的就会先被清除掉,倘若cache占硬碟的容量低时,物件较不易被清除,但若cache越来越满时,LRU限制较高,资料清除较快。
Cache_log:硬碟中所要当cache的目录。
Log_fqdn:如client有domain name的话,access.log便会把domain name完整的记录下来。
ftp_user:假如需要使用 anonymous ftp来抓取档案,会送出後面所接的字串当 password。
Dns_children: Squid本身附有一个dnsserver程式来处理client端domain name的需求,一般来说,当proxy有较大的使用量时,dns children设定较多可以处理的domain name request较多也较快,但当设定过多的dnsserver对系统的performance也会有相当的影响,可使用cache manger来观看每个dnsserver的使用量决定数量的多寡。
Refresh_pattern:更新cache的时间,其演算法则如下:
FRESH if age < min
STALE if expires < now
STALE if age max
FRESH if lm-factor < percent
使用格式:refresh_pattern regex min percent max
reference_age:物件的LRU,若比值大的话便清除cache中的物件。例如设定一星期,如一星期内没有存取动作,就把物件从cache中移出,假如值为零的话,物件会存放於cache中直到cache swap上限。
Read_time:当proxy与web连接後,经过read_time的时间接收不到web站传送资料便断线,有可能是remote server或是网路连接突然性的中断等因素。
Shutdown_lifetime:当cache server收到SIGTERM或是SIGHUP时,squid会对使用端发出”shutdown pending”讯息,并关掉所有正在进行中的动作,直到squid重新启动。
Cache_mgr: cache server管理者的email信箱,当server无故死掉时,squid会发出一封信至管理者信箱。
Cache_effective_user:启动squid的user名称,包含UID与GID两个栏位。
Err_html_text:使用者浏览网页中,常常遇到不存在或连线中断的网站,squid本身会回应一个error message至用户端,squid管理者可使用这个参数来改变回应至用户端的error message,来连接至管理者的homepage。
Deny_html_text:若遇到access control fail的情况,回应一个access fail message,squid本身提供一个简单的message,可利用此功能连接至homepage。
以上是 squid.conf的大部参数介绍,已包括所有架设一个功能完整的cache server的所有设定。
研究分析:
Squid的特点也是它优於其它cache软体的地方,就是其Access Control Lists的部份,使用acl可设定那些client发出的request会被接受,那些会被挡住,如此可减轻server端网路负载的问题。
首先在squid.conf中定义acl name,以便於之後来设定其存取权。其格式如下:
acl aclname acltype string1…..
acl aclname acltype “file”….
File必须编辑ip name而且每一行只能有一项
acltype有下列几项:
acl aclname src ip-address/netmask
(定义client的ip和netmask)
acl aclname src addr1-addr2/netmask
(定义一段ip address区间和netmask)
acl aclname dst ip-address/netmask
(URL的网路位址和遮罩)
acl aclname srcdomain kyit.edu.tw
(定义反查的domain)
acl aclname dstname kyit.edu.tw
(定义URL的domain)
acl aclname time [day-abbrevs] [h1:m1-h2:m2]
day-abbrevs:星期日至星期六
acl aclname url_regex ^http:// …
(定义符合URL字串的部份)
acl aclname urlpath_regex xxxxx
(定义URL的目录有符合的部