TCP/IP的层次不同提供的安全性也不同，例如，在网络层提供虚拟私用网络，在传输层提供安全套接服务。下面将分别介绍TCP/IP不同层次的安全性和提高各层安全性的方法。
一、Internet层的安全性
对Internet层的安全协议进行标准化的想法早就有了。在过去十年里，已经提出了一些方案。例如，“安全协议3号(SP3)”就是美国国家安全局以及标准技术协会作为“安全数据网络系统(SDNS)”的一部分而制定的。“网络层安全协议(NLSP)”是由国际标准化组织为“无连接网络协议(CLNP)”制定的安全协议标准。“集成化NLSP(I-NLSP)”是美国国家科技研究所提出的包括IP和CLNP在内的统一安全机制。SwIPe是另一个Intenet层的安全协议，由Ioannidis和Blaze提出并实现原型。所有这些提案的共同点多于不同点。事实上，他们用的都是IP封装技术。其本质是，纯文本的包被加密，封装在外层的IP报头里，用来对加密的包进行Internet上的路由选择。到达另一端时，外层的IP报头被拆开，报文被解密，然后送到收报地点。
Internet工程特遣组(IETF)已经特许Internet协议安全协议(IPSEC)工作组对IP安全协议(IPSP)和对应的Internet密钥管理协议(IKMP)进行标准化工作。IPSP的主要目的是使需要安全措施的用户能够使用相应的加密安全体制。该体制不仅能在目前通行的IP(IPv4)下工作，也能在IP的新版本(IPng或IPv6)下工作。该体制应该是与算法无关的，即使加密算法替换了，也不对其他部分的实现产生影响。此外，该体制必须能实行多种安全政策，但要避免给不使用该体制的人造成不利影响。按照这些要求，IPSEC工作组制订了一个规范：认证头(Authentication Header，AH)和封装安全有效负荷(Encapsulating Security Payload，ESP)。简言之，AH提供IP包的真实性和完整性，ESP提供机要内容。
IP AH指一段消息认证代码(Message Authentication Code，MAC)，在发送IP包之前，它已经被事先计算好。发送方用一个加密密钥算出AH，接收方用同一或另一密钥对之进行验证。如果收发双方使用的是单钥体制，那它们就使用同一密钥；如果收发双方使用的是公钥体制，那它们就使用不同的密钥。在后一种情形，AH体制能额外地提供不可否认的服务。事实上，有些在传输中可变的域，如IPv4中的time-to-live域或IPv6中的hop limit域，都是在AH的计算中必须忽略不计的。RFC 1828首次规定了加封状态下AH的计算和验证中要采用带密钥的MD5算法。而与此同时，MD5和加封状态都被批评为加密强度太弱，并有替换的方案提出。
IP ESP的基本想法是整个IP包进行封装，或者只对ESP内上层协议的数据(运输状态)进行封装，并对ESP的绝大部分数据进行加密。在管道状态下，为当前已加密的ESP附加了一个新的IP头(纯文本)，它可以用来对IP包在Internet上作路由选择。接收方把这个IP头取掉，再对ESP进行解密，处理并取掉ESP头，再对原来的IP包或更高层协议的数据就象普通的IP包那样进行处理。RFC 1827中对ESP的格式作了规定，RFC 1829中规定了在密码块链接(CBC)状态下ESP加密和解密要使用数据加密标准(DES)。虽然其他算法和状态也是可以使用的，但一些国家对此类产品的进出口控制也是不能不考虑的因素。有些国家甚至连私用加密都要限制。
AH与ESP体制可以合用，也可以分用。不管怎么用，都逃不脱传输分析的攻击。人们不太清楚在Internet层上，是否真有经济有效的对抗传输分析的手段，但是在Internet用户里，真正把传输分析当回事儿的也是寥寥无几。
1995年8月，Internet工程领导小组(IESG)批准了有关IPSP的RFC作为Internet标准系列的推荐标准。除RFC 1828和RFC 1829外，还有两个实验性的RFC文件，规定了在AH和ESP体制中，用安全散列算法(SHA)来代替MD5(RFC 1852)和用三元DES代替DES(RFC 1851)。
在最简单的情况下，IPSP用手工来配置密钥。然而，当IPSP大规模发展的时候，就需要在Internet上建立标准化的密钥管理协议。这个密钥管理协议按照IPSP安全条例的要求，指定管理密钥的方法。
因此，IPSEC工作组也负责进行Internet密钥管理协议(IKMP)，其他若干协议的标准化工作也已经提上日程。其中最重要的有：
IBM 提出的“标准密钥管理协议(MKMP)”
SUN 提出的“Internet协议的简单密钥管理(SKIP)”
Phil Karn 提出的“Photuris密钥管理协议”
Hugo Krawczik 提出的“安全密钥交换机制(SKEME)”
NSA 提出的“Internet安全条例及密钥管理协议”
Hilarie Orman 提出的“OAKLEY密钥决定协议”
在这里需要再次强调指出，这些协议草案的相似点多于不同点。除MKMP外，它们都要求一个既存的、完全可操作的公钥基础设施(PKI)。MKMP没有这个要求，因为它假定双方已经共同知道一个主密钥(Master Key)，可能是事先手工发布的。SKIP要求Diffie-Hellman证书，其他协议则要求RSA证书。
二、传输层的安全性
在Internet应用编程序中，通常使用广义的进程间通信(IPC)机制来与不同层次的安全协议打交道。比较流行的两个IPC编程界面是BSD Sockets和传输层界面(TLI)，在Unix系统V命令里可以找到。
在Internet中提供安全服务的首先一个想法便是强化它的IPC界面，如BSD Sockets等，具体做法包括双端实体的认证，数据加密密钥的交换等。Netscape通信公司遵循了这个思路，制定了建立在可靠的传输服务(如TCP/IP所提供)基础上的安全套接层协议(SSL)。SSL版本3(SSL v3)于1995年12月制定。它主要包含以下两个协议：
SSL记录协议 它涉及应用程序提供的信息的分段、压缩、数据认证和加密。SSL v3提供对数据认证用的MD5和SHA以及数据加密用的R4和DES等的支持，用来对数据进行认证和加密的密钥可以通过SSL的握手协议来协商。
SSL握手协议 用来交换版本号、加密算法、(相互)身份认证并交换密钥。SSL v3 提供对Deffie-Hellman密钥交换算法、基于RSA的密钥交换机制和另一种实现在 Fortezza chip上的密钥交换机制的支持。
Netscape通信公司已经向公众推出了SSL的参考实现(称为SSLref)。另一免费的SSL实现叫做SSLeay。SSLref和SSLeay均可给任何TCP/IP应用提供SSL功能。Internet号码分配当局(IANA)已经为具备SSL功能的应用分配了固定端口号，例如，带SSL的 HTTP(https)被分配的端口号为443，带SSL的SMTP(ssmtp)被分配的端口号为465，带SSL的NNTP(snntp)被分配的端口号为563。
微软推出了SSL2的改进版本称为PCT(私人通信技术)。至少从它使用的记录格式来看，SSL和PCT是十分相似的。它们的主要差别是它们在版本号字段的最显著位(The Most Significant Bit)上的取值有所不同: SSL该位取0，PCT该位取1。这样区分之后，就可以对这两个协议都给以支持。
1996年4月，IETF授权一个传输层安全(TLS)工作组着手制定一个传输层安全协议(TLSP)，以便作为标准提案向IESG正式提交。TLSP将会在许多地方酷似SSL。
前面已介绍Internet层安全机制的主要优点是它的透明性，即安全服务的提供不要求应用层做任何改变。这对传输层来说是做不到的。原则上，任何TCP/IP应用，只要应用传输层安全协议，比如说SSL或PCT，就必定要进行若干修改以增加相应的功能，并使用(稍微)不同的IPC界面。于是，传输层安全机制的主要缺点就是要对传输层IPC界面和应用程序两端都进行修改。可是，比起Internet层和应用层的安全机制来，这里的修改还是相当小的。另一个缺点是，基于UDP的通信很难在传输层建立起安全机制来。同网络层安全机制相比，传输层安全机制的主要优点是它提供基于进程对进程的(而不是主机对主机的)安全服务。这一成就如果再加上应用级的安全服务，就可以再向前跨越一大步了。
三、应用层的安全性
必须牢记(且须仔细品味): 网络层(传输层)的安全协议允许为主机(进程)之间的数据通道增加安全属性。本质上，这意味着真正的(或许再加上机密的)数据通道还是建立在主机(或进程)之间，但却不可能区分在同一通道上传输的一个具体文件的安全性要求。比如说，如果一个主机与另一个主机之间建立起一条安全的IP通道，那么所有在这条通道上传输的IP包就都要自动地被加密。同样，如果一个进程和另一个进程之间通过传输层安全协议建立起了一条安全的数据通道，那么两个进程间传输的所有消息就都要自动地被加密。
如果确实想要区分一个具体文件的不同的安全性要求，那就必须借助于应用层的安全性。提供应用层的安全服务实际上是最灵活的处理单个文件安全性的手段。例如一个电子邮件系统可能需要对要发出的信件的个别段落实施数据签名。较低层的协议提供的安全功能一般不会知道任何要发出的信件的段落结构，从而不可能知道该对哪一部分进行签名。只有应用层是唯一能够提供这种安全服务的层次。
一般来说，在应用层提供安全服务有几种可能的做法，第一个想到的做法大概就是对每个应用(及应用协议)分别进行修改。一些重要的TCP/IP应用已经这样做了。在RFC 1421至1424中，IETF规定了私用强化邮件(PEM)来为基于SMTP的电子邮件系统提供安全服务。由于种种理由，Internet业界采纳PEM的步子还是太慢，一个主要的原因是PEM依赖于一个既存的、完全可操作的PKI(公钥基础结构)。PEM PKI是按层次组织的，由下述三个层次构成:
顶层为Internet安全政策登记机构(IPRA)
次层为安全政策证书颁发机构(PCA)
底层为证书颁发机构(CA)
建立一个符合PEM规范的PKI也是一个政治性的过程，因为它需要多方在一个共同点上达成信任。不幸的是，历史表明，政治性的过程总是需要时间的，作为一个中间步骤，Phil Zimmermann开发了一个软件包，叫做PGP(pretty Good Privacy)。PGP符合PEM的绝大多数规范，但不必要求PKI的存在。相反，
