从安全的观点看，VoIP是不灵的，它一身兼有IP网络和话音网络非常糟糕的弱点。不过VoIP面临的安全挑战也不是不可解决的，我们所需要的只是一个完整的安全计划而已。
步骤一:VoIP的三种主要安全威胁是:认证失效、完整性失效和隐私保护失效。在实施VoIP时，要在每一个网络层上考虑这三种威胁。
步骤二:先从物理层开始。要保证所构建的LAN具有完整性。要考虑会不会有黑客潜入，发起 DoS攻击?用不用在分离的安全网络上跑VoIP?大多数VoIP设备不支持802.1x认证标准，但还是可以做到介质访问的安全―尽管这样做管理起来非常麻烦。如果要用802.11来做VoIP，就得要求无线设备商保障QoS以及漫游的安全。
步骤三:再说IP层。像DHCP和DNS之类的服务对于VoIP网络来说是至关重要的。是否已经考虑到了它们的可靠性和安全性?要是用户需要通过互联网接入VoIP，则还需要VPN隧道。IPSec以及SSL VPN厂商正在增强对VoIP安全的支持。
在步骤二、三和四之间，还需要处理窃听的问题。大多数企业LAN的VoIP是不加密的，就是说有人完全可以同时窃听企业网络中每一部电话的通话内容。所以需要判断窃听装置可能安装在什么点上，然后确保这些点的安全;或者安装自己的反窃听装置。提示:尤其要注意需安装IDS系统的那些点。
步骤四:会话层负责所有的认证。因此接入VoIP网络的每一部电话最好都要注册。
步骤五:应用层是较难处理的部分。VoIP网络的大部分内容都是在电话上走的，而电话又很难强化其安全。因此需要有针对电话失效的计划，需要非常及时地将其更新换代。
VoIP服务器一般运行的都是通用操作系统，比如Windows或Unix。所以需要注意的是，在VoIP应用厂商和操作系统厂商之间永远都会存在紧张的关系，前者不希望别人去碰他们仔细调试过的系统，而后者则会不断地发布补丁。要是将未受到保护的VoIP冒失地接入互联网，那就不仅要冒巨大的危险，而且由于企业防火墙需要不停地升级，所以防火墙厂商有可能会要求你提供VoIP应用系统的源代码。这一点也不能不仔细考虑，权衡利弊。
有关VoIP的安全，要考虑的因素很多。可以说每家企业的VoIP都不可避免地会遇到安全问题，所以建议你不如现在就让它崩溃掉，然后找出弱点所在，对其进行安全保护。
