什么是邮件反垃圾系统?
反垃圾系统的常见部署形式
邮件反垃圾系统的存在形式
邮件反垃圾系统存在的形式多样,可能的形式包括如下几种:
- 邮件系统上附加的反垃圾模块,属于邮件系统功能的一部分。
- 部署在邮件系统之前的独立软件系统(和邮件系统处于同一机房)。
- 部署在邮件系统之前的独立硬件设备(和邮件系统处于同一机房)。
- 一种云服务,无需部署在客户本地机房,在云端提供反垃圾能力。
- 用户电脑终端中由安全防护软件提供的客户端反垃圾功能,这种形式不在本文讨论范围。
邮件反垃圾云网关常见接入形式
反垃圾系统如何发挥作用?
在探讨这个问题之前,可以先思考一封邮件是如何从站点A投递到站点B的?在之前的文章《SMTP协议简单介绍》中介绍了客户端与服务端通过SMTP协议发信的原理,其实两个站点之间发信也是通过SMTP协议。在SMTP这种通信协议基础上,反垃圾系统针对通信过程中各阶段对邮件进行相关检查。
反垃圾系统检查项示例
两个站点间SMTP协议发信过程大致如下:
- 建立TCP连接
- EHLO/HELO
- MAIL FROM
- RCPT TO(一个收件人对应一条指令)
- DATA
- QUIT
- 断开连接
正常情况下,一封邮件从发信方服务器传递到收件方服务器需要将上述过程完整走完,任何一个阶段提前中止,都会导致信件发送失败。下面分别从每个阶段介绍反垃圾系统可能发起的检查。
建立TCP连接
- IP黑名单:如果发信IP被列入黑名单,则连接会直接被断开。
- IP白名单:允许连接,后续将不做任何反垃圾检查。
- IP连接次数:如果IP超过连接次数上线,则连接会被断开。
- IP同时连接数:如果IP同时连接的次数超过限制,同样会被断开。
HELO/EHLO阶段
- 域名解析一致性检查:检查发信IP的PTR记录,如果PTR记录和声明的发信服务器不匹配或者不存在PTR记录,反垃圾系统会根据配置采取相应的策略。
- RFC合规性检查:EHLO命令中的域名应该符合DNS命名规范,且不应该频繁更改。
- 发信IP信誉检查:对发件服务器IP地址或域名的信誉度初步评估,例如通过RBL或其他信誉数据库快速查询。
MAIL FROM阶段
- RFC合规性检查:检查发件人地址是否符合RFC 5321等相关SMTP标准的规定,包括地址格式是否正确。
- SPF检查:使用SPF验证发件人地址所在的域名是否允许连接过来的IP代表其发送邮件。
- 发件人黑名单检查:检查发件人地址是否存在于黑名单数据库中,黑名单中的地址通常是过往确认的垃圾邮件发送者。
- 发件人信誉度评估:判断发件人的邮件发送历史记录和信誉度,如果发件人地址或其所在IP地址有不良记录,邮件服务器可能采取限制措施。
- 发信频率:监控发件人地址发送邮件的速度和频率,如果超出正常范围,可能是垃圾邮件发送者的典型行为。
RCPT TO阶段
- 收件人有效性验证:检查指定的收件人地址是否真实存在并且活跃。
- 黑名单检查:检查收件人地址是否在黑名单中,黑名单通常包含已知的废弃、无效或滥用的邮箱地址。
- 灰名单管理:检查收件人地址是否在灰名单上,灰名单上的地址可能暂时限制接收邮件,用于处理疑似垃圾邮件的临时策略。
- 频率限制:控制发件人在短时间内向相同或相似收件人群体发送邮件的数量,以防止垃圾邮件的大规模滥发。
- 发件人与收件人关联性检查:对发件人与收件人间的关系进行基本分析,比如检测是否有历史邮件往来记录,以减少陌生邮件带来的垃圾邮件风险。
DATA阶段
- 关键字过滤:检查邮件正文中是否存在常见的垃圾邮件关键词、短语或模板。以及管理人员自定义的关键字策略。
- 语法和拼写分析:分析邮件的语法结构和拼写错误,垃圾邮件往往具有独特的语法特点和大量的拼写错误。
- 贝叶斯过滤:应用贝叶斯算法对邮件内容进行分析,根据先前学习到的垃圾邮件和正常邮件的特征分配一个垃圾邮件概率分数。
- URL检查:扫描邮件中的链接,分析链接指向的网站是否被列入黑名单,或是否指向钓鱼网站、恶意软件下载等危险内容。
- 图片内容识别:对邮件中的图片进行OCR识别,因为垃圾邮件发送者有时会将文字信息嵌入图片以避开纯文本过滤。
- 收件人数量检查:检查邮件是否被大批量发送给不同的收件人,这也是垃圾邮件的一个典型特征。
- DKIM检查:根据发件人域名发起DKIM检查,检查邮件是否由该域名授权的服务器签署。
- DMARC检查:确认邮件是否通过了DMARC验证,包括SPF和DKIM验证的结果。
- 社会工程和诈骗检测:检查邮件中是否存在社会工程攻击的迹象,例如冒充知名机构或个人的欺诈信息。
- HTML结构分析:分析邮件的HTML编码和标签,垃圾邮件经常使用特殊的HTML结构来隐藏文本或误导邮件过滤器。
- 附件检查:检查附件类型、附件内容,以防止恶意程序通过邮件传播。
- 信头内容检查:检查信头长度、信头内特殊关键字,阻止特定类型的发信。