如何创建一个网络扫描分析平台
发布时间：2021-12-15 04:00:08 所属栏目：安全 来源：互联网
导读：简介 在上一篇我们介绍了如何搭建分布式网络扫描日志收集系统, 现在已经收集了大量的日志，如何从日志中获取想要的知识？需要进行数据分析，提出一个问题，然后从数据中去寻找答案。 本篇主要讲如何分析扫描日志 我们尝试着从数据中回答一些问题： 每天有多少
|
简介 在上一篇我们介绍了如何搭建分布式网络扫描日志收集系统, 现在已经收集了大量的日志，如何从日志中获取想要的知识？需要进行数据分析，提出一个问题，然后从数据中去寻找答案。 本篇主要讲如何分析扫描日志 我们尝试着从数据中回答一些问题： 每天有多少ip在进行扫描？ ip_count_by_day.jpg 可以看到从2021-10-15日之后，平均每天有2万个ip在进行扫描 进行大范围扫描的ip数量趋势呢？ breadth_gt_1_ips_by_day.jpg 有7000个左右的ip每天在进行大范围的扫描 看下几个互联网扫描器进行扫描的ip数量分布情况: scanners.png 能看到censys每天有将近280个ip在进行扫描,将近180个ip在进行大范围扫描；shodan每天有35个ip在进行扫描,平均每天有25个ip在进行大范围扫描 。binaryedge比较不稳定，大概在50个ip左右,大概有10个ip在进行大范围扫描。 再来看看rapid7是怎么进行扫描的？ rapid7_count_by_day.jpg 扫描策略特殊一点，能看到中间会休息一周然后突然多出大量ip进行扫描任务。 一天时间内的扫描广度是怎么分布的？ count_by_breadth.jpg 能看到绝大部分ip一天内扫描的覆盖范围(覆盖的主机数量)比较少。 扫描广度在60%、70%的比100%的还要少，也就是说中等偏上扫描范围的ip数量比较少，互联网扫描器大多会全部扫描，或者限制较少的目标范围。 或者是扫描器的能力或资源有限，要么选择轻量级更快的扫描全网，要么是速度比较慢的进行更多的端口或协议识别操作。 一天内ip扫描的端口数量都有多少？ port_total_by_ip_count.jpg大部分ip一天内扫描的端口数量还是比较少的，扫描80个端口以上的ip数量很少。 这些ip都在关心哪些端口？来自哪个国家？扫描范围有多广？访问了哪些服务？ 可以在faweb上查看 summary.jpg 再以端口为线索，大范围扫描器都在关心哪些端口？ port_breadth_b5_ports.jpg能看到大部分都集中在10000端口以下。 后面的27017、49152端口访问数量也比较大，我们来找找原因。 在faweb中搜索port:27017,能看到有2000多条结果， 27017是mongodb的常用端口，因此各家的互联网扫描引擎也比较关注。 再看看关心27017端口的ip还会关心哪些端口: port_27017_result.jpg 基本上是互联网扫描器会关心的常见服务端口。 来看下其中的一个ip: port_27017_ip.jpg它是recyber的一个扫描器。再看其它几个ip也是扫描器的行为。 再看看port:49152, 看看其中一个ip: 167.248.133.18.png看rdns信息，应该是censys的ip地址，再看看它关心的端口列表，找几个端口,比如50995, 20201, 40000, 17777, 47001, 49152,来看看各个互联网扫描平台上有多少条独立ip的收录: 端口/平台 50995 20201 40000 17777 47001 49152 shodan 2 43 39 4 4 1,488,551 censys 1,083,024 2,722,622 1,748,078 311,021 2,827,492 2,054,990 fofa.so 1 82 1,280,784 26 39 5,497,110 zoomeye.org 0 0 2,018,912 0 0 5,762,264 quake.360.cn 7 18 47 2 483 3,546,927 下面来介绍如何对收集到的原始日志进行简单的分析，并创建规则来提供更高层次的数据以回答上面这些问题。 展示效果 将所有这些信息收集，归类到新的分析库之后，就可以对ip信息进行更高层次的分析，比如使用faweb查看45.146.164.110: 45.146.164.110.png 可以看到45.146.164.110访问了多个协议，而没有做端口探测，因此推测它很可能是一个协议分析工具，从端口访问记录来看，随着探测到的端口增多，协议识别访问次数也增多。 从http_url来看，它尝试识别几种web应用。 再来看一个220.174.25.172: ssh_burte_220-174-25-172.png 可以看到这是一个ssh爆破工具，可以看到它关心哪些端口，以及每天尝试爆破的次数。 至此，通过使用elastic查询建立规则，并入库，就可以实现一个你自己的greynoise 结语 至此，已经完成了初步的规则分析以及数据探索。你想要回答哪些问题？快来搭建自己的分析平台吧。更深入的行为分析，扫描意图识别还需要更多工作要做，敬请期待第三篇。 （编辑：辽源站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |