什么是革命性技术eBPF?为什么可观测性领域都得用它

公众号「架构成长指南」,专注于生产实践、云原生、分布式系统、大数据技术分享。

如果有一种技术可以监控和采集任何应用信息,支持任何语言,并且应用完全无感知,零侵入,想想是不是很激动,那么这个技术是什么呢?就是eBPF,它应该是最近一两年非常热门的技术名词,我相信你或多或少都看到过,但可能不知道它能做什么,今天我们来讲讲这个革命性的技术eBPF,以及它在可观测领域的应用eBPF是什么?

eBPF 是什么?

eBPF(extended Berkeley Packet Filter)是在 Linux 内核中运行的虚拟机技术,2014 年它首次出现在 Linux 内核中,并经过这几年迭代,目前已经成熟。它提供了一种灵活并且安全的方式来扩展内核功能。eBPF 最初是为网络数据包过滤而设计的,但现在已经扩展到其它领域,如安全监控、性能分析和系统跟踪等。

eBPF允许用户在不修改内核源代码的情况下,通过加载和执行自定义的eBPF程序来扩展内核功能。这些eBPF程序通过Hook 机制与内核交互,它们可以对进入和离开内核的事件进行过滤和处理,以实现网络数据包的监控、性能统计和安全审计等功能。

如下图,eBPF可以在文件写入和读取进行拦截处理,网络的发送和接受进行拦截处理

这段代码是一个 eBPF 过滤器程序,用于在网络数据包通过时打印源 IP 地址和目标 IP 地址。它使用 bpf_printk 函数来输出信息到内核日志。

#include <linux/bpf.h>
#include <linux/if_ether.h>
#include <linux/ip.h>
#include <linux/in.h>

SEC("filter")
int print_ip(struct __sk_buff *skb) {
    struct ethhdr *eth = bpf_hdr_pointer(skb);
    struct iphdr *ip = (struct iphdr *)(eth + 1);

    if (eth->h_proto == htons(ETH_P_IP)) {
        bpf_printk("Source IP: %u.%u.%u.%u\n",
                   ip->saddr & 0xFF,
                   (ip->saddr >> 8) & 0xFF,
                   (ip->saddr >> 16) & 0xFF,
                   (ip->saddr >> 24) & 0xFF);

        bpf_printk("Destination IP: %u.%u.%u.%u\n",
                   ip->daddr & 0xFF,
                   (ip->daddr >> 8) & 0xFF,
                   (ip->daddr >> 16) & 0xFF,
                   (ip->daddr >> 24) & 0xFF);
    }

    return XDP_PASS;
}

eBPF 能做什么?

动态编程内核以实现高效的网络、可观测性、追踪和安全性。

1.可观测性

eBPF 程序是事件驱动的,当内核或用户程序经过一个 eBPF Hook 时,对应 Hook 点上加载的 eBPF 程序就会被执行。从而可以采集相关信息,而且它是完全无侵入,对应用系统来说完全无感知

想想以前我们用的监控系统CatSkyWalking或多或少都有侵入,只是代码多少的问题,有了它完全不用关心,而且它能对所有运行在 linux 上面应用进行监控,比如
rediskafka

2.安全监控和审计

eBPF可以用于实时监控系统的安全事件和异常行为。它可以检测恶意软件、网络攻击、未经授权的访问等安全威胁,并触发警报或采取相应的防御措施。

3.自定义功能扩展

如数据包处理、协议解析、数据转换等。

eBPF 在可观测性方案的应用

可观测性,也是近几年非常热门的话题,因为目前互联网公司应用大部分都基于 k8s 部署,而 k8s 的网络模型比较复杂,如果系统出现异常,无法快速定位问题,所以需要有一个的平台可以去做系统故障定位、性能优化、以及监控等工作,而可观测性提供了更深入的洞察力和更好的理解,使得在复杂的分布式系统中构建、部署和维护应用程序更加可靠和高效
如何做好一个可观测性系统,那么eBPF技术是绕不开的,下面看下eBPF是如何抓取应用数据

eBPF 是如何抓取应用数据的

可能有人会问eBPF是怎么抓取数据,因为进入系统内核都是二进制数据,如何知晓是kafka或者mongodb的数据,答案是基于通信协议,每个中间件都是属于自身的通信协议,比如 redis、mysql、mongodb等,以下为mongodb的原始通信报文,这个报文每几位代表什么含义,在mongodb官方文档都有定义


引用于:郑志聪老师在 2023 云原生+可观测性广州 Meeup 分享

mongodb 消息解析

由于作者本人的电脑为MAC M系列芯片,对eBPF不怎么兼容,所以我们下面只讲原理,如下图是mongodb通信协议,基于这个协议,可以知晓消息内容、操作类型、响应码等。

struct MsgHeader {
    int32   messageLength; // total message size, including this
    int32   requestID;     // identifier for this message
    int32   responseTo;    // requestID from the original request
                           //   (used in responses from the database)
    int32   opCode;        // message type
}

https://www.mongodb.com/docs/manual/reference/mongodb-wire-protocol/

基于这个消息协议,eBPF就可以完成数据解析和抽取

基于 eBPF 构建的可观测性平台

目前很多公司都基于 eBPF技术在构建自己的可观测性平台,下面介绍一些相关产品

阿里云应用监控 eBPF 版

它是一套针对 Kubernetes 集群开发的一站式可观测性产品,它能做到:

  • 代码无侵入:阿里云应用监控 eBPF 版通过旁路技术,不需要对代码进行埋点即可获取到丰富的网络性能数据。
  • 语言无关:阿里云应用监控 eBPF 版在内核层进行网络协议解析,支持任意语言,任意框架。
  • 高性能:阿里云应用监控 eBPF 版基于 eBPF 技术,能以极低的消耗获取丰富的网络性能数据。
  • 资源关联:阿里云应用监控 eBPF 版通过网络拓扑,资源拓扑展示相关资源的关联。
  • 数据多样:阿里云应用监控 eBPF 版支持可观测的各种类型数据(监控指标、链路、日志和事件)。
  • 整体性:阿里云应用监控 eBPF 版通过控制台的场景设计,关联起架构感知拓扑、Prometheus 监控、告警配置。

部分效果图

dashboard


拓扑图

https://help.aliyun.com/zh/arms/application-monitoring-ebpf/product-overview/what-is-alibaba-cloud-application-monitoring-ebpf-version

开源监控系统 deepFlow

DeepFlow 开源项目旨在为复杂的云基础设施及云原生应用提供深度可观测性。DeepFlow 基于 eBPF 实现了零侵扰(Zero Code)的指标、分布式追踪、调用日志、函数剖析数据采集,并结合智能标签(SmartEncoding)技术实现了所有观测数据的全栈(Full Stack)关联和高效存取,核心特性如下:

  • 任意 Service 的全景图:利用 eBPF 零侵扰绘制生产环境的全景图。
  • 任意 Request 的分布式追踪:基于 eBPF 的零侵扰分布式追踪能力,支持任意语言的应用程序,并完整覆盖网关、服务网格、数据库、消息队列、DNS、网卡等各类基础设施。
  • 任意 Function 的持续性能剖析:以低于 1% 的开销零侵扰采集生产环境进程的性能剖析数据。
  • 无缝集成流行的可观测性技术栈:可作为 Prometheus、OpenTelemetry、SkyWalking、Pyroscope 的存储后端。
  • 存储性能 10x ClickHouse:基于 SmartEncoding 机制,向所有观测信号注入标准化的、预编码的元标签,相比 ClickHouse 的 String 或 LowCard 方案均可将存储开销降低 10x。

部分效果图

redis 监控


请求日志

分布式链路追踪

sql 监控

https://github.com/deepflowio/deepflow/blob/main/README-CN.md

SkyWalking

众多周知SkyWalking基于agent方式采集可观测性数据,比如java用java agent相关api编写,其它语言则编写对应语言的agent,这种方式可行,但是对技术人员要求较高。如果使用eBPF就不存在这种问题,目前看到SkyWalking也有往eBPF方向发展

部分效果图


引用于吴晟老师 SkyWalking2023 峰会演讲 PPT

Cilium

Cilium 是一个开源项目,为 Kubernetes 集群和其它容器编排平台等云原生环境提供网络、安全和可观测性,它主要使用的技术就是eBPF

https://cilium.io/

总结

以上我们介绍了eBPF是什么,以及它有哪些优势,同时讲解了它在可观测性领域的一些应用,希望对你有所帮助。


扫描下面的二维码关注我们的微信公众帐号,在微信公众帐号中回复◉加群◉即可加入到我们的技术讨论群里面共同学习。

热门相关:美食供应商   诛天至极   我寄人间   邪王独宠:纨绔异能妃   我有一个进化点