Operator 多可用区选主优化与 Lease 版本分析

// Copyright 2018 The Operator-SDK Authors
//
// Licensed under the Apache License, Version 2.0 (the "License");
// you may not use this file except in compliance with the License.
// You may obtain a copy of the License at
//
//     http://www.apache.org/licenses/LICENSE-2.0
//
// Unless required by applicable law or agreed to in writing, software
// distributed under the License is distributed on an "AS IS" BASIS,
// WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
// See the License for the specific language governing permissions and
// limitations under the License.
package main
import (
	"context"
	"time"
	"github.com/operator-framework/operator-sdk/pkg/k8sutil" // Operator-SDK 提供的工具包，用于获取运行环境信息（如命名空间、Pod 信息）
	corev1 "k8s.io/api/core/v1"              // Kubernetes Core v1 API，包含 Pod、ConfigMap 等资源定义
	apierrors "k8s.io/apimachinery/pkg/api/errors" // Kubernetes API 错误处理包
	metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"  // Kubernetes 元数据定义包，包含 ObjectMeta 等
	"k8s.io/apimachinery/pkg/util/wait"           // 提供等待和退避逻辑的工具
	crclient "sigs.k8s.io/controller-runtime/pkg/client" // controller-runtime 提供的通用客户端，用于操作 Kubernetes 资源
	"sigs.k8s.io/controller-runtime/pkg/client/config"   // 获取 Kubernetes 配置（如 kubeconfig）
)
// maxBackoffInterval 定义了尝试成为 Leader 时，最大退避等待时间（16秒）。
// 在多次尝试失败后，等待时间会逐渐增加，但不会超过这个值。
const maxBackoffInterval = time.Second * 16
// Become 函数确保当前 Pod 成为其命名空间内的 Leader。
// 如果代码运行在集群外（本地），会跳过领导选举直接返回 nil。
// 它通过创建一个带有当前 Pod 作为 OwnerReference 的 ConfigMap 来实现领导选举。
// ConfigMap 的名称是 lockName，同一时间只能有一个同名 ConfigMap 存在，成功创建者即为 Leader。
// 当 Leader Pod 终止时，垃圾回收机制会删除 ConfigMap，其他 Pod 可以接管。
func leaderBecome(ctx context.Context, lockName string) error {
	log.Info("Trying to become the leader.") // 日志：尝试成为 Leader
	// 获取当前 Operator 运行的命名空间
	ns, err := k8sutil.GetOperatorNamespace()
	if err != nil {
		// 如果无法获取命名空间（可能是本地运行或无权限）
		if err == k8sutil.ErrNoNamespace || err == k8sutil.ErrRunLocal {
			log.Info("Skipping leader election; not running in a cluster.") // 日志：不在集群中，跳过选举
			return nil
		}
		return err // 其他错误，返回
	}
	// 获取 Kubernetes 配置（通常来自 kubeconfig 或 ServiceAccount）
	config, err := config.GetConfig()
	if err != nil {
		return err // 配置获取失败，返回错误
	}
	// 创建 controller-runtime 的客户端，用于操作 Kubernetes 资源
	client, err := crclient.New(config, crclient.Options{})
	if err != nil {
		return err // 客户端创建失败，返回错误
	}
	// 获取当前 Pod 的 OwnerReference，表示当前 Pod 是谁
	owner, err := myOwnerRef(ctx, client, ns)
	if err != nil {
		return err // 获取 OwnerReference 失败，返回错误
	}
	// 检查是否已存在由当前 Pod 拥有的 ConfigMap（可能是进程重启的情况）
	existing := &corev1.ConfigMap{}
	key := crclient.ObjectKey{Namespace: ns, Name: lockName} // ConfigMap 的键（命名空间+名称）
	err = client.Get(ctx, key, existing)
	switch {
	case err == nil: // ConfigMap 已存在
		// 检查现有 ConfigMap 的 OwnerReferences
		for _, existingOwner := range existing.GetOwnerReferences() {
			if existingOwner.Name == owner.Name { // 如果 Owner 是当前 Pod
				log.Info("Found existing lock with my name. I was likely restarted.") // 日志：发现已有锁，可能是重启
				log.Info("Continuing as the leader.")                           // 日志：继续作为 Leader
				return nil                                                      // 直接返回，当前 Pod 已是 Leader
			}
			log.Info("Found existing lock", "LockOwner", existingOwner.Name) // 日志：发现其他 Pod 持有的锁
		}
	case apierrors.IsNotFound(err): // ConfigMap 不存在
		log.Info("No pre-existing lock was found.") // 日志：没有预先存在的锁
	default: // 其他错误
		log.Error(err, "Unknown error trying to get ConfigMap") // 日志：获取 ConfigMap 时发生未知错误
		return err
	}
	// 创建一个新的 ConfigMap，用作领导锁
	cm := &corev1.ConfigMap{
		ObjectMeta: metav1.ObjectMeta{
			Name:            lockName,           // ConfigMap 名称，由 lockName 指定
			Namespace:       ns,                 // 命名空间
			OwnerReferences: []metav1.OwnerReference{*owner}, // 设置当前 Pod 为 Owner
		},
	}
	// 尝试创建 ConfigMap，成为 Leader
	backoff := time.Second // 初始退避时间为 1 秒
	for {                  // 无限循环，直到成功或上下文取消
		err := client.Create(ctx, cm) // 尝试创建 ConfigMap
		switch {
		case err == nil: // 创建成功
			log.Info("Became the leader.") // 日志：成功成为 Leader
			return nil                     // 返回，当前 Pod 成为 Leader
		case apierrors.IsAlreadyExists(err): // ConfigMap 已存在（其他 Pod 是 Leader）
			existingOwners := existing.GetOwnerReferences() // 获取当前 ConfigMap 的 Owner
			switch {
			case len(existingOwners) != 1: // ConfigMap 应该只有一个 Owner
				log.Info("Leader lock configmap must have exactly one owner reference.", "ConfigMap", existing)
			case existingOwners[0].Kind != "Pod": // Owner 必须是 Pod
				log.Info("Leader lock configmap owner reference must be a pod.", "OwnerReference", existingOwners[0])
			default: // 正常情况：ConfigMap 由一个 Pod 拥有
				leaderPod := &corev1.Pod{}
				key = crclient.ObjectKey{Namespace: ns, Name: existingOwners[0].Name} // 当前 Leader Pod 的键
				err = client.Get(ctx, key, leaderPod)                          // 获取 Leader Pod 信息
				switch {
				case apierrors.IsNotFound(err): // Leader Pod 已删除
					log.Info("Leader pod has been deleted, waiting for garbage collection do remove the lock.") // 日志：等待垃圾回收删除 ConfigMap
				case err != nil: // 获取 Pod 失败
					return err
				case isPodEvicted(*leaderPod) && leaderPod.GetDeletionTimestamp() == nil: // Leader Pod 被驱逐但未标记删除
					log.Info("Operator pod with leader lock has been evicted.", "leader", leaderPod.Name) // 日志：Leader 被驱逐
					log.Info("Deleting evicted leader.")                                          // 日志：删除被驱逐的 Leader
					err := client.Delete(ctx, leaderPod)                                          // 删除 Leader Pod
					if err != nil {
						log.Error(err, "Leader pod could not be deleted.") // 日志：删除失败
					}
				case leaderPod.GetDeletionTimestamp() != nil: // Leader Pod 已被标记删除（新增逻辑）
					log.Info("Operator pod with leader lock has been terminating/completed.", "leader", leaderPod.Name) // 日志：Leader Pod 正在终止
					log.Info("Deleting a-lock cm.")                                                       // 日志：删除 ConfigMap
					errCm := client.Delete(ctx, cm)                                                       // 删除 ConfigMap
					if errCm != nil {
						log.Error(errCm, "Leader pod could not be deleted.") // 日志：删除 ConfigMap 失败
					}
					err := client.Delete(ctx, leaderPod) // 删除 Leader Pod
					if err != nil {
						log.Error(err, "Leader pod could not be deleted.") // 日志：删除 Pod 失败
					}
				default: // Leader Pod 仍然活跃
					log.Info("Not the leader. Waiting.") // 日志：当前不是 Leader，继续等待
				}
			}
			// 等待一段时间后重试，带有随机抖动（Jitter）避免所有 Follower 同时竞争
			select {
			case <-time.After(wait.Jitter(backoff, .2)): // 等待 backoff 时间（带 20% 随机抖动）
				if backoff < maxBackoffInterval { // 如果退避时间未达到最大值
					backoff *= 2 // 退避时间翻倍
				}
				continue // 继续下一次循环
			case <-ctx.Done(): // 上下文取消
				return ctx.Err() // 返回上下文错误
			}
		default: // 创建 ConfigMap 时发生其他错误
			log.Error(err, "Unknown error creating ConfigMap") // 日志：未知错误
			return err
		}
	}
}
// myOwnerRef 返回当前运行 Pod 的 OwnerReference。
// 它依赖环境变量 POD_NAME（通过 downwards API 设置）来识别当前 Pod。
func myOwnerRef(ctx context.Context, client crclient.Client, ns string) (*metav1.OwnerReference, error) {
	// 获取当前 Pod 的信息
	myPod, err := k8sutil.GetPod(ctx, client, ns)
	if err != nil {
		return nil, err // 获取失败，返回错误
	}
	// 构造 OwnerReference
	owner := &metav1.OwnerReference{
		APIVersion: "v1",              // API 版本
		Kind:       "Pod",             // 资源类型
		Name:       myPod.ObjectMeta.Name, // Pod 名称
		UID:        myPod.ObjectMeta.UID,  // Pod 的唯一标识符
	}
	return owner, nil
}
// isPodEvicted 检查 Pod 是否被驱逐（Evicted）。
// Pod 被驱逐时，Phase 为 Failed，且 Reason 为 "Evicted"。
func isPodEvicted(pod corev1.Pod) bool {
	podFailed := pod.Status.Phase == corev1.PodFailed // Pod 状态为 Failed
	podEvicted := pod.Status.Reason == "Evicted"       // 原因是 Evicted
	return podFailed && podEvicted                     // 两者都满足则为被驱逐
}

commit f38e952f4eb3a5f4996a2a41bd0eedc98b6637de
Author: wojtekt <wojtekt@google.com>
Date:   Tue May 22 16:34:25 2018 +0200
    Add coordination API group with Lease type
staging/src/k8s.io/api/coordination/v1beta1/types.go

git checkout f38e952f4eb3a5f4996a2a41bd0eedc98b6637de
ls -l staging/src/k8s.io/api/coordination/v1beta1/types.go
ls -l staging/src/k8s.io/api/coordination/v1/types.go

git checkout v1.12.0
ls -l staging/src/k8s.io/api/coordination/v1/types.go
ls -l staging/src/k8s.io/api/coordination/v1beta1/types.go

commit 73d14dede6bd6915b608f5fd86c20c9a322847be
Author: wojtekt <wojtekt@google.com>
Date:   Wed Dec 19 16:22:05 2018 +0100
    Promote Lease API to v1
staging/src/k8s.io/api/coordination/v1/types.go