Kubernetes运维实战：常见故障排查与优化指南

1. Kubernetes常见问题深度解析作为容器编排领域的事实标准Kubernetes在生产环境中的部署复杂度与问题多样性一直是运维人员面临的挑战。本文将针对集群管理、网络配置、存储方案等核心场景剖析四个典型故障案例及其解决方案。1.1 节点NotReady状态排查流程当kubectl get nodes显示节点状态为NotReady时建议按以下顺序排查检查kubelet服务状态systemctl status kubelet -l journalctl -xeu kubelet --no-pager | tail -n 50验证网络插件健康度以Calico为例kubectl get pods -n kube-system -l k8s-appcalico-node calicoctl node status关键指标检查清单节点资源水位内存/磁盘压力容器运行时服务状态containerd/docker主机内核版本与K8s兼容性网络策略冲突情况经验提示NotReady状态有80%的概率源于CNI插件异常建议优先检查/var/log/calico下的日志文件1.2 PersistentVolume挂载失败处理方案当Pod出现Volume挂载超时错误时需要分层诊断存储驱动层检查# NFS示例 showmount -e nfs-server-ip rpcinfo -p nfs-server-ipK8s存储类配置验证apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: slow provisioner: kubernetes.io/aws-ebs parameters: type: gp2 fsType: ext4典型故障模式对照表故障现象可能原因排查命令MountVolume.SetUp failed存储后端不可达nc -zv 2049Failed to provision volumeStorageClass配置错误kubectl describe scVolume is already attached卷未正确释放aws ec2 describe-volumes1.3 服务发现异常处理指南当Service无法通过ClusterIP访问时建议执行以下诊断步骤核心组件检查kubectl -n kube-system get pods | grep -E coredns|kube-proxy网络策略验证kubectl describe networkpolicy policy-name iptables -t nat -L KUBE-SERVICES -n --line-numbers端点健康状态确认kubectl get endpoints service-name kubectl describe endpoints service-name1.4 资源配额引发的调度失败ResourceQuota配置不当会导致Pod处于Pending状态需关注配额使用量查询kubectl describe quota --all-namespaces资源请求检查# 错误示例未设置requests containers: - name: nginx resources: limits: cpu: 1动态调整技巧# 临时扩容方案 kubectl patch quota my-quota --typemerge -p {spec:{hard:{pods:50}}}2. 性能优化专项问题2.1 API Server高延迟分析当kubectl命令响应缓慢时需要关注关键指标监控kubectl get --raw /metrics | grep -E apiserver_request_duration|inflight_requests优化建议启用API优先级和公平性APF调整--max-requests-inflight参数配置审计日志过滤规则2.2 etcd存储压缩策略针对etcd增长过快问题空间回收操作ETCDCTL_API3 etcdctl --endpoints$ENDPOINTS compact $REVISION ETCDCTL_API3 etcdctl --endpoints$ENDPOINTS defrag维护周期建议每日执行增量compact每周进行defrag操作每月全量备份3. 版本升级注意事项3.1 控制平面升级路线推荐采用canary升级策略预检查清单kubeadm upgrade plan kubectl get nodes -o wide分阶段升级步骤先升级kubeadm工具逐个升级控制平面节点最后升级worker节点3.2 工作负载兼容性验证必须检查的关键项PodSecurityPolicy迁移为PodSecurity Admission废弃API版本替换网络插件版本要求4. 安全加固实践4.1 证书轮换操作指南自动轮换流程kubeadm alpha certs renew all systemctl restart kubelet手动轮换注意事项保持旧证书72小时过渡期确保证书SAN包含所有访问IP/DNS同步更新kubeconfig文件4.2 最小权限RBAC配置推荐权限模型apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: namespace: dev name: pod-reader rules: - apiGroups: [] resources: [pods] verbs: [get, watch, list]5. 监控体系搭建要点5.1 指标采集方案对比采集方式优点缺点kube-state-metrics资源状态完整内存消耗高cAdvisor容器粒度数据历史数据有限metrics-server轻量级仅聚合数据5.2 告警规则最佳实践关键告警示例- alert: KubeletDown expr: absent(up{jobkubelet} 1) for: 15m labels: severity: critical6. 排错工具箱推荐6.1 诊断工具集必备工具清单kubectl-debug (实时容器诊断)ksniff (网络包捕获)k9s (可视化运维)6.2 日志收集策略推荐架构FluentBit - Kafka - ElasticSearch配置示例[INPUT] Name tail Path /var/log/containers/*.log Parser docker