Blog
Thoughts on engineering, design, and building great products.
Metrics, Traces và API Priority and Fairness
Log cho sự kiện rời rạc; metrics cho số liệu liên tục. Bài này soi endpoint /metrics định dạng Prometheus mà apiserver và kubelet phơi ra, rồi đào API Priority and Fairness — cơ chế apiserver tự chia băng thông request thành nhiều mức ưu tiên để một client hỗn không bóp nghẹt phần còn lại. Ta xem FlowSchema và PriorityLevelConfiguration dựng sẵn, và trạng thái sống của từng mức qua endpoint debug — tất cả trên cụm thật.
Kiến Trúc Logging
kubectl logs nghe đơn giản, nhưng phía sau là một chuỗi: container ghi stdout/stderr ra file trên node, kubelet đọc file đó trả về, và xoay nó khi đầy. Bài này lần theo một dòng log thật từ kubectl xuống đúng file trên đĩa worker, xem định dạng CRI và symlink, rồi tách hai loại log của cụm tự dựng — log container và log thành phần hệ thống qua journald — và vì sao cụm không tự gom log mà cần một agent.
GC, cgroup v2, Swap và Tắt Node Có Trật Tự
Kubelet làm nhiều việc ở tầng node mà ta hiếm khi nhìn tới khi mọi thứ chạy ổn. Bài này soi bốn việc đó trên worker thật: dọn image cũ khi đĩa đầy, đặt mỗi pod vào đúng nhánh cgroup v2 và ép limit qua memory.max/cpu.max, vì sao swap mặc định bị chặn, và graceful node shutdown — thứ quyết định pod bị giật hay được dừng tử tế khi node tắt.
Nâng Cấp và Version Skew
Nâng cấp Kubernetes không phải đổi hết một lượt mà đi theo thứ tự, vì các thành phần được phép lệch phiên bản nhau trong giới hạn nghiêm ngặt — kubelet được cũ hơn apiserver tới ba minor nhưng tuyệt đối không mới hơn. Bài này soi version skew của cụm, giải thích vì sao apiserver phải nâng trước, rồi diễn tập phần khó nhất khi nâng một node: cordon, drain, uncordon — trên worker-0 thật, có thể hoàn tác.
Sao Lưu etcd và Xoay Certificate
etcd cất toàn bộ trạng thái cụm; mất nó là mất cụm. Part XIII mở đầu ở đúng chỗ đáng sợ nhất khi hỏng. Ta chụp một snapshot etcd, kiểm nó hợp lệ, và khôi phục ra một thư mục dữ liệu mới để chứng minh snapshot dùng được — tất cả mà không đụng etcd đang chạy. Rồi soi hạn của bộ certificate dựng từ Bài 4 và bàn việc xoay chúng trước khi hết hạn.
Device Plugin và Extended Resources
Pod xin được CPU và memory, nhưng GPU, NIC tốc độ cao hay FPGA thì sao? Device plugin là cách node quảng bá phần cứng ngoài CPU/memory thành extended resource để pod xin và scheduler chia. Bài này dựng một device plugin thật, bắt trọn luồng gRPC nó dùng để đăng ký với kubelet và quảng bá thiết bị, xem kubelet gọi Allocate khi pod chạy, rồi dùng cơ chế extended resource bên dưới để thấy scheduler chia nó y như CPU.
API Aggregation: Gắn API Server Thứ Hai
CRD thêm kiểu mới do chính API server chính lưu trong etcd. API aggregation đi xa hơn: gắn hẳn một API server thứ hai vào sau API server chính, phục vụ một nhóm API mà nó tự lưu, tự tính, theo cách riêng. Cụm ta đã chạy một ví dụ từ Bài 39 — metrics-server. Bài này soi nó như một API aggregated: APIService đăng ký, request được proxy tới đâu, và vì sao số liệu CPU/memory trả về mà không hề nằm trong etcd.