[Kubernetes] 1.7.x~1.9.x, kubeadm 으로 L3 네트워크 기반 Cluster 구성(with Calico CNI)-3/4

4개의 시리즈 중 세 번 째로, 이번에는 2017/08 최종 버전인 Kubernetes 1.7.4 의 kubeadm 을 통한 클러스터 구축을 서로 다른 네트워크가 L3로 연결된 환경에서 구현하는 과정과 방법에 대해 알아 보고, 기본적 테스트와 검증을 진행하는 내용으로 마무리 하고자 한다.

* 1.8.x 버전 릴리즈 시 변경 사항 추가(2017.10.16. ... #1.8.x, 붉은 글씨로 표시).

: https://github.com/kubernetes/kubernetes/issues/53333 참고)

* 1.9.x 버전 릴리즈 시 변경 사항 추가(2017.12.26. ... #1.9.x, 붉은 글씨로 표시).

각 노드에 해당하는 서버의 준비

Master: CentOS 7.3(1611), CPU 2, Memory 1.2GB, IP 10.255.10.170
Minion 1: CentOS 7.3(1611), CPU 2, Memory 1.2GB, IP 10.255.10.171
Minion 2: CentOS 7.3(1611), CPU 2, Memory 1.2GB, IP 10.255.20.170
Minion 3: CentOS 7.3(1611), CPU 2, Memory 1.2GB, IP 10.255.20.171

각 노드 기본 설정

* 전체 서버 개별 설정

# hostnamectl set-hostname kubemaster

# hostnamectl set-hostname kubenode1

# hostnamectl set-hostname kubenode2

# hostnamectl set-hostname kubenode3

* 전체 서버 공통 설정

# vi /etc/hosts

...

10.255.10.170 kubemaster

10.255.10.171 kubenode1

10.255.20.170 kubenode2

10.255.20.171 kubenode3

* Optional: kubeadm 을 통한 node join 시 Warning 발생 . 작업 환경 내에 직접 관리하는 DNS 가 없을 경우, 편의를 위해 사용하는 방식임

# yum makecache fast

# yum install -y epel-release

# yum provides docker

Loaded plugins: fastestmirror

Loading mirror speeds from cached hostfile

* base: ftp.nara.wide.ad.jp

* epel: ftp.kddilabs.jp

* extras: ftp.iij.ad.jp

* updates: ftp.nara.wide.ad.jp

2:docker-1.12.6-32.git88a4867.el7.centos.x86_64 : Automates deployment of

: containerized applications

Repo : extras ...

# yum install -y docker-1.12.6-32.git88a4867.el7.centos.x86_64 chrony

# systemctl stop firewalld && systemctl disable firewalld

# systemctl enable docker && systemctl start docker

* yum provides docker 를 실행하여 리스팅 되는 docker 릴리즈 버전을 선택하여 설치한다

# vi /etc/yum.repos.d/kubernetes.repo

[kubernetes]

name=Kubernetes

baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=1

repo_gpgcheck=1

gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg

https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg

K8s Master 설정

[root@kubemaster ~]# vi /etc/sysctl.conf

...

net.bridge.bridge-nf-call-iptables=1

net.bridge.bridge-nf-call-ip6tables=1

net.netfilter.nf_conntrack_max = 786432

[root@kubemaster ~]# sysctl -p

* #1.9.x에서는 반드시 수행해야 함

[root@kubemaster ~]# vi /etc/chrony.conf

...

server time.bora.net iburst

allow 10.255.0.0/16

local stratum 10

...

[root@kubemaster ~]# systemctl enable chronyd && systemctl restart chronyd

[root@kubemaster ~]# chronyc tracking

[root@kubemaster ~]# chronyc sources -v

[root@kubemaster ~]# yum update -y

[root@kubemaster ~]# yum install -y kubelet kubeadm kubectl kubernetes-cni nmap bind-utils net-tools chrony wget fping jq git bash-completion

[root@kubemaster ~]# systemctl enable kubelet && systemctl start kubelet

[root@kubemaster ~]# source /etc/profile.d/bash_completion.sh

[root@kubemaster ~]# source <(kubectl completion bash)

[root@kubemaster ~]# echo "source /etc/profile.d/bash_completion.sh" | tee -a ~/.bashrc

[root@kubemaster ~]# echo "source <(kubectl completion bash)" | tee -a ~/.bashrc

* kubectl 명령 옵션의 자동 완성 기능 설정(option 사항임). .bashrc 또는 .bash_profile에 추가하여 사용

[root@kubemaster ~]# setenforce 0

* Permissive 로 임시 전환(부팅 후 enforcing 으로 자동 전환됨)

* 갑작스러운 리부팅 이후에 apiserver, etcd 등이 정상 기동되지 않는 경우가 자주 발생한다면, /etc/selinux/config 에서 permissive 로 설정하여 사용하는 경우도 고려해 볼 수 있음

[root@kubemaster ~]# vi /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

...

Environment="KUBELET_DNS_ARGS=--cluster-dns=10.128.0.10 --cluster-domain=cluster.local"

...

[root@kubemaster ~]# systemctl daemon-reload

[root@kubemaster ~]# systemctl restart kubelet

* #1.8.x, 1.9.x: ExecStart= 위의 라인에 Environment="KUBELET_EXTRA_ARGS=--fail-swap-on=false --runtime-cgroups=/systemd/system.slice --kubelet-cgroups=/systemd/system.slice" 추가 필요

* systemctl status kubelet 실행시 status=1/FAILURE 로 나타나지만 무시해도 됨(kubeadm 이 정상 실행 되면 정상화)

* Cluster IP 범위(=service-cidr) 를 Default 값인 10.96.0.0/12 와 다른 값으로 바꾸려면, DNS IP도 그에 맞게 수정해 두어야 한다

* 해당 변경은 모든 Minion 노드에서도 각각 수행해 주어야 함(1.8.x 버전에서는 kubeadm init 옵션에서 이 부분을 동적으로 반영하도록 수정될 수 있음)

[root@kubemaster ~]# kubeadm init --skip-preflight-checks --pod-network-cidr 172.31.0.0/16 --service-cidr 10.128.0.0/12 --service-dns-domain "cluster.local" --apiserver-advertise-address 10.255.10.170 --token-ttl 0

[kubeadm] WARNING: kubeadm is in beta, please do not use it for production clusters.

[init] Using Kubernetes version: v1.7.4

[init] Using Authorization modes: [Node RBAC]

[preflight] Skipping pre-flight checks

[kubeadm] WARNING: starting in 1.8, tokens expire after 24 hours by default (if you require a non-expiring token use --token-ttl 0)

[certificates] Generated CA certificate and key.

[certificates] Generated API server certificate and key.

[certificates] API Server serving cert is signed for DNS names [kubemaster kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.128.0.1 10.255.10.170]

[certificates] Generated API server kubelet client certificate and key.

[certificates] Generated service account token signing key and public key.

[certificates] Generated front-proxy CA certificate and key.

[certificates] Generated front-proxy client certificate and key.

[certificates] Valid certificates and keys now exist in "/etc/kubernetes/pki"

[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/admin.conf"

[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/kubelet.conf"

[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/controller-manager.conf"

[kubeconfig] Wrote KubeConfig file to disk: "/etc/kubernetes/scheduler.conf"

[apiclient] Created API client, waiting for the control plane to become ready

[apiclient] All control plane components are healthy after 99.501670 seconds

[token] Using token: 826c89.818bf5757e8aa2cc

[apiconfig] Created RBAC rules

[addons] Applied essential addon: kube-proxy

[addons] Applied essential addon: kube-dns

Your Kubernetes master has initialized successfully!

To start using your cluster, you need to run (as a regular user):

mkdir -p $HOME/.kube

sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.

Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:

http://kubernetes.io/docs/admin/addons/

You can now join any number of machines by running the following on each node

as root:

kubeadm join --token 826c89.818bf5757e8aa2cc 10.255.10.170:6443

* #1.9.x: --skip-preflight-checks 옵션 삭제, --ignore-preflight-errors=all 옵션 추가

* 1.6.x 이후 버전부터는 설치시 생성되는 토큰(bootstrap token)은 24시간 이후에 자동 삭제 되며, 이후에 노드 추가 등의 작업을 위해서 'kubeadm token create' 으로 새로운 토큰을 생성해 주어야 한다. '--token-ttl 0' 옵션은 토큰이 만료되지 않도록 설정함

* 즉시 완료되지는 않으며, /var/log/message 에 connection refused .. 메시지가 다량 관찰 되며, 수 분~수 십분 가량 걸릴 수 있음

* 완료된 후에도 journal log 또는 /var/log/messages log에는 network plugin is not read: cni config uninitialized 오류는 계속 나옴(정상 상태)

K8s Master 노드 kubectl 실행환경 설정 & 확인

[root@kubemaster ~]# mkdir -p $HOME/.kube

[root@kubemaster ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

[root@kubemaster ~]# chown $(id -u):$(id -g) $HOME/.kube/config

[root@kubemaster ~]# export KUBECONFIG=$HOME/.kube/config

[root@kubemaster ~]# echo "export KUBECONFIG=$HOME/.kube/config" | tee -a ~/.bashrc

[root@kubemaster ~]# kubectl get componentstatus

NAME STATUS MESSAGE ERROR

controller-manager Healthy ok

scheduler Healthy ok

etcd-0 Healthy {"health": "true"}

K8s Minion(worker) 노드 전체 설정

* 나중에 새로운 Minion을 추가할 때마다 위의 전체 노드 공통 설정과 함께 이 과정을 거치면 된다

[root@kubenode1 ~]# vi /etc/sysctl.conf

...

net.bridge.bridge-nf-call-iptables=1

net.bridge.bridge-nf-call-ip6tables=1

net.netfilter.nf_conntrack_max = 786432

[root@kubenode1 ~]# sysctl -p

[root@kubenode1 ~]# vi /etc/chrony.conf

...

server 10.255.10.170 iburst

local stratum 10

...

[root@kubenode1 ~]# systemctl enable chronyd && systemctl restart chronyd

[root@kubenode1 ~]# chronyc tracking

[root@kubenode1 ~]# chronyc sources -v

[root@kubenode1 ~]# yum update -y

[root@kubenode1 ~]# yum install -y kubelet kubeadm kubernetes-cni net-tools

K8s Minion 노드 설정 후 각각 추가

[root@kubenode1 ~]# systemctl enable kubelet && systemctl start kubelet

[root@kubenode1 ~]# setenforce 0
[root@kubenode1 ~]# vi /etc/systemd/system/kubelet.service.d/10-kubeadm.conf

...

Environment="KUBELET_DNS_ARGS=--cluster-dns=10.128.0.10 --cluster-domain=cluster.local"

...

[root@kubenode1 ~]# systemctl daemon-reload

[root@kubenode1 ~]# systemctl restart kubelet

* #1.8.x, 1.9.x: ExecStart= 위의 라인에 Environment="KUBELET_EXTRA_ARGS=--fail-swap-on=false --runtime-cgroups=/systemd/system.slice --kubelet-cgroups=/systemd/system.slice" 추가 필요

* systemctl status kubelet 실행시 status=1/FAILURE 로 나타나지만 무시해도 됨(kubeadm 이 정상 실행 되면 정상화)

[root@kubenode1 ~]# kubeadm join --token 102952.1a7dd4d8d9f4cc5 10.255.10.170:6443

* #1.9.x: --ignore-preflight-errors=all --discovery-token-unsafe-skip-ca-verification 옵션 추가

* Token 값은 새로운 노드를 추가할 때 재사용 가능하며, 분실시 또는 expire 시 에는 Master에서 'kubeadm token list' 로 알아낼 수 있다

K8s Master, Minion 노드 & Pod 실행 상태 확인

[root@kubemaster ~]# kubectl get nodes

NAME STATUS AGE VERSION

kubemaster NotReady 3m v1.7.4

kubenode1 NotReady 9s v1.7.4

kubenode2 NotReady 5s v1.7.4

kubenode3 NotReady 1s v1.7.4

[root@kubemaster ~]# kubectl get pods --all-namespaces

NAMESPACE NAME READY STATUS RESTARTS AGE

kube-system etcd-kubemaster 1/1 Running 0 4m

kube-system kube-apiserver-kubemaster 1/1 Running 0 3m

kube-system kube-controller-manager-kubemaster 1/1 Running 0 4m

kube-system kube-dns-2425271678-08gjk 0/3 Pending 0 4m

kube-system kube-proxy-5hgsc 1/1 Running 0 4m

kube-system kube-proxy-68r71 1/1 Running 0 1m

kube-system kube-proxy-h262f 1/1 Running 0 1m

kube-system kube-proxy-s4n74 1/1 Running 0 1m

kube-system kube-scheduler-kubemaster 1/1 Running 0 4m

* kube-dns 이외의 모든 Pod 는 Running 상태이어야 하며, kube-dns 는 Network fabric solution 을 설치하기 전까지는 Pending 으로 나올 수 있음

(kubeadm은 network provider-agnostic함)

K8s Master, Calico CNI(Container Network Interface) plugin 설치 & 네트워크 활성화

[root@kubemaster ~]# git clone https://github.com/DragOnMe/kubernetes-1.7.3-with-calico-and-test-sample.git k8s-setup-test

[root@kubemaster ~]# cd k8s-setup-test/kube-cni-calico

* calico-2.4.1.yaml, calico-2.6.1.yaml 중 선택

* L3 네트워크와 무관한 Flat network 를 사용하고 싶을 경우 Calico 외에도 Weave, Flannel 등의 다른 CNI plugin 을 설치해도 되며, 여기를 참조하여 다양한 CNI들 중 하나를 취사선택하여 설치할 수도 있다

* [참고1] Weave 의 경우 kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')" 로 간단히 한번에 설치 가능하며(Kubernetes v1.4 버전 이후의 경우에만 해당), 이후의 calico 설치 과정은 skip해도 된다

* [참고2] Weave는 컨테이너간 multicast 통신이 가능하며, Calico와 비슷하게 Network Policy 기능까지 제공한다. 나중을 위해 yaml 파일로 저장해서 사용하거나 일부를 수정하여 사용하려면 curl -fsSLo weave-daemonset.yaml "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')" 로 다운로드 받은 후 사용하면 된다(참고: https://www.weave.works/docs/net/latest/kubernetes/kube-addon/)

아래 설치 내용은 L3 네트워크를 지원하는 Calico CNI 를 Kubernetes 1.7.x~1.8.x 에 설치할 경우에만 해당되므로 위에서 weave CNI를 설치하였거나 또는 Kubernetes 1.9.x 버전일 경우 내용상 설정과정이 달라질 수 있다(나중에 추가로 다룰 예정).

* Calico 2.6.1 설치 시작

[root@kubemaster kube-cni-calico]# vi calico-2.6.1.yaml

...

17 etcd_endpoints: "http://10.128.232.136:6666"

...

113 clusterIP: 10.128.232.136

...

180 # Configure the IP Pool from which Pod IPs will be chosen.

181 - name: CALICO_IPV4POOL_CIDR

182 value: "172.31.0.0/16"

...

* calico_etcd 주소: 10.96.232.136 (default) 에서 10.128.232.136 으로 변경(Cluster IP cidr 범위 내에 있어야 함)

* CALICO_IPV4POOL_CIDR: 172.31.0.0/16(kubeadm init 시의 pod-network-cidr 값과 동일해야 함)

CALICO_IPV4POOL_CIDR 범위 내의 IP가 Minion 노드의 tunl0 에 할당 되며, Pod에도 동적으로 할당 됨

[root@kubemaster ~]# cd ~

[root@kubemaster ~]# kubectl apply -f k8s-setup-test/kube-cni-calico/calico.yaml

configmap "calico-config" created

daemonset "calico-etcd" created

service "calico-etcd" created

daemonset "calico-node" created

deployment "calico-policy-controller" created

clusterrolebinding "calico-cni-plugin" created

clusterrole "calico-cni-plugin" created

serviceaccount "calico-cni-plugin" created

clusterrolebinding "calico-policy-controller" created

clusterrole "calico-policy-controller" created

serviceaccount "calico-policy-controller" created

[root@kubemaster ~]# kubectl get pods -n kube-system -o wide

NAME READY STATUS RESTARTS AGE IP NODE

calico-etcd-695ln 0/1 ImagePullBackOff 0 5m 10.255.10.170 kubemaster

calico-node-278k3 0/2 ContainerCreating 0 5m 10.255.20.171 kubenode3

calico-node-4l1f4 0/2 ContainerCreating 0 5m 10.255.10.170 kubemaster

calico-node-cr5cr 0/2 ErrImagePull 0 5m 10.255.20.170 kubenode2

calico-node-dr73h 0/2 ContainerCreating 0 5m 10.255.10.171 kubenode1

calico-policy-controller-336633499-drd9n 0/1 Pending 0 5m <none> <none>

etcd-kubemaster 1/1 Running 0 14m 10.255.10.170 kubemaster

kube-apiserver-kubemaster 1/1 Running 0 13m 10.255.10.170 kubemaster

kube-controller-manager-kubemaster 1/1 Running 0 14m 10.255.10.170 kubemaster

kube-dns-2425271678-08gjk 0/3 Pending 0 14m <none> <none>

kube-proxy-5hgsc 1/1 Running 0 14m 10.255.10.170 kubemaster

kube-proxy-68r71 1/1 Running 0 11m 10.255.10.171 kubenode1

kube-proxy-h262f 1/1 Running 0 11m 10.255.20.170 kubenode2

kube-proxy-s4n74 1/1 Running 0 10m 10.255.20.171 kubenode3

kube-scheduler-kubemaster 1/1 Running 0 14m 10.255.10.170 kubemaster

* Calico 2.6.1 설치 끝

[root@kubemaster ~]# kubectl get nodes

NAME STATUS AGE VERSION

kubemaster NotReady 29m v1.7.4

kubenode1 Ready 26m v1.7.4

kubenode2 NotReady 25m v1.7.4

kubenode3 Ready 25m v1.7.4

* Calico Network Pod가 정상 기동되기 전까지는 모든 노드는 NotReady 상태로 보일 수도 있다. 위의 과정을 보면 Calico Pod 가 Ready로 올라옴에 따라

노드가 하나씩 Ready 상태로 바뀌고 있는 것을 알 수 있다(Calico node Pod 의 경우 전체 Minion에 걸쳐 완료되려면 수 십분 정도 걸릴 수도 있다)

...

Aug 24 02:06:43 localhost kubelet: E0824 02:06:43.126000 3032 pod_workers.go:182] Error syncing pod 0c9bb31d-8825-11e7-b7d7-08002729d0c4 ("calico-etcd-695ln_kube-system(0c9bb31d-8825-11e7-b7d7-08002729d0c4)"), skipping: failed to "StartContainer" for "calico-etcd" with ImagePullBackOff: "Back-off pulling image \"quay.io/coreos/etcd:v3.1.10\""

Aug 24 02:06:43 localhost kubelet: W0824 02:06:43.531722 3032 cni.go:189] Unable to update cni config: No networks found in /etc/cni/net.d

Aug 24 02:06:43 localhost kubelet: E0824 02:06:43.531821 3032 kubelet.go:2136] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

Aug 24 02:06:48 localhost kubelet: W0824 02:06:48.533281 3032 cni.go:189] Unable to update cni config: No networks found in /etc/cni/net.d

Aug 24 02:06:48 localhost kubelet: E0824 02:06:48.533882 3032 kubelet.go:2136] Container runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized

...

* Example /var/log/messages

[root@kubemaster ~]# kubectl get pods -n kube-system -o wide

NAME READY STATUS RESTARTS AGE IP NODE

calico-etcd-695ln 1/1 Running 0 45m 10.255.10.170 kubemaster

calico-node-278k3 2/2 Running 7 45m 10.255.20.171 kubenode3

calico-node-4l1f4 2/2 Running 5 45m 10.255.10.170 kubemaster

calico-node-cr5cr 2/2 Running 8 45m 10.255.20.170 kubenode2

calico-node-dr73h 2/2 Running 6 45m 10.255.10.171 kubenode1

calico-policy-controller-336633499-drd9n 1/1 Running 9 45m 10.255.20.171 kubenode3

etcd-kubemaster 1/1 Running 0 30m 10.255.10.170 kubemaster

kube-apiserver-kubemaster 1/1 Running 0 30m 10.255.10.170 kubemaster

kube-controller-manager-kubemaster 1/1 Running 0 30m 10.255.10.170 kubemaster

kube-dns-2425271678-08gjk 3/3 Running 4 54m 172.31.45.192 kubenode3

kube-proxy-5hgsc 1/1 Running 0 54m 10.255.10.170 kubemaster

kube-proxy-68r71 1/1 Running 0 50m 10.255.10.171 kubenode1

kube-proxy-h262f 1/1 Running 0 50m 10.255.20.170 kubenode2

kube-proxy-s4n74 1/1 Running 0 50m 10.255.20.171 kubenode3

kube-scheduler-kubemaster 1/1 Running 0 30m 10.255.10.170 kubemaster

* 시간이 지남에 따라 점차로 Pod들이 자리를 잡으며, 후반으로 가면 kube-dns가 Running 상태로 바뀌고 Pod Network의 IP를 할당 받음을 볼 수 있다

[root@kubemaster ~]# kubectl get nodes

NAME STATUS AGE VERSION

kubemaster Ready 55m v1.7.4

kubenode1 Ready 51m v1.7.4

kubenode2 Ready 51m v1.7.4

kubenode3 Ready 51m v1.7.4

* 모든 노드가 Ready 상태로 바뀌면 설치가 완료되어 Cluster 의 사용이 가능한 상태가 된 것이다

Cluster 정상 상태 및 DNS 동작 확인을 위한 Pod 생성

[root@kubemaster ~]# mkdir k8s-test && cd k8s-test

[root@kubemasterk8s-test]# vi busybox-for-dnstest.yaml

apiVersion: v1
kind: Pod
metadata:
  name: busybox-for-dnstest
  namespace: default
spec:
  containers:
  - image: busybox
    command:
      - sleep
      - "3600"
    imagePullPolicy: IfNotPresent
    name: busybox-container
  restartPolicy: Always

[root@kubemasterk8s-test]# vi test-hostnames-deploy.yaml

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: hostnames
spec:
  replicas: 3
  template:
    metadata:
      labels:
        app: hostnames
    spec:
      containers:
      - name: hostnames
        image: gcr.io/google_containers/serve_hostname
        ports:
        - containerPort: 9376
          protocol: TCP

[root@kubemasterk8s-test]# vi test-hostnames-svc.yaml

apiVersion: v1
kind: Service
metadata:
  name: hostnames
spec:
  selector:
    app: hostnames
  ports:
  - name: default
    protocol: TCP
    port: 80
    targetPort: 9376

[root@kubemaster k8s-test]# kubectl create -f busybox-for-dnstest.yaml

pod "busybox-for-dnstest" created

[root@kubemaster k8s-test]# kubectl create -f test-hostnames-deploy.yaml

deployment "hostnames" created

[root@kubemaster k8s-test]# kubectl create -f test-hostnames-svc.yaml

service "hostnames" created

Cluster DNS 정상 작동 상태 확인

* Kubernetes 클러스터의 정상적인 서비스를 위해서 가장 중요한 요소 중 하나인 DNS 기능을 확인해 봄으로써, 전체 클러스터의 기본적 동작을 점검할 수 있다.

[root@kubemaster k8s-test]# kubectl exec -it busybox-for-dnstest -- sh

/ # nslookup yahoo.com

Server: 10.128.0.10

Address 1: 10.128.0.10 kube-dns.kube-system.svc.cluster.local

Name: yahoo.com

Address 1: 2001:4998:58:c02::a9 ir1.fp.vip.bf1.yahoo.com

Address 2: 2001:4998:c:a06::2:4008 ir1.fp.vip.gq1.yahoo.com

Address 3: 2001:4998:44:204::a7 ir1.fp.vip.ne1.yahoo.com

Address 4: 206.190.36.45 ir1.fp.vip.gq1.yahoo.com

Address 5: 98.138.253.109 ir1.fp.vip.ne1.yahoo.com

Address 6: 98.139.180.149 ir1.fp.vip.bf1.yahoo.com

/ # nslookup kubernetes

Server: 10.128.0.10

Address 1: 10.128.0.10 kube-dns.kube-system.svc.cluster.local

Name: kubernetes

Address 1: 10.128.0.1 kubernetes.default.svc.cluster.local

/ # nslookup hostnames

Server: 10.128.0.10

Address 1: 10.128.0.10 kube-dns.kube-system.svc.cluster.local

Name: hostnames

Address 1: 10.128.89.48 hostnames.default.svc.cluster.local

/ # wget -O- http://hostnames

Connecting to hostnames (10.98.89.48:80)

hostnames-2923313648-rtlgg