TUNA-JP Advent Calendar 2021 その2の11日目のエントリです。
TCEじゃなくてTKGの内容ですが、TCEとTKGのちょっとした違いを知るという意味で良いよね?
基本的には以下のドキュメントの通りです。
なお、Tanzu Community Editionの場合のインストール方法は こちらの記事 を参照してください。
目次
ここではTKGに付属するパッケージを tkg-package-install
namespaceにインストールします。
tkg-package-install
namespaceを作成します。
kubectl create ns tkg-package-install
Cert Manager Packageのインストール
次のコマンドでCert Managerをインストールします。
tanzu package install cert-manager --package-name cert-manager.tanzu.vmware.com --version 1.1.0+vmware.1-tkg.2 --namespace tkg-package-install
Contour Packageのインストール
今回はtype=LoadBalancerなServiceが利用できる環境を使用します。
次のコマンドでContourをインストールします。
cat <<EOF > contour-data-values.yaml
---
infrastructure_provider: "vsphere"
envoy:
service:
type: LoadBalancer
EOF
tanzu package install contour --package-name contour.tanzu.vmware.com --version 1.17.1+vmware.1-tkg.1 --namespace tkg-package-install -f contour-data-values.yaml
EnvoyにはExternal IPが振られています。
$ kubectl get svc -n tanzu-system-ingress
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
contour ClusterIP 100.69.225.48 <none> 8001/TCP 52s
envoy LoadBalancer 100.65.46.194 10.213.232.22 80:31819/TCP,443:30648/TCP 52s
Harbor Packageのインストール
設定項目を変更するために、次のコマンドでHarbor PackageのimgpkgBundleをダウンロードします。
IMAGE_URL=$(kubectl get package harbor.tanzu.vmware.com.2.2.3+vmware.1-tkg.1 -o jsonpath='{.spec.template.spec.fetch[0].imgpkgBundle.image}')
imgpkg pull -b ${IMAGE_URL} -o /tmp/harbor
設定項目を定義するvalues.yaml
をコピーし、パスワードなどを自動生成します。
cp /tmp/harbor/config/values.yaml harbor-values.yaml
/tmp/harbor/config/scripts/generate-passwords.sh harbor-values.yaml
Harborのホスト名を決めます。ここではsslip.ioを利用します。
ENVOY_IP=$(kubectl get svc -n tanzu-system-ingress envoy -ojsonpath='{.status.loadBalancer.ingress[0].ip}')
HARBOR_HOST=harbor-$(echo ${ENVOY_IP} | sed 's/\./-/g').sslip.io
a-b-c-d.sslip.io
もharbor-a-b-c-d.sslip.io
もa.b.c.d
に解決されます。
このホスト名をharbor-values.yaml
に設定します。
sed -i."" "s/harbor\.yourdomain\.com/${HARBOR_HOST}/g" harbor-values.yaml
先頭の2行を削除します。
sed -i."" '1,2d' harbor-values.yaml
このharbor-values.yaml
を使ってHarborをインストールします。
tanzu package install harbor --package-name harbor.tanzu.vmware.com --version 2.2.3+vmware.1-tkg.1 --namespace tkg-package-install --values-file harbor-values.yaml
インストールが完了しても、TKG 1.4.0の段階では配布されているnotaryのイメージにバグがあり、次のようにharbor-notary-signerがCrashLoopBackOff
状態になります。
$ kubectl get pod -n tanzu-system-registry
NAME READY STATUS RESTARTS AGE
harbor-core-6884d769f8-cz9s2 1/1 Running 2 4m18s
harbor-database-0 1/1 Running 0 4m17s
harbor-jobservice-6f7b69dd85-fr9w5 1/1 Running 0 4m17s
harbor-notary-server-6785fcff9-2z98f 1/1 Running 0 4m16s
harbor-notary-signer-74ff959f9b-b7zdz 0/1 CrashLoopBackOff 5 4m16s
harbor-portal-8688f8fd6f-7zk7g 1/1 Running 0 4m15s
harbor-redis-0 1/1 Running 0 4m15s
harbor-registry-85c9b4bff-kdt6t 2/2 Running 0 4m15s
harbor-trivy-0 1/1 Running 0 4m15s
Workaroundは以下のKBに記載されています。
https://kb.vmware.com/s/article/85725
パッチを充てるため、次のytt overlayファイルを作成します。
cat <<EOF > overlay-notary-signer-image-fix.yaml
#@ load("@ytt:overlay", "overlay")
#@overlay/match by=overlay.and_op(overlay.subset({"kind": "Deployment"}), overlay.subset({"metadata": {"name": "harbor-notary-signer"}}))
---
spec:
template:
spec:
containers:
#@overlay/match by="name",expects="0+"
- name: notary-signer
image: projects.registry.vmware.com/tkg/harbor/notary-signer-photon@sha256:4dfbf3777c26c615acfb466b98033c0406766692e9c32f3bb08873a0295e24d1
EOF
overlayファイルを次のコマンドで適用します。
kubectl -n tkg-package-install create secret generic harbor-notary-singer-image-overlay \
-o yaml \
--dry-run=client \
--from-file=overlay-notary-signer-image-fix.yaml \
| kubectl apply -f-
kubectl -n tkg-package-install annotate packageinstalls harbor ext.packaging.carvel.dev/ytt-paths-from-secret-name.0=harbor-notary-singer-image-overlay --overwrite=true
harbor-notary-signerがRunning
状態になることを確認してください。
$ kubectl get pod -n tanzu-system-registry
NAME READY STATUS RESTARTS AGE
harbor-core-6884d769f8-cz9s2 1/1 Running 2 9h
harbor-database-0 1/1 Running 0 9h
harbor-jobservice-6f7b69dd85-fr9w5 1/1 Running 0 9h
harbor-notary-server-6785fcff9-2z98f 1/1 Running 0 9h
harbor-notary-signer-7d5856c46b-p5vl7 1/1 Running 0 49s
harbor-portal-8688f8fd6f-7zk7g 1/1 Running 0 9h
harbor-redis-0 1/1 Running 0 9h
harbor-registry-85c9b4bff-kdt6t 2/2 Running 0 9h
harbor-trivy-0 1/1 Running 0 9h
インストールが完了し、次のHTTPProxyリソースができていることを確認します。
$ kubectl get httpproxy -n tanzu-system-registry
NAME FQDN TLS SECRET STATUS STATUS DESCRIPTION
harbor-httpproxy harbor-10-213-232-22.sslip.io harbor-tls valid Valid HTTPProxy
harbor-httpproxy-notary notary.harbor-10-213-232-22.sslip.io harbor-tls valid Valid HTTPProxy
Harborにアクセス
次のコマンドでHarborのCA証明書をダウンロードします。
kubectl get secret -n tanzu-system-registry harbor-tls --template '{{index .data "ca.crt" | base64decode}}' > ca.crt
次のコマンドでも取得できます。
curl -sk https://${HARBOR_HOST}/api/v2.0/systeminfo/getcert > ca.crt
Linuxの場合、このCA証明書をDockerが信頼できるように次のフォルダに移動します。
sudo mkdir -p /etc/docker/certs.d/${HARBOR_HOST}
sudo mv ca.crt /etc/docker/certs.d/${HARBOR_HOST}
Macの場合は次のコマンドを実行した後、Dockerを再起動する必要があります。
# https://blog.container-solutions.com/adding-self-signed-registry-certs-docker-mac
sudo security add-trusted-cert -d -r trustRoot -k ~/Library/Keychains/login.keychain ca.crt
生成されたHarborのパスワードを取得し、ログインします。
HARBOR_PASSWORD=$(grep harborAdminPassword harbor-values.yaml | awk '{print $2}')
docker login ${HARBOR_HOST} -u admin -p ${HARBOR_PASSWORD}
Error response from daemon: Get "https://${HARBOR_HOST}/v2/": x509: certificate signed by unknown authority
がでたら、CA証明書を信頼する設定が間違っています。
ログインできたら、Dockerイメージをpushします。
docker pull gcr.io/google-samples/hello-app:1.0
docker tag gcr.io/google-samples/hello-app:1.0 ${HARBOR_HOST}/library/hello-app:1.0
docker push ${HARBOR_HOST}/library/hello-app:1.0
Webブラウザからも確認できます。
次は自己署名証明を使用したHarborにTanzu Kubernetes Clusterからアクセスする方法を紹介します。