制作英文网站费用,泰安信息平台体温,建行系统,企业建设项目备案办法近期#xff0c;JuiceFS 企业版推出了 Cache Group Operator#xff0c;用于自动化创建和管理缓存组集群。Operator 是一种简化 Kubernetes 应用管理的工具#xff0c;它能够自动化应用程序的生命周期管理任务#xff0c;使部署、扩展和运维更加高效。 在推出 Operator 之前…近期JuiceFS 企业版推出了 Cache Group Operator用于自动化创建和管理缓存组集群。Operator 是一种简化 Kubernetes 应用管理的工具它能够自动化应用程序的生命周期管理任务使部署、扩展和运维更加高效。 在推出 Operator 之前我们曾通过 StatefulSet 或 DaemonSet 的方式为用户提供缓存组创建功能但用户在使用这种方式时存在以下不便之处
节点配置不灵活无法在同一集群内针对不同节点类型或资源如挂载参数、缓存组权重、缓存盘等进行单独配置手动管理节点需要依赖人工监控并手动添加或移除节点操作繁琐且易出错缓存清理不自动化缓存清理需手动执行缺乏自动化支持。
为了解决这些问题JuiceFS 推出了 Cache Group Operator提供以下功能
在同一集群中配置不同的节点类型和资源满足不同的节点的需求;支持平滑添加或移除节点尽可能减小加减节点期间缓存命中率波动;自动缓存清理;通过 UI 的形式可视化管理缓存组集群。
01 如何使用 Operator
安装 Operator
首先添加 JuiceFS Helm 仓库并更新
helm repo add juicefs https://juicedata.github.io/charts/
helm repo update使用 Helm 安装 JuiceFS Cache Group Operator
helm upgrade --install juicefs-cache-group-operator juicefs/juicefs-cache-group-operator -n juicefs-cache-group --create-namespace用户可以使用 kubectl wait 等待 Operator 准备就绪
kubectl wait -n juicefs-cache-group --forconditionAvailabletrue --timeout120s deployment/juicefs-cache-group-operator创建缓存组集群
apiVersion: v1
kind: Secret
metadata:name: juicefs-secretnamespace: juicefs-cache-group
type: Opaque
stringData:name: juicefs-xxtoken: xxaccess-key: xxsecret-key: xx
---
apiVersion: juicefs.io/v1
kind: CacheGroup
metadata:name: cachegroup-samplenamespace: juicefs-cache-group
spec:secretRef:name: juicefs-secretworker:template:nodeSelector:juicefs.io/cg-worker: trueimage: juicedata/mount:ee-5.1.1-1faf43bopts:- group-weight100resources:requests:cpu: 100mmemory: 128Milimits:cpu: 1memory: 1Gi我们给需要节点添加如下标签即可添加一个缓存组节点
kubectl label node node1 juicefs.io/cg-workertrue缓存节点可能存在异构的配置例如缓存盘的大小不一样此时可以通过 spec.worker.overwrite 字段来为不同的节点指定不同的配置
apiVersion: juicefs.io/v1
kind: CacheGroup
metadata:name: cachegroup-sample
spec:worker:template:nodeSelector:juicefs.io/cg-worker: trueimage: juicedata/mount:ee-5.1.1-1faf43bhostNetwork: truecacheDirs:- path: /var/jfsCache-0type: HostPathopts:- group-weight100# 单位 MiB- cache-size2048overwrite:- nodes:- k8s-03# 也可以使用 nodeSelector# nodeSelector:# kubernetes.io/hostname: k8s-02opts:# 单位 MiB- cache-size1024- group-weight50cacheDirs:- path: /var/jfsCache-1type: HostPath- path: /var/jfsCache-2type: HostPath获取缓存组状态
$ kubectl get cachegroupsNAME CACHE GROUP NAME PHASE READY AGE
cachegroup-sample juicefs-cache-group-cachegroup-sample Ready 1/1 10s当 phase 状态变为 Ready 时表示缓存组已成功创建。接下来用户可以在客户端上添加挂载参数以开始使用缓存组
juicefs mount xx -o cache-groupjuicefs-cache-group-cachegroup-sample,no-sharing平滑增删节点
当节点发生变更时缓存组 Operator 会以平滑的形式增删节点具体逻辑如下 当新增节点时缓存组 Operator 会自动创建新的 Worker Pod并添加 group-backup 挂载参数。如果新的 Worker Pod 接收到应用请求并且发现缓存未命中这个 Worker Pod 会将请求转发给其它缓存节点确保缓存可以命中。默认 10 分钟后group-backup 挂载参数会被移除掉可以通过 spec.backupDuration 来控制默认时间 apiVersion: juicefs.io/v1
kind: CacheGroup
metadata:name: cachegroup-sample
spec:backupDuration: 10m当移除节点时缓存组 Operator 会先尝试将节点上的缓存数据迁移到其它节点然后再删除节点。最长等待数据迁移时间默认为 1 小时可以通过 spec.waitingDeletedMaxDuration 来控制默认时间 apiVersion: juicefs.io/v1
kind: CacheGroup
metadata:name: cachegroup-sample
spec:waitingDeletedMaxDuration: 1h02 在 CSI Dashboard 中使用
安装完成后用户可以通过 JuiceFS CSI Dashboard 轻松查看和管理缓存组集群。Dashboard 提供了直观的界面帮助实时监控缓存组的运行状态灵活添加或移除缓存节点并详细查看缓存的使用情况。
通过 Dashboard 管理缓存组集群
添加/移除缓存节点 2.查看缓存使用情况 3.预热缓存组集群
通过点击添加节点的旁边的「预热」按钮对缓存组进行预热。你可以通过调整下面的参数来实现自定义的目的例如默认会对整个文件系统进行预热可以调整 subpath 对指定目录进行预热。 有关 JuiceFS Cache Group Operator 的更多详细信息请参考官方文档
JuiceFS Cache Group Operator 文档
