泰安网络网站,40个超好玩的网页小游戏,无锡网站设计无锡网站建设,保定网站建设咨询在进行分布式文件存储解决方案的选型时#xff0c;GlusterFS 无疑是一个不可忽视的考虑对象。作为一款开源的软件定义分布式存储解决方案#xff0c;GlusterFS 能够在单个集群中支持高达 PiB 级别的数据存储。自从首次发布以来#xff0c;已经有超过十年的发展历程。目前GlusterFS 无疑是一个不可忽视的考虑对象。作为一款开源的软件定义分布式存储解决方案GlusterFS 能够在单个集群中支持高达 PiB 级别的数据存储。自从首次发布以来已经有超过十年的发展历程。目前该项目主要由 Red Hat 负责维护并且在全球范围内拥有庞大的用户群体。本文旨在通过对比分析的方式介绍 GlusterFS 与 JuiceFS 的区别为您的团队在技术选型过程中提供一些参考。
系统架构对比
GlusterFS
GlusterFS 采用的是全分布式的架构没有中心化节点。GlusterFS 集群主要由服务端和客户端两大部分组成。其中服务端负责管理和存储数据通常被称为可信存储池Trusted Storage Pool。这个存储池由一系列对等的 Server 节点组成一般会运行两类进程
glusterd每个节点一个负责配置管理和分发等。glusterfsd每个 Brick 一个负责处理数据请求和对接底层文件系统。
每个 Brick 上的所有文件可以看成是 GlusterFS 的一个子集就文件内容而言通过 Brick 直接访问和通过 GlusterFS 客户端访问看到的结果通常是一致的。因此在 GlusterFS 异常情况下用户通过整合多个 Bricks 内容就能一定程度上恢复出原有数据。另外在部署时为了确保某台机器故障时整个文件系统的访问不受影响通常会对数据做冗余保护。在 GlusterFS 中多个 Bricks 会组成一个冗余组互相之间通过副本或纠删码的方式实现数据保护。当某个节点故障时只能在冗余组内做恢复恢复的时间会比较长。在 GlusterFS 集群扩容时需要以冗余组为单位整体扩容。
客户端是挂载了 GlusterFS 的节点负责对应用程序展示统一的命名空间。其架构图如下来自 https://docs.gluster.org/en/latest/Quick-Start-Guide/Architecture/ JuiceFS
JuiceFS 采用「数据」与「元数据」分离存储的架构文件数据本身会被切分保存在对象存储如 Amazon S3当中而元数据则是会被保存在用户自行选择的数据库里如 Redis、MySQL。通过共享同一个份数据库与对象存储JuiceFS 实现了一个强一致性保证的分布式文件系统同时还具有「POSIX 完全兼容」、「高性能」等诸多特性。JuiceFS 的架构在其文档有更详细的介绍。
元数据管理对比
GlusterFS 元数据是纯分布式的没有集中的元数据服务。客户端通过对文件名哈希确定其所属的 Brick当请求需要跨多个 Bricks 访问如 mvls 等时由客户端负责协调。这种设计架构上比较简单但当系统规模扩大时往往会带来性能瓶颈。比如ls 一个大目录时可能会需要访问多个 Bricks 来获得完整的结果其中任何一个的卡顿都会导致整个请求变慢。另外跨 Bricks 修改操作在途中遇到故障时元数据一致性也比较难保证。在严重故障时还可能出现脑裂需要手动恢复数据到统一版本。
JuiceFS 的元数据存储在一个独立的数据库称为元数据引擎中客户端会将文件元数据操作转换成此数据库的一个事务借助数据库的事务能力来保证操作的原子性。这种设计使得 JuiceFS 的实现变得简单但对元数据引擎提出了较高的要求。目前 JuiceFS 支持三大类 10 种事务型数据库具体可参见元数据引擎文档。
数据管理对比
GlusterFS 通过整合多个服务端节点的 Bricks一般构建在本地文件系统之上如 XFS来存储数据。因此它本身提供了一定的数据管理功能如分布管理、冗余保护、故障切换、静默错误检测等。JuiceFS 则不直接使用硬盘而是通过对接各种对象存储来管理数据大部分特性都依赖于对象存储自身的实现。
大文件拆分
在分布式系统中将大文件拆分成多个小块散列存储在不同节点中是一种常见的优化手段。这往往能让应用在访问此文件时有更高的并发度和整体带宽。
GlusterFS不拆分曾有过 Striped Volume 会拆分大文件现已不再支持。JuiceFS文件先按大小拆成 64 MiB 的 Chunks每个 Chunk 再根据写入模式进一步拆成默认 4 MiB 的 Blocks具体可参见架构文档。
冗余保护
GlusterFS支持**副本Replicated Volume和纠删码Dispersed Volume**两种类型。JuiceFS依赖于使用的对象存储。
数据压缩 GlusterFS 仅支持传输层压缩文件由客户端执行压缩传输到服务端后再由 Brick 负责解压缩。不直接实现存储层压缩而是依赖于 Brick 使用的底层文件系统如 ZFS。 JuiceFS同时支持传输层压缩和存储层压缩数据的压缩和解压缩都在客户端执行。
数据加密 GlusterFS 仅支持传输层加密依赖于 SSL/TLS。曾支持过存储层加密但现已不再支持。 JuiceFS同时支持传输层加密和存储层加密数据的加密和解密都在客户端进行。
访问协议
POSIX 兼容性
GlusterFS兼容。JuiceFS兼容。
NFS 协议
GlusterFS曾有内嵌服务来支持 NFSv3但现已不再推荐使用而是建议用 NFS server 将挂载点导出。JuiceFS不直接支持需要挂载后通过其他 NFS server 导出。
CIFS 协议
GlusterFS内嵌支持 WindowsLinux Samba client 和 macOS 的 CLI 访问不支持 macOS Finder。然而文档中建议用通过 Samba 将挂载点导出的方式使用。JuiceFS不直接支持需要挂载后通过 Samba 导出。
S3 协议
GlusterFS通过 gluster-swift 项目支持但其最近更新停留在 2017年11月。JuiceFS通过结合 MinIO S3 网关支持。
HDFS 兼容性
GlusterFS通过 glusterfs-hadoop 项目支持但其最近更新停留在 2015 年 5月。JuiceFS完整兼容 HDFS API。
CSI 驱动
GlusterFS曾支持过但最近版本发布于 2018 年 11 月且仓库已被标记 DEPRECATED。JuiceFS支持具体可参见 JuiceFS CSI 驱动文档。
扩展功能
POSIX ACLs
Linux 下对文件的访问权限控制一般有三类实体即文件拥有者owner、拥有组group和其他other。当我们有更复杂的需求比如要给本属于 other 的某个特定用户单独赋予权限时这套机制就做不到了。POSIX Access Control Lists (ACLs) 提供增强的权限管理功能可用来为任意用户/用户组指定权限。
GlusterFS支持且支持 access ACLs 和 default ACLs。JuiceFS不支持。
跨域复制
跨域复制是指在两套独立的集群间进行数据复制一般被用来实现异地灾备。
GlusterFS支持单向的异步增量复制但需要两边是同版本的 Gluster 集群。JuiceFS依赖元数据引擎和对象存储自身的复制能力可以做单向复制。
目录配额
GlusterFS支持且支持限制容量和/或文件数。JuiceFS支持且支持限制容量和/或文件数。
快照
GlusterFS仅支持存储卷级别的快照而且需要所有 Bricks 部署在 LVM 精简卷Thinly-Provisioned LVM上。JuiceFS不支持快照但支持目录级别的克隆。
回收站
GlusterFS支持且默认关闭。JuiceFS支持且默认打开。
对比清单
GlusterFSJuiceFS元数据纯分布式独立数据库服务数据存储自主管理依赖对象存储服务大文件拆分不拆分拆分冗余保护副本、纠删码依赖对象存储服务数据压缩部分支持支持数据加密部分支持支持POSIX 兼容性完整完整NFS 协议不直接支持不直接支持CIFS 协议不直接支持不直接支持S3 协议支持久未更新支持HDFS 兼容性支持久未更新支持CSI 驱动支持支持POSIX ACLs支持不支持跨域复制支持依赖外部服务目录配额支持支持快照支持不支持但支持克隆回收站支持支持主要维护者Red Hat, IncJuicedata, Inc开发语言CGo开源协议GPLV2 and LGPLV3Apache License 2.0
更多阅读 浅析 SeaweedFS 与 JuiceFS 架构异同 云上大数据存储探究 JuiceFS 与 HDFS 的异同 浅析三款大规模分布式文件系统架构设计GFS、Tectonic、JuiceFS
