厦门网上房地产网官方网站,怎么制作自己的链接,坪山建设网站建站,网站编辑器做段落空格文章目录 一、概要二、整体架构流程1. 安装 MSYS2 环境2. 安装postgresql 三、技术名词解释1.MSYS22.postgresql 四、技术细节1. 创建主数据库2.添加从数据库复制权限3. 按需修改参数#xff08;1#xff09;WAL保留空间#xff08;2#xff09;监听地址 4. 启动主服务器5.… 文章目录 一、概要二、整体架构流程1. 安装 MSYS2 环境2. 安装postgresql 三、技术名词解释1.MSYS22.postgresql 四、技术细节1. 创建主数据库2.添加从数据库复制权限3. 按需修改参数1WAL保留空间2监听地址 4. 启动主服务器5. 复制主节点到从节点6. 启动从节点 五、小结与测试 一、概要
目前对于小型的高可用应用用一主一从两个PostgreSQL实例基于默认的WAL replica 是最简单的方式。本次我们主库位于192.168.101.79从库位于192.168.101.80全部使用msys2 ucrt64 postgresql。
二、整体架构流程
1. 安装 MSYS2 环境
在Windows下安装和配置MSYS2环境可以按照以下骤进行 下载MSYS2安装程序访问MSYS2官方网站https://www.msys2.org/下载最新的MSYS2安装程序。也可以直接去清华中科大下载更快。 运行安装程序双击下载的安装程序按照提示选择安装路径和其他选项。建议选择默认选项进行安装。 替换源MSYS2替换国内源清华中科大
2. 安装postgresql
启动 ucrt64
#更新数据包
$ pacman -Syu --overwrite* --overwrite*.* --noconfirm -d
#安装postgresql
$ pacman -S ucrt64/mingw-w64-ucrt-x86_64-postgresql三、技术名词解释
1.MSYS2
MSYS2 是一个为Windows操作系统提供类Unix环境的软件包管理器和工具集。它的目标是为开发人员提供一个在Windows上进行软件开发的便捷环境。MSYS2环境包括以下主要组件
MinGW系列环境一个用于Windows的开发工具集包括GCC编译器和一系列常用的开发库可以用于编译和构建各种开源软件。Pacman一个类似于Linux的软件包管理器可以方便地安装、更新和卸载软件包。MSYS2 Shell一个基于Bash的命令行终端提供了一系列常用的Unix命令和工具使开发人员可以在Windows上进行类Unix环境下的操作。MSYS2 Runtime提供了一些必要的运行时库和工具使得在MSYS2环境下编译的程序可以在Windows上正常运行。
通过安装MSYS2环境开发人员可以在Windows上使用类Unix环境下的工具和命令方便地进行软件开发和调试。同时MSYS2还提供了一些常用的开发库和工具可以帮助开发人员更高效地进行开发工作。
2.postgresql
PostgreSQL是一种开源的对象关系型数据库管理系统ORDBMS以其强大的数据完整性、灵活性、高级查询能力和支持标准SQL而闻名。它支持事务处理拥有复杂的数据类型如数组和JSON还提供地理空间数据的支持。其优势包括跨平台兼容、高可用性和安全性以及高度的可扩展性适合大规模数据存储和高性能分析应用。
四、技术细节
1. 创建主数据库
$ psql --version
psql (PostgreSQL) 17.0$ initdb -A trust -D /d/database/master -E utf-8 --localeC -U postgres -W
属于此数据库系统的文件宿主为用户 Administrator.
此用户也必须为服务器进程的宿主.数据库集簇将以区域环境设置 C 进行初始化.
默认的文本搜索配置将被设为 english.禁止为数据页生成校验和.输入新的超级用户密码:
再输入一遍:正在修复已存在目录 D:/database/master 的权限 ... 成功
正在创建子目录 ... 成功
正在选择动态共享内存实现 ... windows
正在选择默认最大连接数 (max_connections) ... 100
正在选择默认共享缓冲区 (shared_buffers) ... 128MB
正在选择默认时区 ... Asia/Shanghai
正在创建配置文件 ... 成功
正在运行启动脚本 ... 成功
正在执行启动脚本后续初始化 ... 成功
正在同步数据到磁盘 ... 成功成功。你现在可以用下面的命令开启数据库服务器:pg^_ctl -D D:/database/master start
2.添加从数据库复制权限
现在新版的PostgreSQL默认开启了replica, 配置非常简单。第一步就是给另一台备份机器的IP添加权限打开 pg_hba.conf添加对备份机器IP的权限。
$ vim /d/database/master/pg_hba.conf# TYPE DATABASE USER ADDRESS METHOD# local is for Unix domain socket connections only
local all all trust
# IPv4 local connections:
host all all 127.0.0.1/32 trust
host all all 192.168.101.80/32 trust# IPv6 local connections:
host all all ::1/128 trust
# Allow replication connections from localhost, by a user with the
# replication privilege.
local replication all trust
host replication all 127.0.0.1/32 trust
host replication all ::1/128 trust
host replication all 192.168.101.80/32 trust
3. 按需修改参数
1WAL保留空间
对默认的 WAL replication是依靠WAL文件来同步的。当从节点关机一段时间后主节点的WAL记录可能被删除了。此时即使重启从节点也无法继续追赶。为了不发生这样的事情需要提高WAL保留的天数或者文件个数。一般超过网管巡视的周期2-3倍即可。如果想在从数据库掉线很久时,WAL依旧可用, 就要使用槽slot.使用槽可以保证WAL一直不被删除.但是这样的代价是万一忘记查看从数据库的状态,主库可能被撑爆. 本案例里, 我们采用控制WAL大小的方法,不设置专门的复制槽.
$ vim /d/database/master/postgresql.conf
wal_keep_size 102400 # in megabytes; 0 disables保留102GB的空间这样即使从节点废了过了1天再开机也能赶上主机WAL还没被清理。注意这个值不能设置太大否则WAL占用空间就过大了。对应我们服务器16TB的空间设置100GB还行。
2监听地址
$ vim /d/database/master/postgresql.conf
listen_addresses *4. 启动主服务器
$ pg_ctl -D D:/database/master start
等待服务器进程启动 ....2024-11-08 19:32:49.380 CST [11544] LOG: starting PostgreSQL 17.0 on x86_64-windows, compiled by gcc-14.2.0, 64-bit
....2024-11-08 19:32:54.108 CST [11544] LOG: listening on IPv6 address ::, port 5432
2024-11-08 19:32:54.109 CST [11544] LOG: listening on IPv4 address 0.0.0.0, port 5432
2024-11-08 19:32:54.377 CST [13172] LOG: database system was shut down at 2024-11-08 19:31:17 CST
.2024-11-08 19:32:54.635 CST [11544] LOG: database system is ready to accept connections完成
服务器进程已经启动
5. 复制主节点到从节点
复制主节点的服务到从节点要登入到另一台机器 192.168.101.80上。查看 pg_basebackup的用法
$ pg_basebackup --help
pg_basebackup 在运行的PostgreSQL服务器上执行基础备份.使用方法:pg_basebackup [选项]...控制输出的选项:-D, --pgdataDIRECTORY 接收基础备份到指定目录-F, --formatp|t 输出格式 (纯文本 (缺省值), tar压缩格式)-i, --incrementalOLDMANIFESTtake incremental backup-r, --max-rateRATE 传输数据目录的最大传输速率(单位 kB/s, 也可以使用后缀k 或 M)-R, --write-recovery-conf为复制写配置文件-t, --targetTARGET[:DETAIL]backup target (if other than client)-T, --tablespace-mappingOLDDIRNEWDIR将表空间由 OLDDIR 重定位到 NEWDIR--waldirWALDIR 预写日志目录的位置-X, --wal-methodnone|fetch|stream按指定的模式包含必需的WAL日志文件-z, --gzip 对tar文件进行压缩输出-Z, --compress[{client|server}-]METHOD[:DETAIL]compress on client or server as specified-Z, --compressnone do not compress tar output一般选项:-c, --checkpointfast|spreadset fast or spread (default) checkpointing-C, --create-slot 创建复制槽-l, --labelLABEL 设置备份标签-n, --no-clean 出错后不清理-N, --no-sync 不用等待变化安全的写入磁盘-P, --progress 显示进度信息-S, --slotSLOTNAME 用于复制的槽名-v, --verbose 输出详细的消息-V, --version 输出版本信息, 然后退出--manifest-checksumsSHA{224,256,384,512}|CRC32C|NONEuse algorithm for manifest checksums--manifest-force-encodehex encode all file names in manifest--no-estimate-size do not estimate backup size in server side--no-manifest suppress generation of backup manifest--no-slot 防止创建临时复制槽--no-verify-checksums不验证校验和--sync-methodMETHODset method for syncing files to disk-?, --help 显示帮助, 然后退出联接选项:-d, --dbnameCONNSTR 连接串-h, --hostHOSTNAME 数据库服务器主机或者是socket目录-p, --portPORT 数据库服务器端口号-s, --status-intervalINTERVAL发往服务器的状态包的时间间隔 (以秒计)-U, --usernameNAME 指定连接所需的数据库用户名-w, --no-password 禁用输入密码的提示-W, --password 强制提示输入密码 (应该自动发生)Report bugs to pgsql-bugslists.postgresql.org.
PostgreSQL home page: https://www.postgresql.org/
执行
$ pg_basebackup -D /d/database/follower -Fp -R -v -P -h192.168.101.79 -U postgres
pg_basebackup: 开始基础备份等待检查点完成
pg_basebackup: 已完成检查点
pg_basebackup: 预写日志起始于时间点: 0/2000028, 基于时间轴1
pg_basebackup: 启动后台 WAL 接收进程
pg_basebackup: 已创建临时复制槽pg_basebackup_7264
23235/23235 kB (100%), 1/1 表空间
pg_basebackup: 预写日志结束点: 0/2000158
pg_basebackup: 等待后台进程结束流操作...
pg_basebackup: 同步数据到磁盘...
pg_basebackup: renaming backup_manifest.tmp to backup_manifest
pg_basebackup: 基础备份已完成
这里的参数-R会生成用于恢复的配置文件。
注意如果主库里已经有很多很多东西这一步会执行很久。此时要确保WAL的保留大小足够大3.1节以至于备份了1天后等人回来了备份起点的WAL日志还在。
6. 启动从节点
$ pg_ctl -D D:/database/follower start
.2024-11-08 19:41:29.418 CST [13876] LOG: starting PostgreSQL 17.0 on x86_64-windows, compiled by gcc-14.2.0, 64-bit
2024-11-08 19:41:29.419 CST [13876] LOG: listening on IPv6 address ::, port 5433
2024-11-08 19:41:29.420 CST [13876] LOG: listening on IPv4 address 0.0.0.0, port 5433
2024-11-08 19:41:29.682 CST [5560] LOG: database system was interrupted; last known up at 2024-11-08 19:37:30 CST
2024-11-08 19:41:29.832 CST [5560] LOG: starting backup recovery with redo LSN 0/2000028, checkpoint LSN 0/20000B8, on timeline ID 1
2024-11-08 19:41:29.833 CST [5560] LOG: entering standby mode
2024-11-08 19:41:29.840 CST [5560] LOG: redo starts at 0/2000028
2024-11-08 19:41:29.841 CST [5560] LOG: completed backup recovery with redo LSN 0/2000028 and end LSN 0/2000158
2024-11-08 19:41:29.841 CST [5560] LOG: consistent recovery state reached at 0/2000158
2024-11-08 19:41:29.841 CST [13876] LOG: database system is ready to accept read-only connections完成
服务器进程已经启动
2024-11-08 19:41:30.053 CST [13924] LOG: started streaming WAL from primary at 0/3000000 on timeline 1
至此两个数据库已经同步对主库的操作会全部带到从库。
五、小结与测试
msys2 的 postgresql 又新鲜又好吃。使用有限的步骤就完成了主从备份。要注意的是WAL的保留周期。这个配置很多网上的资料都没有讲。
实际效果可以用 dbeaver测试 根据官方文档介绍如果在主节点创建数据库、表空间从节点应该有对应的表空间的位置。 dbeaver默认只显示主数据库要看到所有数据库要选择右键“显示所有数据库”。
