电商网站开发模版,网站搭建文案,机械网站推广怎么做,域名申请后怎么使用Debezium日常分享系列之#xff1a;Debezium2.5稳定版本之Monitoring 一、Snapshot metrics二、Streaming metrics三、Schema history metrics Debezium系列之#xff1a;安装jmx导出器监控debezium指标
除了 Zookeeper、Kafka 和 Kafka Connect 提供的对 JMX 指标的内置支持… Debezium日常分享系列之Debezium2.5稳定版本之Monitoring 一、Snapshot metrics二、Streaming metrics三、Schema history metrics Debezium系列之安装jmx导出器监控debezium指标
除了 Zookeeper、Kafka 和 Kafka Connect 提供的对 JMX 指标的内置支持之外Debezium MySQL 连接器还提供三种类型的指标。
快照指标提供有关执行快照时连接器操作的信息。当连接器读取二进制日志时流指标提供有关连接器操作的信息。架构历史记录指标提供有关连接器架构历史记录状态的信息。
一、Snapshot metrics
MBean 为 debezium.mysql:typeconnector-metrics,contextsnapshot,servertopic.prefix。
除非快照操作处于活动状态或者自上次连接器启动以来已发生快照否则不会公开快照指标。
下表列出了可用的快照指标。
属性类型描述LastEventstring连接器读取的最后一个快照事件。MilliSecondsSinceLastEventlong自连接器读取并处理最近事件以来的毫秒数。TotalNumberOfEventsSeenlong自上次启动或重置以来此连接器发生的事件总数。NumberOfEventsFilteredlong已按连接器上配置的包含/排除列表过滤规则过滤的事件数。CapturedTablesstring[]连接器捕获的表的列表。QueueTotalCapacityint用于在快照器和主 Kafka Connect 循环之间传递事件的队列长度。QueueRemainingCapacityint用于在快照器和主 Kafka Connect 循环之间传递事件的队列的可用容量。TotalTableCountint快照中包含的表总数。RemainingTableCountint快照尚未复制的表的数量。SnapshotRunningboolean快照是否已启动。SnapshotPausedboolean快照是否暂停。SnapshotAbortedboolean快照是否被中止。SnapshotCompletedboolean快照是否完成。SnapshotDurationInSecondslong到目前为止快照所用的总秒数即使尚未完成。还包括快照暂停的时间。SnapshotPausedDurationInSecondslong快照暂停的总秒数。如果快照暂停多次则暂停时间会累加。RowsScannedMapString, Long包含快照中每个表扫描的行数的映射。表在处理过程中逐渐添加到映射中。每扫描 10,000 行并完成表格后更新一次。MaxQueueSizeInByteslong队列的最大缓冲区以字节为单位。如果 max.queue.size.in.bytes 设置为正 long 值则此指标可用。CurrentQueueSizeInByteslong队列中的当前记录量以字节为单位。
执行增量快照时连接器还提供以下附加快照指标
属性类型描述ChunkIdstring当前快照块的标识符。ChunkFromstring定义当前块的主键集的下界。ChunkTostring定义当前块的主键集的上限。TableFromstring当前快照表的主键集的下界。TableTostring当前快照表的主键集的上限。
Debezium MySQL 连接器还提供 HoldingGlobalLock 自定义快照指标。该指标设置为一个布尔值指示连接器当前是否持有全局或表写入锁定。
二、Streaming metrics
仅当启用 binlog 事件缓冲时事务相关属性才可用。有关更多详细信息请参阅高级连接器配置属性中的 binlog.buffer.size。 水平偏移1
MBean 为 debezium.mysql:typeconnector-metrics,contextstreaming,servertopic.prefix。
下表列出了可用的流指标。
属性类型描述LastEventstring连接器读取的最后一个流事件。MilliSecondsSinceLastEventlong自连接器读取并处理最近事件以来的毫秒数。TotalNumberOfEventsSeenlong自上次启动或指标重置以来该连接器已经看到的事件总数。TotalNumberOfCreateEventsSeenlong自上次启动或指标重置以来此连接器已看到的创建事件总数。TotalNumberOfUpdateEventsSeenlong自上次启动或指标重置以来此连接器看到的更新事件总数。TotalNumberOfDeleteEventsSeenlong自上次启动或指标重置以来此连接器看到的删除事件总数。NumberOfEventsFilteredlong已按连接器上配置的包含/排除列表过滤规则过滤的事件数。CapturedTablesstring[]连接器捕获的表的列表。QueueTotalCapacityint用于在流送器和主 Kafka Connect 循环之间传递事件的队列长度。QueueRemainingCapacityint用于在流处理器和主 Kafka Connect 循环之间传递事件的队列的可用容量。Connectedboolean指示连接器当前是否连接到数据库服务器的标志。MilliSecondsBehindSourcelong最后更改事件的时间戳与连接器处理该事件之间的毫秒数。这些值将包含运行数据库服务器和连接器的计算机上时钟之间的任何差异。NumberOfCommittedTransactionslong已提交的已处理事务数。SourceEventPositionMapString, String最后接收到的事件的坐标。LastTransactionIdstring最后处理交易的交易标识符。MaxQueueSizeInByteslong队列的最大缓冲区以字节为单位。如果 max.queue.size.in.bytes 设置为正 long 值则此指标可用。CurrentQueueSizeInByteslong队列中的当前记录量以字节为单位。
Debezium MySQL 连接器还提供以下附加流指标
表 28. 其他流媒体指标的描述
属性类型描述BinlogFilenamestring连接器最近读取的二进制日志文件的名称。BinlogPositionlong连接器读取的二进制日志中的最新位置以字节为单位。IsGtidModeEnabledboolean指示连接器当前是否正在跟踪来自 MySQL 服务器的 GTID 的标志。GtidSetstring连接器在读取 binlog 时处理的最新 GTID 集的字符串表示形式。NumberOfSkippedEventslongMySQL 连接器已跳过的事件数。通常由于 MySQL binlog 中的事件格式错误或无法解析事件会被跳过。NumberOfDisconnectslongMySQL 连接器断开连接的次数。NumberOfRolledBackTransactionslong已回滚且未流式传输的已处理事务的数量。NumberOfNotWellFormedTransactionslong不符合 BEGIN COMMIT/ROLLBACK 预期协议的事务数量。正常情况下该值应为 0。NumberOfLargeTransactionslong未装入前瞻缓冲区的事务数。为了获得最佳性能该值应明显小于 NumberOfCommitedTransactions 和 NumberOfRolledBackTransactions。
三、Schema history metrics
MBean 为 debezium.mysql:typeconnector-metrics,contextschema-history,servertopic.prefix。
下表列出了可用的架构历史记录指标。
属性类型描述StatusstringSTOPPED、RECOVERING从存储中恢复历史记录、RUNNING 之一描述数据库模式历史记录的状态。RecoveryStartTimelong恢复开始的时间以纪元秒为单位。ChangesRecoveredlong在恢复阶段读取的更改数。ChangesAppliedlong恢复和运行时应用的架构更改总数。MilliSecondsSinceLastRecoveredChangelong从历史存储中恢复上次更改以来经过的毫秒数。MilliSecondsSinceLastAppliedChangelong自上次应用更改以来经过的毫秒数。LastRecoveredChangestring从历史存储中恢复的最后更改的字符串表示形式。LastAppliedChangestring最后应用的更改的字符串表示形式。
