kaiyun.com 好意思团二面:若何经管 Bin Log 与 Redo Log 的一致性问题

栏目分类kaiyun.com 好意思团二面:若何经管 Bin Log 与 Redo Log 的一致性问题

你的位置:kaiyuan体育 > 新闻中心 >

kaiyun.com 好意思团二面:若何经管 Bin Log 与 Redo Log 的一致性问题

发布日期:2023-12-09 13:35    点击次数:159

[[442100]]

刚看见这个题见识时间如故有点懵逼的,其后才响应过来其实问的便是 redo log 的两阶段提交

老规矩,背诵版在文末。点击阅读原文不错直达我收录整理的各大厂口试真题

为什么说 redo log 具有崩溃规复的才能

前边咱们说过,MySQL Server 层领有的 bin log 只可用于存档,不及以已毕崩溃规复(crash-safe),需要借助 InnoDB 引擎的 redo log 才能领有崩溃规复的才能。所谓崩溃规复便是:即使在数据库宕机的情况下,也不会出现操作一半的情况

至于为什么说 redo log 具有崩溃规复的才能,而 bin log 莫得,咱们先来浅易看一下这两种日记有哪些不同点:

1)适用对象不同:

bin log 是 MySQL 的 Server 层已毕的,所有引擎王人不错使用

而 redo log 是 InnoDB 引擎专有的

2)写入内容不同:

bin log 是逻辑日记,记载的是这个语句的原始逻辑,比如 “给 id = 1 这一排的 age 字段加 1”

redo log 是物理日记,记载的是 “在某个数据页上作念了什么修改”

3)写入方式不同:

bin log 是不错追加写入的。“追加写” 是指 bin log 文献写到一定大小后会切换到下一个,并不会褪色以前的日记

redo log 是轮回写的,空间固定会被用完

不错看到,redo log 和 bin log 的一个很大的分袂便是,一个是轮回写,一个是追加写。也便是说 redo log 只会记载未刷入磁盘的日记,仍是刷入磁盘的数据王人会从 redo log 这个有限大小的日记文献里删除。

而 bin log 是追加日记,保存的是全量的日记。这就会导致一个问题,那便是莫得象征能让 InnoDB 从 bin log 中判断哪些数据仍是刷入磁盘了,哪些数据还莫得。

举个例子,bin log 记载了两条日记:

记载 kaiyun.com1:给 id = 1 这一排的 age 字段加 1 记载 2:给 id = 1 这一排的 age 字段加 1 

假定在记载 1 刷盘后,记载 2 未刷盘时,数据库崩溃。重启后,只通过 bin log 数据库是无法判断这两札记载哪条仍是写入磁盘,哪条莫得写入磁盘,不论是两条王人规复至内存,如故王人不规复,对 id = 1 这行数据来说,王人是不合的。

但 redo log 不一样,唯有刷入磁盘的数据,王人会从 redo log 中被抹掉,数据库重启后,径直把 redo log 中的数据王人规复至内存就不错了。

这便是为什么说 redo log 具有崩溃规复的才能,而 bin log 不具备。

redo log 两阶段提交

前边咱们先容过一条 SQL 查询语句的实施过程,浅易回顾:

MySQL 客户端与管事器间开采集会,客户端发送一条查询给管事器;

管事器先检查查询缓存,要是射中了缓存,则坐窝复返存储在缓存中的效果;不然投入下一阶段;

管事器端进行 SQL 解析、预处理,生成正当的解析树;

再由优化器生成对应的实施筹画;

实施器左证优化器生成的实施筹画,调用相应的存储引擎的 API 来实施,并将实施效果复返给客户端

关于更新语句来说,这套历程相似亦然要走一遍的,不同的是,更新历程还触及两个迫切的日记模块 bin log 和 redo log。

以底下这条浅易的 SQL 语句为例,咱们来评释下实施器和 InnoDB 存储引擎在更新时作念了哪些事情:

update table set age = age + 1 where id = 1; 

实施器:找存储引擎取到 id = 1 这一排记载

存储引擎:左证主键索引树找到这一排,要是 id = 1 这一排地点的数据页原本就在内存池(Buffer Pool)中,就径直复返给实施器;不然,需要先从磁盘读入内存池,然后再复返

实施器:拿到存储引擎复返的行记载,把 age 字段加上 1,获得一排新的记载,然后再调用存储引擎的接口写入这行新记载

存储引擎:将这行新数据更新到内存中,同期将这个更新操作记载到 redo log 内部,此时 redo log 处于 prepare 景况。然后禀报实施器实施完成了,随时不错提交事务

防护不要把这里的提交事务和咱们 sql 语句中的提交事务 commit 呐喊搞混了哈,咱们这里说的提交事务,指的是事务提交过程中的一个小法子,亦然临了一步。当这个法子实施完成后,commit 呐喊就实施见效了。

实施器:生成这个操作的 bin log,并把 bin log 写入磁盘

实施器:调用存储引擎的提交事务接口

存储引擎:把刚刚写入的 redo log 景况改成提交(commit)景况,更新完成

如下图所示:

不错看到,所谓两阶段提交,其实便是把 redo log 的写入拆分红了两个法子:prepare 和 commit。

是以,为什么要这么贪图呢?这么贪图若何就大约已毕崩溃规复呢?

左证两阶段提交,崩溃规复时的判断王法是这么的:

要是 redo log 内部的事务是齐全的,也便是仍是有了 commit 象征,则径直提交

要是 redo log 内部的事务处于 prepare 景况,则判断对应的事务 binlog 是否存在并齐全

a. 要是 binlog 存在并齐全,则提交事务; b. 不然,回滚事务。

固然,这么说小伙伴们笃定没法理会,底下来看几个骨子的例子:

如下图所示,假定数据库在写入 redo log(prepare) 阶段之后、写入 binlog 之前,发生了崩溃,此时 redo log 内部的事务处于 prepare 景况,binlog 还没写(对应 2b),是以崩溃的时间,这个事务会回滚。

Why?

因为 binlog 还莫得写入,之后从库进行同步的时间,无法实施这个操作,然而骨子上主库仍是完成了这个操作,是合计了主备一致,在主库上需要回滚这个事务

何况,由于 binlog 还没写,是以也就不会传到备库,从而幸免主备不一致的情况。

而要是数据库在写入 binlog 之后,redo log 景况修改为 commit 前发生崩溃,此时 redo log 内部的事务仍然是 prepare 景况,binlog 存在并齐全(对应 2a),是以即使在这个技术数据库崩溃了,事务仍然会被泛泛提交。

Why?

因为 binlog 仍是写入见效了,这么之后就会被从库同步当年,然而骨子上主库并莫得完成这个操作,是合计了主备一致,在主库上需要提交这个事务。

是以,其实不错看出来,处于 prepare 阶段的 redo log 加上齐全的 bin log,就能保证数据库的崩溃规复了。

可能有同学就会问了,MySQL 咋知谈 bin log 是不是齐全的?

浅易来说,一个事务的 binlog 是有齐全花式的(这个咱们在后头的著作中会详实评释):

statement 花式的 bin log,临了会有 COMMIT row 花式的 bin log,临了会有 XID event

而关于 bin log 可能会在中间出错的情况,MySQL 5.6.2 版块以后引入了 binlog-checksum 参数,用来考据 bin log 内容的正确性。

想考一个问题,两阶段提交是必要的吗?可弗成以先 redo log 写完,再写 bin log 或者反过来?

1)关于先写完 redo log 后写 bin log 的情况:

假定在 redo log 写完,bin log 还莫得写完的时间,MySQL 崩溃。主库中的数据照实仍是被修改了,然而这时间 bin log 内部并莫得记载这个语句。因此,从库同步的时间,就会丢失这个更新,和主库不一致。

2)关于先写完 binlog 后写 redo log 的情况:

要是在 bin log 写完,redo log 还没写的时间,MySQL 崩溃。因为 binlog 仍是写入见效了,这么之后就会被从库同步当年,然而骨子上 redo log 还没写,主库并莫得完成这个操作,是以从库比较主库就会多实施一个事务,导致主备不一致

临了放上这谈题的背诵版:

口试官:

问法 1:若何经管 bin log 与 redo log 的一致性问题? 问法 2:一条 SQL 更新语句是若何实施的? 问法 3:讲一下 redo log / redo log 两阶段提交旨趣

小牛肉:

所谓两阶段提交,其实便是把 redo log 的写入拆分红了两个法子:prepare 和 commit。

最初,存储引擎将实施更新好的新数据存到内存中,同期将这个更新操作记载到 redo log 内部,此时 redo log 处于 prepare 景况。然后禀报实施器实施完成了,随时不错提交事务

然后实施器生成这个操作的 bin log,并把 bin log 写入磁盘

临了实施器调用存储引擎的提交事务接口,存储引擎把刚刚写入的 redo log 景况改成提交(commit)景况,更新完成

要是数据库在写入 redo log(prepare) 阶段之后、写入 binlog 之前,发生了崩溃:

此时 redo log 内部的事务处于 prepare 景况,binlog 还没写,之后从库进行同步的时间,无法实施这个操作,然而骨子上主库仍是完成了这个操作,是合计了主备一致,MySQL 崩溃时会在主库上回滚这个事务

 

而要是数据库在写入 binlog 之后,redo log 景况修改为 commit 前发生崩溃,此时 redo log 内部的事务仍然是 prepare 景况,binlog 存在并齐全,这么之后就会被从库同步当年,然而骨子上主库并莫得完成这个操作,是合计了主备一致,即使在这个技术数据库崩溃了,主库上事务仍然会被泛泛提交。