再有那么多的慢查询记录呢

2019-10-29 18:10栏目:网络数据
TAG:

1197多语句事必得要更大的max_binlog_cache_size报错

mysqlbinlog参数设置

原文:

  binlog_再有那么多的慢查询记录呢。cache_size:为各类session 分配的内存,在事情进程中用来囤积二进制日志的缓存,进步记录bin-log的频率。未有何样大专业,dml亦不是很频仍的气象下能够安装小一些,如若职业余大学何况多,dml操作也往往,则足以适用的调大学一年级点。

1.mysql有好些个种类变量能够安装,系统变量设置分裂,会导致系统运营情形的不及。因而mysql提供两组命令,分别查看系统设置和平运动转情形。

1、系统安装:

SHOW [GLOBAL | SESSION] VARIABLES [like_or_where]
SHOW VARIABLES shows the values of MySQL system variables.
2、运转状态:
SHOW [GLOBAL | SESSION] STATUS [like_or_where]
SHOW STATUS provides server status information.

备注:SHOW XXX 只怕会显得非常多剧情,形似Linux下内容太多了,往往需求grep来过滤,那么mysql也记挂到了这一点,使用LIKE字句可以过滤。

在安装完MySQL之后,分明是亟需对MySQL的各类参数选项实香港行政局地优化调治的。即便MySQL系统的伸缩性很强,不仅能够在有很丰裕的硬件能源景况下高速的运作,也得以在极少能源条件下很好的周转,但不管怎么着,尽大概丰裕的硬件财富对MySQL的属性升高总是有救助的。在这里生机勃勃节我们任重(英文名:rèn zhòng)而道远剖析一下MySQL的日记(首倘若Binlog)对系统质量的震慑,并遵照日志的相干本性得出相应的优化思路。

日记产生的习性影响

由于日记的记录带来的平昔品质损耗正是数据库系统中极度昂贵的IO财富。

在后边介绍MySQL物理架构的章节中,大家已经了然到了MySQL的日志蕴含错误日志(ErrorLog),更新日志(UpdateLog),二进制日志(Binlog),查询日志(QueryLog),慢查询日志(SlowQueryLog)等。当然,更新日志是老版本的MySQL才有的,最近曾经被二进制日志代替。

在私下认可景况下,系统仅仅张开错误日志,关闭了其余具有日志,以实现尽大概减少IO损耗进步系统质量的指标。然则在平日不怎么首要一点的实际上接纳场景中,都最少须求开采二进制日志,因为这是MySQL超多存款和储蓄引擎举办增量备份的根底,也是MySQL完毕复制的基本标准。临时候为了进一步的属性优化,定位实施相当的慢的SQL语句,超多系统也会展开慢查询日志来记录推行时间超越一定数值(由我们机关安装)的SQL语句。

通常景况下,在生育体系中很稀有类别会展开查询日志。因为查询日志展开之后会将MySQL中施行的每一条Query都记录到日志中,会该系统带来超大的IO担负,而带来的实在乎义却而不是特别大。平日独有在支付测量试验情况中,为了永远有些功效具体行使了什么SQL语句的时候,才会在长期段内张开该日记来做相应的分析。所以,在MySQL系统中,会对质量发生影响的MySQL日志(不蕴含各存款和储蓄引擎自个儿的日志)首要正是Binlog了。

同事告诉说有个cdb mysql实例近来超级慢,写入速度巨慢,何况是间歇性的局地时候每间距7到8分钟就卡一会,临时每间距12分钟就卡一会,问她们是不是有准期职责在拉数据?他们说未有。 

max_binlog_cache_size设置的参谋标准

2.Binlog 相关参数及优化战术。

binlog_cache_size

Binlog_cache_disk_use

Binlog_cache_use

max_binlog_cache_size

max_binlog_size

sync_binlog

“binlog_cache_size":在业务进度中容纳二进制日志SQL语句的缓存大小。二进制日志缓存是服务器匡助职业存款和储蓄引擎而且服务器启用了二进制日志(—log-bin选项)的前提下为各个客商端分配的内部存款和储蓄器,注意,是各样Client都得以分配设置大小的binlogcache空间。要是读者对象的系统中时时会冒出多语句事务的华,能够品味扩充该值的尺寸,以赢得更有些质量。当然,大家得以因此MySQL的以下八个状态变量来推断当前的binlog_cache_size的状况:Binlog_cache_use和Binlog_cache_disk_use。

Binlog_cache_disk_use:表示因为大家binlog_cache_size设计的内部存款和储蓄器不足导致缓存二进制日志用到了临时文件的次数

Binlog_cache_use :表示 用binlog_cache_size缓存的次数

当对应的Binlog_cache_disk_use 值一点都不小的时候 大家能够假造适当的调高 binlog_cache_size 对应的值

show global status like 'bin%';

上述语句我们得以拿走当前 数据库binlog_cache_size的应用情况

mysql> show status like 'binlog_%';
+-----------------------+-----------+
| Variable_name | Value |
+-----------------------+-----------+
| Binlog_cache_disk_use | 0 |
| Binlog_cache_use | 120402264 |
+-----------------------+-----------+

“max_binlog_cache_size”:和"binlog_cache_size"相对应,不过所代表的是binlog能够运用的最大cache内存大小。当大家施行多语句事务的时候,max_binlog_cache_size若是相当不足大的话,系统或者会报出“Multi-statementtransactionrequiredmorethan'max_binlog_cache_size'bytesofstorage”的错误。

“max_binlog_size”:Binlog日志最大值,平日的话设置为512M要么1G,但不可能当先1G。该大小并不能丰硕严控Binlog大小,尤其是当达到Binlog比较临近尾巴部分而又遭遇二个非常的大事情的时候,系统为了确认保障专业的完整性,不恐怕做切换日志的动作,只好将该事务的装有SQL都记录进入当几日前记,直到该事情甘休。这点和Oracle的Redo日志有一点点不等同,因为Oracle的Redo日志所记录的是数据文件的物理地方的转移,何况内部还要记录了Redo和Undo相关的音讯,所以同三个事务是或不是在一个日志中对Oracle来说并不重要。而MySQL在Binlog中所记录的是数据库逻辑变化新闻,MySQL称之为伊芙nt,实际上即使带来数据库变化的DML之类的Query语句。

“sync_binlog”:那些参数是对于MySQL系统的话是重大的,他不唯有影响到Binlog对MySQL所拉动的属性损耗,何况还影响到MySQL中多少的完整性。对于“sync_binlog”参数的各样设置的印证如下:

sync_binlog=0,当工作提交之后,MySQL不做fsync之类的磁盘同步指令刷新binlog_cache中的音信到磁盘,而让Filesystem自行决定哪天来做黄金时代道,可能cache满了以后才联合到磁盘。

sync_binlog=n,当每实行n次事务提交之后,MySQL将开展二次fsync之类的磁盘同步指令来将binlog_cache中的数据强制写入磁盘。

在MySQL中系统默许的装置是sync_binlog=0,也正是不做任何强制性的磁盘刷新指令,当时的属性是最棒的,可是危害也是最大的。因为即使系统Crash,在binlog_cache中的全体binlog音讯都会被吐弃。而当设置为“1”的时候,是最安全然则品质损耗最大的设置。因为当设置为1的时候,尽管系统Crash,也最多遗失binlog_cache中未造成的贰个业务,对实在数目还没其余实质性影响。从现在经历和相关测试来看,对于高并发事务的系列来讲,“sync_binlog”设置为0和安装为1的体系写入品质差异也许高达5倍以至愈来愈多。

1.mysql有无数系统变量能够设置,系统变量设置不一样,会导致系统运营景况的两样。因而mysql提供两组命令,分别查看系统...

那是不是有不菲极慢的sql把io财富消耗光了吧,去看慢查询记录,结果开采一条select都尚未,反而是有多数insert语句,见鬼啦,那咋回事呢?

  Binlog_cache_disk_use代表因为大家binlog_cache_size设计的内部存款和储蓄器不足导致缓存二进制日志用到了不经常文件的次数;Binlog_cache_use 表示用binlog_cache_size缓存的次数,当对应的Binlog_cache_disk_use 值非常的大的时候 大家能够假造适当的调高 binlog_cache_size 对应的值

慢查询有这一个记录,如下所示,insert on duplicate key update,粗粗意气风发看,断定是on duplicate key update的难点,如下:

【故障情景】

# User@Host: hsh_ext[hsh_ext] @  [devtest.yikan.com]  Id: 37459
# Query_time: 1.170256  Lock_time: 0.000118 Rows_sent: 0  Rows_examined: 0
SET timestamp=1504065495;
/*id:57539043*/insert into hy_deive(record_time, platform, device_id,
    install_id, device_token, push_enabled,
    `uid`, model, app_version, is_login, device_type, created_at,
    updated_at)
    values

      (
      1504065494, 'android', '863049030002995',
      '417e03c9-b879-4741-86b6-beb8c1f42497', 'Anj6kMy77g-2sKlb7idPuxAQ58eXdE_JILDvT-xITBfb', 0,
      4234883169, 'OPPO', '3.36.2', 1, 'umeng',
      1504065494, 1504065494
      )
     , 
      (
      1504065494, 'android', '863049030002995',
      '417e03c9-b879-4741-86b6-beb8c1f42497', 'F5nrlikA1gCLSrLZ7Xby1ASn+fXqSJZ3xATxvkJtXzU=', 0,
      4234883169, 'OPPO', '3.36.2', 1, 'xiaomi',
      1504065494, 1504065494
      )
     , 
      (
      1504065494, 'android', '863049030002995',
      '417e03c9-b879-4741-86b6-beb8c1f42497', '0863049030002995200000184200CN01', 0,
      4234883169, 'OPPO', '3.36.2', 1, 'huawei',
      1504065494, 1504065494
      )

    on duplicate key update
    record_time = IF(record_time > values(record_time), record_time, values(record_time)),
    platform = IF(record_time > values(record_time), platform, values(platform)),
    install_id = IF(record_time > values(record_time), install_id, values(install_id)),
    device_token = IF(record_time > values(record_time), device_token, values(device_token)),
    push_enabled = IF(record_time > values(record_time), push_enabled, values(push_enabled)),
    model = IF(record_time > values(record_time), model, values(model)),
    app_version = IF(record_time > values(record_time), app_version, values(app_version)),
    is_login = IF(record_time > values(record_time), is_login, values(is_login)),
    updated_at = IF(record_time > values(record_time), updated_at, values(updated_at));

  通过脚本以load的点子导入数据时,现身多行事必得要的max_binlog_cache_size空间欠缺。该数据文件HAOHUAN.txt只包括以逗号分隔的500万行左右的数目,每行四列,文件大小为270M。

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
1 [root@172-16-3-190 shells]# bash +x load_data_into.sh 
2                 文件的总数为:1 
3                 文件名为:/tmp/load/HAOHUAN.txt 
4 当前正在处理的文件是:/tmp/load/HAOHUAN.txt
5 load data infile '/tmp/load/HAOHUAN.txt' into table practice.temp_baofoo_unbind fields terminated by ',' lines terminated by 'n' (merchant_no,bank_code,bank_card,protocol_no)
6 Warning: Using a password on the command line interface can be insecure.
7 ERROR 1197 (HY000) at line 1: Multi-statement transaction required more than 'max_binlog_cache_size' bytes of storage; increase this mysqld variable and try again

唯独事实上,希图2条无用的insert into … values… on duplicate key update …..,非常的慢就施行完了,不到0.01s,这干什么那时候,还也可以有那么多的慢查询记录呢?

【故障排查】

去查看了cdb的监督检查记录,select、udpate、insert未有何间隙性的尖刀现身,就算有起伏有上升空间,可是都相比较平稳,没有尖刀,大家看下边包车型客车图L 
图片 1

  查看max_binlog_cache_size的轻重,开掘数据文件的高低确实较max_binlog_cache_size的值要小,如若max_binlog_cache_size的尺寸不足以寄放事务的binlog,那么会有时使用磁盘有时文件来寄存binlog,通过查看Binlog_cache_disk_use开掘接受一时文件寄存的次数为1。由此增大max_binlog_cache_size的值到300M,再度实行脚本开掘照旧报相符的不当。且使用一时文件的次数为2,使用一时文件的贮存binlog的总次数也呼应由15增到了18次。

图片 2

 1 mysql> show global variables like '%binlog_cache%';
 2 +-----------------------+-----------+
 3 | Variable_name | Value |
 4 +-----------------------+-----------+
 5 | binlog_cache_size | 16777216 |
 6 | max_binlog_cache_size | 268435456 |
 7 +-----------------------+-----------+
 8 2 rows in set (0.00 sec)
 9 
10 mysql> show global status like '%binlog_cache%';
11 +-----------------------+-------+
12 | Variable_name | Value |
13 +-----------------------+-------+
14 | Binlog_cache_disk_use | 1 |
15 | Binlog_cache_use | 15 |
16 +-----------------------+-------+
17 2 rows in set (0.00 sec)
18 
19 mysql> set @@global.max_binlog_cache_size=300000000;
20 Query OK, 0 rows affected, 1 warning (0.00 sec)
21 
22 [root@172-16-3-190 shells]# bash +x load_data_into.sh          
23                 文件的总数为:1 
24                 文件名为:/tmp/load/HAOHUAN.txt 
25 当前正在处理的文件是:/tmp/load/HAOHUAN.txt
26 load data infile '/tmp/load/HAOHUAN.txt' into table practice.temp_baofoo_unbind fields terminated by ',' lines terminated by 'n' (merchant_no,bank_code,bank_card,protocol_no)
27 Warning: Using a password on the command line interface can be insecure.
28 ERROR 1197 (HY000) at line 1: Multi-statement transaction required more than 'max_binlog_cache_size' bytes of storage; increase this mysqld variable and try again
29 
30 mysql> show global status like '%binlog_cache%';         
31 +-----------------------+-------+
32 | Variable_name | Value |
33 +-----------------------+-------+
34 | Binlog_cache_disk_use | 2 |
35 | Binlog_cache_use | 16 |
36 +-----------------------+-------+
37 2 rows in set (0.00 sec)

想到既然是insert语句,那么就去看binlog日志吧,看下全体的binlog日志,看看那多少个卡的时间点,到底都执行了些什么操作呢? 

无语直接扩张max_binlog_cache_size的值到500M时难题才解决(后经test实际给到400M也足以load成功),不过slave上的值未有及时更改,因此SQL同步线程报错,stop同步线程,同master相仿的转移后,同步才算平常

结果生机勃勃看binlog列表,发掘binlog每隔8分钟就能够flush下,而以此flush的日子和慢查询的光阴正巧适合。 

 1 mysql> set @@global.max_binlog_cache_size=500000000;
 2 Query OK, 0 rows affected, 1 warning (0.00 sec)
 3 
 4 mysql> show slave status G;
 5 *************************** 1. row ***************************
 6                Slave_IO_State: Waiting for master to send event
 7                   Master_Host: 172.16.3.190
 8                   Master_User: repl
 9                   Master_Port: 3309
10                 Connect_Retry: 30
11               Master_Log_File: binlog.000018
12           Read_Master_Log_Pos: 120
13                Relay_Log_File: relay_bin.000006
14                 Relay_Log_Pos: 6973
15         Relay_Master_Log_File: binlog.000017
16              Slave_IO_Running: Yes
17             Slave_SQL_Running: Yes
18               Replicate_Do_DB: 
19           Replicate_Ignore_DB: 
20            Replicate_Do_Table: 
21        Replicate_Ignore_Table: 
22       Replicate_Wild_Do_Table: 
23   Replicate_Wild_Ignore_Table: 
24                    Last_Errno: 1197
25                    Last_Error: Could not execute Write_rows event on table practice.temp_baofoo_unbind; Multi-statement transaction required more than 'max_binlog_cache_size' bytes of storage; increase this mysqld variable and try again, Error_code: 1197; Writing one row to the row-based binary log failed, Error_code: 1534; handler error HA_ERR_RBR_LOGGING_FAILED; the event's master log binlog.000017, end_log_pos 268602107
26                  Skip_Counter: 0
27           Exec_Master_Log_Pos: 11408
28               Relay_Log_Space: 333526981
29               Until_Condition: None
30                Until_Log_File: 
31                 Until_Log_Pos: 0
32            Master_SSL_Allowed: No
33            Master_SSL_CA_File: 
34            Master_SSL_CA_Path: 
35               Master_SSL_Cert: 
36             Master_SSL_Cipher: 
37                Master_SSL_Key: 
38         Seconds_Behind_Master: 208
39 Master_SSL_Verify_Server_Cert: No
40                 Last_IO_Errno: 0
41                 Last_IO_Error: 
42                Last_SQL_Errno: 1197
43                Last_SQL_Error: Could not execute Write_rows event on table practice.temp_baofoo_unbind; Multi-statement transaction required more than 'max_binlog_cache_size' bytes of storage; increase this mysqld variable and try again, Error_code: 1197; Writing one row to the row-based binary log failed, Error_code: 1534; handler error HA_ERR_RBR_LOGGING_FAILED; the event's master log binlog.000017, end_log_pos 268602107
44   Replicate_Ignore_Server_Ids: 
45              Master_Server_Id: 1903309
46                   Master_UUID: 1b589d80-f450-11e7-9150-525400f4ecb2
47              Master_Info_File: /opt/app/mysql_3309/logs/master.info
48                     SQL_Delay: 0
49           SQL_Remaining_Delay: NULL
50       Slave_SQL_Running_State: Reading event from the relay log
51            Master_Retry_Count: 86400
52                   Master_Bind: 
53       Last_IO_Error_Timestamp: 
54      Last_SQL_Error_Timestamp: 180803 17:39:08
55                Master_SSL_Crl: 
56            Master_SSL_Crlpath: 
57            Retrieved_Gtid_Set: 
58             Executed_Gtid_Set: 
59                 Auto_Position: 0
60 1 row in set (0.00 sec)
61 
62 mysql> stop slave;
63 Query OK, 0 rows affected (1 min 10.64 sec)

binlog日志生成时间: 
图片 3

【故障总结】

慢查询记录时间: 
图片 4

  max_binlog_cache_size参数时动态参数,该值的设置能够参照他事他说加以考察binlog_cache_use的分寸来对景挂画增加。load导入或然delete数据的尺寸必必要高于max_binlog_cache_size的值,多行事务工夫幸不辱命施行。该参数值校正后,注意要与配置文件中的值大小同等。

OK,那么难题很刚毅了,binlog日志太大,flush的时候形成binlog写入时间变慢,因为要写入新的binlog,需求时间。解决方案就是调度binlog最大值,将1G下挫到128M。

mysql> show variables like 'max_binlog_size';
+-----------------+------------+
| Variable_name   | Value      |
+-----------------+------------+
| max_binlog_size | 1073741824 |
+-----------------+------------+
1 row in set (0.01 sec)

mysql> select 128*1024*1024;
+---------------+
| 128*1024*1024 |
+---------------+
|     134217728 |
+---------------+
1 row in set (0.01 sec)

mysql> set global max_binlog_size=134217728;
Query OK, 0 rows affected (0.00 sec)

mysql> show variables like 'max_binlog_size';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| max_binlog_size | 134217728 |
+-----------------+-----------+
1 row in set (0.00 sec)

mysql> 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28

其后观望了3个钟头,再也还未一点也不快的insert语句了,而且付出那么反应这几天也基本未有卡顿的场景了,事情近年来消亡了,告意气风发段落啦。

反思,网络场景中,max_binlog_size值确实不宜过大,那点须要谨记。

问题扩大:

查阅当前正在利用的binlog缓存意况:

MySQL:(none) 13:07:41> show global status like 'bin%';
+----------------------------+-----------+
| Variable_name              | Value     |
+----------------------------+-----------+
| Binlog_cache_disk_use      | 1335001   |
| Binlog_cache_use           | 264238120 |
| Binlog_stmt_cache_disk_use | 0         |
| Binlog_stmt_cache_use      | 33        |
+----------------------------+-----------+
4 rows in set (0.00 sec)

MySQL:(none) 13:07:46> show global status like 'bin%';
+----------------------------+-----------+
| Variable_name              | Value     |
+----------------------------+-----------+
| Binlog_cache_disk_use      | 1335006   |
| Binlog_cache_use           | 264240359 |
| Binlog_stmt_cache_disk_use | 0         |
| Binlog_stmt_cache_use      | 33        |
+----------------------------+-----------+
4 rows in set (0.00 sec)

MySQL:(none) 13:07:47> 
MySQL:(none) 13:07:48> show global status like 'bin%';
+----------------------------+-----------+
| Variable_name              | Value     |
+----------------------------+-----------+
| Binlog_cache_disk_use      | 1335428   |
| Binlog_cache_use           | 264437761 |
| Binlog_stmt_cache_disk_use | 0         |
| Binlog_stmt_cache_use      | 33        |
+----------------------------+-----------+
4 rows in set (0.00 sec)

MySQL:(none) 13:09:28>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35

查看binlog的cache设置:

MySQL:(none) 13:10:58> show variables like '%binlog_cache%';
+-----------------------+----------------------+
| Variable_name         | Value                |
+-----------------------+----------------------+
| binlog_cache_size     | 32768                |
| max_binlog_cache_size | 18446744073709547520 |
+-----------------------+----------------------+
2 rows in set (0.00 sec)

MySQL:(none) 13:11:13> 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

binlog_cache_size:

为每种session 分配的内部存款和储蓄器,在职业进度中用来存款和储蓄二进制日志的缓存。binlog_cache_disk_use代表因为我们binlog_cache_size设计的内部存款和储蓄器不足导致缓存二进制日志用到了有时文件的次数;binlog_cache_use表示 用binlog_cache_size缓存的次数;当对应的Binlog_cache_disk_use 值相当大的时候而且Binlog_cache_use也超级大的时候,我们得以考虑非常的调高 binlog_cache_size 对应的值

更加的分析: 
咱们那边可以见见Binlog_cache_disk_use已经是1.27M,而且Binlog_cache_use值为264437761代表已经推行了2亿频仍了,何况那2个值一贯在变大,就表名,binlog_cache_size相当不足用,所以那边就足以增进binlog_cache_size的值了。

MySQL:(none) 13:40:08> set global binlog_cache_size=8388608;
Query OK, 0 rows affected (0.00 sec)

MySQL:(none) 13:40:22> 
  • 1
  • 2
  • 3
  • 4

引申下max_binlog_cache_size:

max_binlog_cache_size 代表的是binlog 能够利用的最大cache 内存大小,当我们实践多语句事务的时候 全部session的选用的内部存款和储蓄器抢先max_binlog_cache_size的值时,就能报错:“Multi-statement transaction required more than ‘max_binlog_cache_size’ bytes ofstorage”,设置太大的话,会比较消耗内部存款和储蓄器财富;设置太小又会接纳到有的时候文件即disk

版权声明:本文由大奖888-www.88pt88.com-大奖888官网登录发布于网络数据,转载请注明出处:再有那么多的慢查询记录呢