菜单

配置详解 | performance_schema全方位介绍(二)402.com

2019年2月18日 - 科技中心

在上一篇 《初相识 |
performance_schema全方位介绍》
中粗略介绍了如何配置与使用performance_schema,相信大家对performance_schema能够为我们提供什么样的性能数据已经有一个初步的认识,今天将带领大家一起踏上系列第二篇的征程(全系共7个篇章),在这一期里,我们将为大家全面讲解performance_schema配置方式以及各个配置表的作用。下面,请跟随我们一起开始performance_schema系统的学习之旅吧。

5.setup_timers表用于配置每种类型指令的统计时间单位。MICROSECOND表示统计单位是微妙,CYCLE表示统计单位是时钟周期,时间度量与CPU的主频有关,NANOSECOND表示统计单位是纳秒,关于每种类型的具体含义,可以参考performance_timer这个表。由于wait类包含的都是等待事件,单个SQL调用次数比较多,因此选择代价最小的度量单位cycle。但无论采用哪种度量单位,最终统计表中统计的时间都会装换到皮秒。

setup_actors表的初始内容是匹配任何用户和主机,因此对于所有前台线程,默认情况下启用监视和历史事件收集功能,如下:

1.setup_actors用于配置user维度的监控,默认情况下监控所有用户线程。
root@performance_schema
05:47:27>select * from setup_actors;
+——+——+——+
| HOST | USER | ROLE |
+——+——+——+
| % | % | % |
+——+——+——+

对于表对象相关事件,instruments是否生效需要看setup_objects与setup_instruments两个表中的配置内容相结合,以确定是否启用instruments以及计时器功能(例如前面说的I/O事件:wait/io/table/sql/handler
instrument和表锁事件:wait/lock/table/sql/handler
instrument,在setup_instruments配置表中也有明确的配置选项):

      performance-schema最早在MYSQL
5.5中出现,而现在5.6,5.7中performance-Schema又添加了更多的监控项,统计信息也更丰富,越来越有ORACLE-AWR统计信息的赶脚,真乃DBA童鞋进行性能诊断分析的福音。本文主要讲Performance-Schema中的配置表,通过配置表能大概了解performance-schema的全貌,为后续使用和深入理解做准备。

mysql> SELECT * FROM setup_consumers;

root@performance_schema
06:25:55>select * from setup_objects;
+————-+——————–+————-+———+——-+
| OBJECT_TYPE | OBJECT_SCHEMA |
OBJECT_NAME | ENABLED | TIMED |
+————-+——————–+————-+———+——-+
| TABLE | mysql | % | NO | NO |
| TABLE | performance_schema | % | NO |
NO |
| TABLE | information_schema | % | NO |
NO |
| TABLE | % | % | YES | YES |
+————-+——————–+————-+———+——-+

还可以登录到MySQL实例中使用SQL命令查看是否支持performance_schema:

root@performance_schema 06:03:09>show
tables like ‘%setup%’;
+—————————————-+
| Tables_in_performance_schema (%setup%) |
+—————————————-+
| setup_actors |
| setup_consumers |
| setup_instruments |
| setup_objects |
| setup_timers |
+—————————————-+

(3) setup_consumers表

4.setup_objects表用于配置监控对象,默认情况下所有mysql,performance_schema和information_schema中的表都不监控。而其它DB的所有表都监控。

admin@localhost : performance_schema 03:06:01> select * from
setup_instruments where name like ‘%/table/%’;

3.setup_instruments表用于配置一条条具体的instrument,主要包含4大类:idle,stage/xxx,statement/xxx,wait/xxx.
root@performance_schema
06:25:50>select name,count(*) from setup_instruments group by
LEFT(name,5);
+———————————+———-+
| name | count(*) |
+———————————+———-+
| idle | 1 |
| stage/sql/After create | 111 |
| statement/sql/select | 170 |
| wait/synch/mutex/sql/PAGE::lock | 296
|
+———————————+———-+
idle表示socket空闲的时间,stage类表示语句的每个执行阶段的统计,statement类统计语句维度的信息,wait类统计各种等待事件,比如IO,mutux,spin_lock,condition等。从上表统计结果来看,可以基本看到每类的instrument数目,stage包含111个,statement包含170个,wait包含296个。

| wait/io/file/innodb/innodb_temp_file |YES | YES |

performance_schema_consumer_events_waits_history=on

友情提示:以下内容阅读起来可能比较烧脑,内容也较长,建议大家端好板凳,坐下来,点上一支烟,细细品读,这也是学习performance_schema路上不得不过的火焰山,坚持下去,”翻过这座山,你就可以看到一片海!”

配置表

wait/io/file/myisam/ log

**     
默认情况下,setup_instruments表只打开了statement和wait/io部分的指令,setup_consumer表中很多consumer也没有打开。为了打开需要的选项,可以通过update语句直接修改配置表,并且修改后可以立即生效,但这种方式必需得启动服务器后才可以修改,并且无法持久化,重启后,又得重新设置一遍。从5.6.4开始提供了my.cnf的配置方式,格式如下:

| MILLISECOND |1036| 1 |168|

配置方式

| wait/synch/mutex/sql/LOCK_global_system_variables |YES | YES |

2.设置consumer
performance_schema_consumer_xxx=value
(1)打开 events_waits_history
consumer

performance_schema=ON

 

setup_timers表中记录当前使用的事件计时器信息(注意:该表不支持增加和删除记录,只支持修改和查询)

3.设置统计表大小
所有的performance_schema表均采用PERFORMANCE_SCHEMA存储引擎,表中的所有数据只存在内存,表的大小在系统初始化时已经
固定好,因此占用的内存是一定的。可以通过配置来定制具体每个表的记录数。
performance_schema_events_waits_history_size=20
performance_schema_events_waits_history_long_size=15000

performance-schema-consumer-events-transactions-history- longFALSE

root@performance_schema
06:29:50>select \
from setup_timers;
+———–+————-+
| NAME | TIMER_NAME |
+———–+————-+
| idle | MICROSECOND |
| wait | CYCLE |
| stage | NANOSECOND |
| statement | NANOSECOND |
+———–+————-+*

performance_schema_consumer_events_waits_current=on

2.setup_consumers表用于配置事件的消费者类型,即收集的事件最终会写入到哪些统计表中。
root@performance_schema
05:48:16>select * from setup_consumers;
+——————————–+———+
| NAME | ENABLED |
+——————————–+———+
| events_stages_current | NO |
| events_stages_history | NO |
| events_stages_history_long | NO
|
| events_statements_current | YES
|
| events_statements_history | NO
|
| events_statements_history_long | NO
|
| events_waits_current | NO |
| events_waits_history | NO |
| events_waits_history_long | NO
|
| global_instrumentation | YES
|
| thread_instrumentation | YES
|
| statements_digest | YES |
+——————————–+———+
可以看到有12个consumer,如果不想关注某些consumer,可以将ENABLED设置为NO,比如events_statements_history_long设置为NO,
则收集事件不会写入到对应的表events_statements_history_long中。12个consumer不是平级的,存在多级层次关系。具体如下表:
global_instrumentation
 |– thread_instrumentation
   |– events_waits_current
     |– events_waits_history
     |–
events_waits_history_long
   |– events_stages_current
     |– events_stages_history
     |–
events_stages_history_long
   |–
events_statements_current
     |–
events_statements_history
     |–
events_statements_history_long
 |– statements_digest

| wait/synch/rwlock/sql/LOCK_sys_init_slave |YES | YES |

多层次的consumer遵从一个基本原则,只有上一层次的为YES,才会继续检查该本层为YES
or NO。global_instrumentation是最高级别consumer,如果它设置为NO,则所有的consumer都会忽略。如果只打开global_instrumentation,而关闭所有其它子consumer(设置为NO),则只收集全局维度的统计信息,比如xxx_instance表,而不会收集用户维度,语句维度的信息。第二层次的是thread_instrumentation,用户线程维度的统计信息,比如xxx_by_thread表,另外一个是statements_digest,这个用于全局统计SQL-digest的信息。第三层次是语句维度,包括events_waits_current,events_stages_current和events_statements_current,分别用于统计wait,stages和statement信息,第四层次是历史表信息,主要包括xxx_history和xxx_history_long。

mysql> SELECT * FROM performance_timers;

Performance-Schema中主要有5个配置表,具体如下:

402.com 1

1.设置采集的instrument
performance_schema_instrument=’instrument_name=value’
(1)打开wait类型的指令
performance_schema_instrument=’wait/%’
(2)打开所有指令
performance_schema_instrument=’%=on’

+————-+——————–+————-+———+——-+

这里要注意consumer的层次关系, events_waits_history处于第4层,因此设置它时,要确保events_statements_current,thread_instrumentation和global_instrumentation的ENABLED状态都为YES,才能生效。由于默认thread_instrumentation和global_instrumentation都是YES,因此只需要显示设置events_waits_current和events_waits_current即可。

# 第一种instruments表示myisam引擎的文件IO相关的instruments

mysql>UPDATE setup_instruments SET ENABLED = CASE WHEN NAME LIKE
‘%/mysys/%’THEN ‘YES’ELSE ‘NO’END;

+—————————–+———+——-+

下面,我们将对这些system
variables(以下称为变量)中几个需要关注的进行简单解释(其中大部分变量是-1值,代表会自动调整,无需太多关注,另外,大于-1值的变量在大多数时候也够用,如果无特殊需求,不建议调整,调整这些参数会增加内存使用量)

setup_instruments 表列出了instruments
列表配置项,即代表了哪些事件支持被收集:

performance-schema-consumer-events-waits-history FALSE

–performance_schema

(2)**setup_timers**表

+——+——+——+———+———+

|events_waits_history | NO |

root@localhost : performance_schema 05:46:17> update threads
setINSTRUMENTED= ‘NO’whereTYPE= ‘BACKGROUND’;

1).
表I/O操作相关的instruments。这个类别包括了对持久基表或临时表的行级访问(对数据行获取,插入,更新和删除),对于视图来说,instruments检测时会参照被视图引用的基表访问情况

IT从业多年,历任运维工程师、高级运维工程师、运维经理、数据库工程师,曾参与版本发布系统、轻量级监控系统、运维管理平台、数据库管理平台的设计与编写,熟悉MySQL体系结构,Innodb存储引擎,喜好专研开源技术,追求完美。

performance-schema-consumer-global-instrumentation TRUE

3).
某些行操作可能会导致多个表I/O等待。例如,如果有INSERT的触发器,那么插入操作可能导致触发器更新操作。

#禁用所有instruments的计时器:

performance_schema_max_sql_text_length=1024

#打开events_waits_current表当前等待事件记录功能

#where条件 ENABLED =’YES’即为打开对应的记录表功能

CONNECTION_TYPE: NULL

–performance-schema-instrument= ‘instrument_name=value’

当我们接手一个别人安装的MySQL数据库服务器时,或者你并不清楚自己安装的MySQL版本是否支持performance_schema时,我们可以通过mysqld命令查看是否支持Performance
Schema

| PROCEDURE |% | % |YES | YES |

| NANOSECOND |1000000000| 1 |112|

Comment: Performance Schema

*************************** 2. row
***************************

……

(6)setup_objects表

+————-+————-+

责任编辑:

| wait/synch/rwlock/sql/LOCK_sys_init_connect |YES | YES |

是否在MySQL
Server启动时就启用某些采集器,由于instruments配置项多达数千个,所以该配置项支持key-value模式,还支持%号进行通配等,如下:

查找innodb存储引擎的文件相关的instruments,可以用如下语句查询:

setup_objects表控制performance_schema是否监视特定对象。默认情况下,此表的最大行数为100行。要更改表行数大小,可以在server启动之前修改系统变量performance_schema_setup_objects_size的值。

一些可能常用的场景相关的设置 :

performance_schema_events_statements_history_long_size=10000

# 当然,如果要连后台线程一起操作,请带上条件PROCESSLIST_ID isNULL

| TIMER_NAME |TIMER_FREQUENCY | TIMER_RESOLUTION |TIMER_OVERHEAD |

| TABLE |% | % |YES | YES |

performance-schema-consumer-events-statements-history TRUE

| NAME |TIMER_NAME |

mysql> SELECT * FROM setup_objects;

+————-+—————+————-+———+——-+

| wait/io/table/sql/handler |YES | YES |

performance-schema-consumer-thread-instrumentation TRUE

对setup_timers表的修改会立即影响监控。正在执行的事件可能会使用修改之前的计时器作为开始时间,但可能会使用修改之后的新的计时器作为结束时间,为了避免计时器更改后可能产生时间信息收集到不可预测的结果,请在修改之后使用TRUNCATE TABLE语句来重置performance_schema中相关表中的统计信息。

+————————————–+———+——-+

–performance-schema-instrument= ‘%=ON’

## 当joe从hosta.example.com连接到mysql
server时,则连接符合第二个INSERT语句插入的配置行,threads表中对应配置行的INSTRUMENTED列值为YES,HISTORY列值为NO

+————-+—————+————-+———+——-+

# 关闭除了当前连接之外的所有前台线程的事件采集

要控制这些instruments的起停,将ENABLED列设置为YES或NO,要配置instruments是否收集计时器信息,将TIMED列值设置为YES或NO

# 第二种instruments表示myisam引擎的磁盘同步相关的instruments

performance-schema-consumer-events-statements-history- longFALSE

–performance_schema_events_waits_history_long_size= #

3rows inset ( 0. 00sec)

admin@localhost : performance_schema 04:25:55> select * from
threads where TYPE=’FOREGROUND’ limit 2G;

在以往,我们认为自行编译安装MySQL其性能要优于官方编译好的二进制包、rpm包等。可能在MySQL早期的版本中有这样的情况,
但随着MySQL版本不断迭代,业界不少人亲测证实,目前的MySQL版本并不存在自行编译安装性能比官方编译好的二进制包性能高,所以,通常情况下,我们不建议去耗费数十分钟来编译安装MySQL,因为在大规模部署的场景,此举十分浪费时间(需要通过编译安装的方式精简模块的场景除外)

可以通过UPDATE语句来更改setup_timers.TIMER_NAME列值,以给不同的事件类别选择不同的计时器,setup_timers.TIMER_NAME列有效值来自performance_timers.TIMER_NAME列值。

PROCESSLIST_ID: 1

| 运行时配置

| events_waits_history_long |NO |

| FUNCTION |mysql | % |NO | NO |

performance-schema-consumer-events-stages-history- longFALSE

setup_actors表字段含义如下:

关闭与开启除了当前连接之外的所有线程的事件采集(不包括后台线程)

PROCESSLIST_STATE: Suspending

+————-+—————+————-+———+——-+

Query OK, 40 rows affected (0.00 sec)

| wait/io/file/sql/binlog_index |YES | YES |

Support: YES

root@localhost : performance_schema 05:47:08> update threads
setINSTRUMENTED= ‘YES’whereTYPE= ‘BACKGROUND’;

root@ localhost: (none) 11: 43: 29> show variables like
‘%performance_schema%’;

instruments的命名格式组成:performance_schema实现的一个前缀结构(如:wait/io/file/myisam/log中的wait+由开发人员实现的instruments代码定义的一个后缀名称组成(如:wait/io/file/myisam/log中的io/file/myisam/log)

performance_schema有哪些启动选项呢?我们可以通过如下命令行命令进行查看:

+————-+——————–+————-+———+——-+

名称中给定组件的解释取决于其左侧的组件。例如,myisam显示在以下两个名称:

+——+——+——+———+———+

#
[=name]可以指定为具体的Instruments名称(但是这样如果有多个需要指定的时候,就需要使用该选项多次),也可以使用通配符,可以指定instruments相同的前缀+通配符,也可以使用%代表所有的instruments

mysql>UPDATE setup_instruments SET ENABLED = IF(NAME LIKE
‘wait/io/file/%’, ‘NO’, ‘YES’);

events_xxx_summary_by_yyy_by_event_name表的记录功能,启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新线程配置项

performance_schema在setup_objects表中进行查询匹配时,如果发现某个OBJECT_TYPE列值有多行,则会尝试着匹配更多的配置行,如下(performance_schema按照如下顺序进行检查):

1).
wait/synch/cond:一个线程使用一个状态来向其他线程发信号通知他们正在等待的事情已经发生了。如果一个线程正在等待这个状态,那么它可以被这个状态唤醒并继续往下执行。如果是几个线程正在等待这个状态,则这些线程都会被唤醒,并竞争他们正在等待的资源,该instruments用于采集某线程等待这个资源时被阻塞的事件信息。

|TICK | 105 |1| 2416 |

(4)setup_instruments表

shell> mysqld –verbose — help

UPDATEsetup_actors SETENABLED = ‘NO’, HISTORY = ‘NO’WHEREHOST =
‘%’ANDUSER= ‘%’;

对于内存instruments,setup_instruments中的TIMED列将被忽略(使用update语句对这些内存instruments设置timed列为YES时可以执行成功,但是你会发现执行update之后select这些instruments的timed列还是NO),因为内存操作没有定时器信息

对于后台线程,对setup_actors表的修改不生效,如果要干预后台线程默认的设置,需要查询threads表找到相应的线程,然后使用UPDATE语句直接修改threads表中的INSTRUMENTED和HISTORY列值。

| TABLE |performance_schema | % |NO | NO |

2).
wait/synch/mutex:一个线程在访问某个资源时,使用互斥对象防止其他线程同时访问这个资源。该instruments用于采集发生互斥时的事件信息

performance-schema-consumer-events-waits-history- longFALSE

update … wherePROCESSLIST_ID!=connection_id() or PROCESSLIST_ID
isNULL;

+————-+————-+

| TABLE |db2 | % |YES | YES |

+——+——+——+———+———+

# setup_objects表

performance-schema-instrument

| TABLE |db3 | % |NO | NO |

是否在MySQL
Server启动时就开启全局表(如:mutex_instances、rwlock_instances、cond_instances、file_instances、users、hostsaccounts、socket_summary_by_event_name、file_summary_by_instance等大部分的全局对象计数统计和事件汇总统计信息表
)的记录功能,启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新全局配置项

+————-+—————–+——————+—————-+

本篇内容到这里就接近尾声了,如果阅读了本章内容之后,感觉对performance_schema仍然比较迷糊,那么建议按照如下步骤动动手、看一看:

##
如果把UPDATE语句改成DELETE,让未明确指定的用户在setup_actors表中找不到任何匹配行,则threads表中对应配置行的INSTRUMENTED和HISTORY列值变为NO

42 rowsinset(0 .01sec)

如果某个instruments的enabled设置为YES(表示启用这个instruments),但是timed列未设置为YES(表示计时器功能禁用),则instruments会产生事件信息,但是事件信息对应的TIMER_START,TIMER_END和TIMER_WAIT定时器值都为NULL。后续汇总表中计算sum,minimum,maximum和average时间值时会忽略这些null值

|events_stages_current | NO |

关于线程类对象,前台线程与后台线程还有少许差别

+————————————–+———+——-+

PROCESSLIST_HOST: NULL

INSERTINTOsetup_actors (HOST, USER, ROLE,ENABLED,HISTORY) VALUES(
‘hosta.example.com’, ‘joe’, ‘%’, ‘YES’, ‘NO’);

| 编译时配置

+————————————————————+———+——-+

mysql> SELECT * FROM setup_actors;

对于存储程序对象相关的事件,performance_schema只需要从setup_objects表中读取配置项的ENABLED和TIMED列值。因为存储程序对象在setup_instruments表中没有对应的配置项

threads表字段含义如下:

admin@localhost : performance_schema 09 :16:59> select * from
setup_instruments where name like ‘wait/io/file/innodb/%’;

如果用户对该表具有INSERT和DELETE权限,则可以对该表中的配置行进行删除和插入新的配置行。对于已经存在的配置行,如果用户对该表具有UPDATE权限,则可以修改ENABLED和TIMED列,有效值为:YES和NO

| TRIGGER |performance_schema | % |NO | NO |

#启用所有类型的events的mysys子系统的instruments:

## 开关所有的instruments

performance_schema_events_statements_history_size=10

PROCESSLIST_USER: NULL

mysql> SELECT * FROM setup_timers;

NAME: thread/sql/compress_gtid_table

| wait/io/file/sql/dbopt |YES | YES |

##
当joe从其他任意主机(%匹配除了localhost和hosta.example.com之外的主机)连接到mysql
server时,则连接符合第三个INSERT语句插入的配置行,threads表中对应配置行的INSTRUMENTED和HISTORY列值变为NO

## 使用通配符指定开启多个instruments

# 插入用户joe@’hosta.example.com’对应ENABLED=YES、HISTORY=NO的配置行

PS:setup_instruments表不允许使用TRUNCATE
TABLE语句

| wait/synch/mutex/sql/LOCK_manager |YES | YES |

| 基本概念

Rows matched: 40 Changed: 40 Warnings: 0

wait/synch/cond/myisam/MI_SORT_INFO::cond

除了statement(语句)事件之外,wait(等待)事件、state(阶段)事件、transaction(事务)事件,他们与statement事件一样都有三个参数分别进行存储限制配置,有兴趣的同学自行研究,这里不再赘述

performance_schema_digests_size=10000

|transaction | NANOSECOND |

402.com 2

PS:

+————-+——————–+————-+———+——-+

一个给定instruments名称的含义,需要看instruments名称的左侧命名而定,例如下边两个myisam相关名称的instruments含义各不相同:

注意:虽然我们可以通过cmake的编译选项关闭掉某些performance_schema的功能模块,但是,通常我们不建议这么做,除非你非常清楚后续不可能使用到这些功能模块,否则后续想要使用被编译时关闭的模块,还需要重新编译。

| events_waits_current |NO |

wait/lock:锁操作相关的instruments

root@localhost : performance_schema 05:48:32> update threads
setINSTRUMENTED= ‘YES’wherePROCESSLIST_ID!=connection_id();

Engine: PERFORMANCE_SCHEMA

–performance-schema-instrument= ‘wait/synch/cond/%=COUNTED’

| TABLE |db1 | t1 |YES | YES |

performance-schema-consumer-events-stages-current FALSE

| NAME |ENABLED | TIMED |

setup_consumers表中的consumers配置项具有层级关系,具有从较高级别到较低级别的层次结构,按照优先级顺序,可列举为如下层次结构(你可以根据这个层次结构,关闭你可能不需要的较低级别的consumers,这样有助于节省性能开销,且后续查看采集的事件信息时也方便进行筛选):

| statement |NANOSECOND |

402.com 3

# 开启除了当前连接之外的所有前台线程的事件采集

|stage | NANOSECOND |

# 插入用户sam@’%’对应ENABLED=NO、HISTORY=YES的配置行

Query OK, 40 rows affected (0.00 sec)

#
此时,threads表中对应用户的前台线程配置行中INSTRUMENTED和HISTORY列生效值如下

| wait/synch/mutex/sql/LOCK_global_read_lock |YES | YES |

| NAME |ENABLED | TIMED |

shell> cmake .

| events_transactions_history |NO |

PARENT _THREAD_ID: 1

| wait/synch/rwlock/sql/LOCK_grant |YES | YES |

|events_transactions_current | NO |

[root@localhost ~] # mysqld –verbose –help |grep performance-schema
|grep -v ‘–‘ |sed ‘1d’ |sed ‘/[0-9]402.com,+/d’

performance-schema-consumer-events-stages-history FALSE

mysql>UPDATE setup_consumers SET ENABLED =’NO’wherename like
‘%history%’;

默认配置中开启监视的对象不包含mysql,INFORMATION_SCHEMA和performance_schema数据库中的所有表(从上面的信息中可以看到这几个库的enabled和timed字段都为NO,注意:对于INFORMATION_SCHEMA数据库,虽然该表中有一行配置,但是无论该表中如何设置,都不会监控该库,在setup_objects表中information_schema.%的配置行仅作为一个缺省值)

performance_schema中的配置是保存在内存中的,是易失的,也就是说保存在performance_schema配置表(本章后续内容会讲到)中的配置项在MySQL实例停止时会全部丢失。所以,如果想要把配置项持久化,就需要在MySQL的配置文件中使用启动选项来持久化配置项,让MySQL每次重启都自动加载配置项,而不需要每次重启都再重新配置。

#仅禁用文件类instruments,启用所有其他instruments,使用NAME字段结合if函数,LIKE模糊匹配到就改为NO,没有匹配到的就改为YES:

#关闭历史事件记录功能

setup_objects表列含义如下:

# 关闭所有后台线程的事件采集

Number of rows inevents_waits_history_long.

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图