[转]MySQL MyISAM和InnoDB引擎的写入速度优化比较,分页速度优化 | 马犇-技术博客

[转]MySQL MyISAM和InnoDB引擎的写入速度优化比较,分页速度优化

来源:本站原创 数据库, 网络转载 超过2,545 views围观 0条评论

以下的文章主要介绍的是MySQL MyISAM的引擎和InnoDB引擎的实际性能的比较,我们首先是通过MySQL数据库的表结构来出MySQL MyISAM的引擎和InnoDB引擎的实际性能的实际操作。

01
02
03
04
05
06
07
08
09
10
11
12
CREATE TABLE `myisam` (
`id` int(11) NOT NULL auto_increment,
`name` varchar(100) default NULL,
`content` text,
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=gbk;
CREATE TABLE `innodb` (
`id` int(11) NOT NULL auto_increment,
`name` varchar(100) default NULL,
`content` text,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=gbk;

数据内容:

1
$name = “heiyeluren”;

$content = “MySQL支持数个存储引擎作为对不同表的类型的处理器。MySQL存储引擎包括处理事务安全表的引擎和处理非事务安全表的引擎:· MyISAM管理非事务表。它提供高速存储和检索,以及全文搜索能力。MySQL MyISAM在所有MySQL配置里被支持,它是默认的存储引擎,除非你配置MySQL默认使用另外一个引擎。 ·

MEMORY存储引擎提供“内存中”表。MERGE存储引擎允许集合将被处理同样的MyISAM表作为一个单独的表。就像MySQL MyISAM一样,MEMORY和MERGE存储引擎处理非事务表,这两个引擎也都被默认包含在MySQL中。

释:MEMORY存储引擎正式地被确定为HEAP引擎。· InnoDB和BDB存储引擎提供事务安全表。BDB被包含在为支持它的操作系统发布的MySQL-Max二进制分发版里。InnoDB也默认被包括在所有MySQL 5.1二进制分发版里,你可以按照喜好通过配置MySQL来允许或禁止任一引擎。·EXAMPLE存储引擎是一个“存根”引擎,它不做什么。你可以用这个引擎创建表,但没有数据被存储于其中或从其中检索。这个引擎的目的是服务,在MySQL源代码中的一个例子,它演示说明如何开始编写新存储引擎。同样,它的主要兴趣是对开发者。”;

[插入数据-1] (innodb_flush_log_at_trx_commit=1)

1
2
3
4
5
6
MyISAM 1W:3/s
nnoDB 1W:219/s
MyISAM 10W:29/s
nnoDB 10W:2092/s
MySQL MyISAM 100W:287/s
InnoDB 100W:没敢测试

[插入数据-2] (innodb_flush_log_at_trx_commit=0)

1
2
3
4
5
6
MyISAM 1W:3/s
InnoDB 1W:3/s
MyISAM 10W:30/s
InnoDB 10W:29/s
MyISAM 100W:273/s
InnoDB 100W:423/s

[插入数据3] (innodb_buffer_pool_size=1024M)

1
2
3
InnoDB 1W:3/s
InnoDB 10W:33/s
InnoDB 100W:607/s

[插入数据4] (innodb_buffer_pool_size=256M, innodb_flush_log_at_trx_commit=1, set autocommit=0)

1
2
3
InnoDB 1W:3/s
InnoDB 10W:26/s
InnoDB 100W:379/s

[MySQL 配置文件] (缺省配置)

01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# MySQL Server Instance Configuration File
[client]
port=3306
[mysql]
default-character-set=gbk
[mysqld]
port=3306
basedir=”C:/mysql50/”
datadir=”C:/mysql50/Data/”
default-character-set=gbk
default-storage-engine=INNODB
sql-mode=”STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION”
max_connections=100
query_cache_size=0
table_cache=256
tmp_table_size=50M
thread_cache_size=8
myisam_max_sort_file_size=100G
myisam_max_extra_sort_file_size=100G
myisam_sort_buffer_size=100M
key_buffer_size=82M
read_buffer_size=64K
read_rnd_buffer_size=256K
sort_buffer_size=256K
innodb_additional_mem_pool_size=4M
innodb_flush_log_at_trx_commit=1
innodb_log_buffer_size=2M
innodb_buffer_pool_size=159M
innodb_log_file_size=80M
innodb_thread_concurr

以上的相关内容就是对MySQL MyISAM的介绍,望你能有所收获。

总结

可以看出在MySQL 5.0里面,MyISAM和InnoDB存储引擎性能差别并不是很大,针对InnoDB来说,影响性能的主要是 innodb_flush_log_at_trx_commit 这个选项,如果设置为1的话,那么每次插入数据的时候都会自动提交,导致性能急剧下降,应该是跟刷新日志有关系,设置为0效率能够看到明显提升,当然,同样你可以SQL中提交“SET AUTOCOMMIT = 0”来设置达到好的性能。另外,还听说通过设置innodb_buffer_pool_size能够提升InnoDB的性能,但是我测试发现没有特别明显的提升。

基本上我们可以考虑使用InnoDB来替代我们的MyISAM引擎了,因为InnoDB自身很多良好的特点,比如事务支持、存储过程、视图、行级锁定等等,在并发很多的情况下,相信InnoDB的表现肯定要比MyISAM强很多,当然,相应的在my.cnf中的配置也是比较关键的,良好的配置,能够有效的加速你的应用。

如果不是很复杂的Web应用,非关键应用,还是可以继续考虑MyISAM的,这个具体情况可以自己斟酌。

硬件配置
CPU : AMD2500+ (1.8G)
内存: 1G/现代
硬盘: 80G/IDE

软件配置
OS : Windows XP SP2
SE : PHP5.2.1
DB : MySQL5.0.37
Web: IIS6

mysql分页优化方法拾遗
在我的老双至强2.4G的ibm服务器上,37万小文本数据表执行select count(*)时间长达3.8秒(innodb存储引擎),已经超出了可以忍受的范围(页面总执行时间不得超出1秒),因此开始寻找相关优化方法。

count在myisam和innodb下面的差异性
1.myisam保存表的总行数,因此count(*)并且无where子句,很快会返回表的总行数
2.myisam保存表的总行数,利用count(column)并且无where子句,并且此column不为null,很快会返回表的总行数
3.myisam保存表的总行数,利用count(column)并且无where子句,并且此column可以为null,mysql会对表进行全表或全索引扫描来确定行数
4.innodb查询count(*),count(column(not null)),count(column(may be null))并且无where子句,mysql会对表进行全表或全索引扫描来确定行数
5.myisam和innodb查询count(*),count(column(not null)),count(column(may be null))并且存在where子句,mysql会对表进行索引扫描(如果列上有索引),速度也比较快

来源:http://blog.sina.com.cn/s/blog_5b5460eb0100o4s6.html

在使用mysql数据表的分页程序里面,select count是效率的瓶颈所在。部分人使用避免使用不显示数据总数来规避这个问题,比如点点,永远只有下一页的分页链接。这种方式在我这里行不通,使用的extjs框架的gridpanel控件缺乏记录总数无法分页。另一种方式是新建一个数据表统计表记录数,在表新增和删除时对该记录同时做更新。这种方式或者可行。

记录总数的问题解决了,翻页到超过1万页之后速度又变得极慢(每页20条)。mysql分页使用limit offset,length,在10万记录之前效率可观,sql执行时间基本在1秒内(主键索引),超过10万条后效率成数量级下降。

查阅资料得以下几种优化方式:
1、索引列大于法
SELECT id FROM table WHERE id>(SELECT id FROM table ORDER BY id LIMIT $start,1) ORDER BY id LIMIT $length;
30万数据时,加order by效率提高不多(1秒左右),不加order by 效率提高一半
10万数据时,效率提高明显。

2、超过半数逆序分页法。
意为判断分页开始id是否超过总数的一半,如果超过一半则反写sql,减小了LIMIT里面的offset值,从而提高效率。
30万数据,假如原SQL语句是ORDER BY id LIMIT 200000,20,可改写为ORDER BY id DESC LIMIT 99980,20,效率提高超过一个数量级。

3、使用临时表缓存索引列,分页时使用临时表,获取到id用IN子查询。
SELECT id FROM table WHERE id IN(SELECT id FROM table_tmp LIMIT $start,$length);

经过再三考虑,我最后把这部分的优化暂时搁置了,太他娘的浪费时间了。