MySQL是目前最流行的關(guān)系型數(shù)據(jù)庫之一，而關(guān)系數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個大倉庫內(nèi)，這樣就增加了速度并提高了靈活性。我們知道在MySQL數(shù)據(jù)庫中DISTINCT可以去掉重復(fù)數(shù)據(jù)，而GROUP BY在分組后也會去掉重復(fù)數(shù)據(jù)，那這兩個關(guān)鍵字在去掉重復(fù)數(shù)據(jù)時的效率，究竟誰會更高一點？本文我們就來比較一些distinct和group by的性能。

一、測試過程：

準(zhǔn)備一張測試表   

??CREATE TABLE `test_test` (
?????`id` int(11) NOT NULL auto_increment,
??????`num` int(11) NOT NULL default '0',
??????PRIMARY KEY ?(`id`)
?????) ENGINE=MyISAM ?DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;

建個儲存過程向表中插入10W條數(shù)據(jù)  

???create procedure p_test(pa int(11))
?????begin
??????declare max_num int(11) default 100000;
??????declare i int default 0;
?????declare rand_num int;
??????select count(id) into max_num from test_test;
?????while i < pa do
??????????????if max_num < 100000 then
??????????????????????select cast(rand()*100 as unsigned) into rand_num;
??????????????????????insert into test_test(num)values(rand_num);
??????????????end if;
??????????????set i = i +1;
??????end while;
?????end

調(diào)用存儲過程插入數(shù)據(jù)

call p_test(100000);

開始測試：（不加索引）   

?select distinct num from test_test;
????select num from test_test group by num;
????[SQL] select distinct num from test_test;
????受影響的行: 0
????時間: 0.078ms
????[SQL] ?
???select num from test_test group by num;
???受影響的行: 0
????時間: 0.031ms

二、num字段上創(chuàng)建索引

ALTER TABLE `test_test` ADD INDEX `num_index` (`num`) ;

再次查詢   

select distinct num from test_test;
????select num from test_test group by num;
????[SQL] select distinct num from test_test;
???受影響的行: 0
????時間: 0.000ms
????[SQL] ?
????select num from test_test group by num;
????受影響的行: 0
????時間: 0.000ms

這時候我們發(fā)現(xiàn)時間太小了 0.000秒都無法精確了。

我們轉(zhuǎn)到命令行下 測試   

?mysql> set profiling=1;
????mysql> select distinct(num) from test_test;
????mysql> select num from test_test group by num;
????mysql> show profiles;
????+----------+------------+----------------------------------------+
????| Query_ID | Duration ??| Query ?????????????????????????????????|
????+----------+------------+----------------------------------------+
????| ???????1 | 0.00072550 | select distinct(num) from test_test ???|
????| ???????2 | 0.00071650 | select num from test_test group by num |
???+----------+------------+----------------------------------------+

?

加了索引之后 distinct 比沒加索引的 distinct 快了 107倍。

加了索引之后 group by 比沒加索引的 group by 快了 43倍。

再來對比 ：distinct  和 group by

不管是加不加索引 group by 都比 distinct 快。因此使用的時候建議選 group by。

默認(rèn)情況下，distinct會被hive翻譯成一個全局唯一reduce任務(wù)來做去重操作，因而并行度為1。而group by則會被hive翻譯成分組聚合運算，會有多個reduce任務(wù)并行處理，每個reduce對收到的一部分?jǐn)?shù)據(jù)組，進行每組聚合（去重）

通過上述兩個實驗，我們可以得出這樣一條結(jié)論：在重復(fù)量比較高的表中，使用DISTINCT可以有效提高查詢效率，而在重復(fù)量比較低的表中，使用DISTINCT會嚴(yán)重降低查詢效率。所以并不是所有的DISTINCT都是降低效率的，當(dāng)然你得提前判斷數(shù)據(jù)的重復(fù)量。想要獲取更多的MySQL知識，請到本站的MySQL教程觀看最新的MySQL學(xué)習(xí)資料，開啟全新的MySQL學(xué)習(xí)之旅。