2011 Signal Separation Evaluation Campaign
Professionally produced music recordings
Test database

For details about each algorithm, click on the algorithm number.

All estimated source signals are made available under the terms of the same license as the mixture signals. For licensing information regarding the mixture signals, see the bottom of this page.



Average results
      vocals         drums         bass         guitar         piano         total    
Algorithm 1 (AUTO)
Jean-Louis Durrieu		 SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     		   3.8
  6.2
  Inf
  3.1

22.4
28.8
59.0
30.8
-
-
-
-

-
-
-
-		 -
-
-
-

-
-
-
-		   8.8
  20.6
  12.8
  10.5

30.2
79.6
34.5
57.7
-
-
-
-

-
-
-
-		   6.3
  13.4
  Inf
  6.8

26.3
54.2
46.7
44.3
Algorithm 2 (USER)
Jean-Louis Durrieu		 SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     		   5.4
  8.3
  Inf
  5.4

26.0
28.4
61.1
29.9
-
-
-
-

-
-
-
-		 -
-
-
-

-
-
-
-		   9.6
  23.5
  12.9
  12.0

28.4
78.6
32.3
63.2
-
-
-
-

-
-
-
-		   7.5
  15.9
  Inf
  8.7

27.2
53.5
46.7
46.5
Algorithm 3
Estefania Cano Ceron		 SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     		   -2.7
  -0.8
  Inf
  -7.2

22.5
5.0
64.6
10.1
-
-
-
-

-
-
-
-		 -
-
-
-

-
-
-
-		   -1.2
  1.5
  16.2
  -2.2

25.7
55.7
53.7
45.6
-
-
-
-

-
-
-
-		   -1.9
  0.4
  Inf
  -4.7

24.1
30.4
59.1
27.9
Algorithm 4
Julian Becker		 SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     		   -5.5
  -1.3
  7.0
  3.6

15.7
15.7
27.6
15.3
  -7.1
  -2.9
  2.9
  2.7

23.3
23.2
50.4
12.8
  -9.2
  -1.5
  1.1
  6.3

8.5
60.2
25.7
13.9
  4.8
  7.7
  9.3
  9.0

22.9
39.2
13.9
60.4
  -4.6
  -1.3
  -0.3
  -1.8

24.5
1.0
51.8
3.9
  -4.3
  0.2
  4.0
  3.9

19.0
27.8
33.9
21.3
Algorithm 5
Ricard Marxer and Jordi Janer		 SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     		   2.4
  8.5
  Inf
  0.1

25.2
15.9
70.5
11.6
  -0.2
  2.2
  5.9
  -5.4

23.6
44.0
67.8
2.1
-
-
-
-

-
-
-
-		 -
-
-
-

-
-
-
-		 -
-
-
-

-
-
-
-		   1.1
  5.3
  Inf
  -2.6

24.4
29.9
69.1
6.9
Algorithm 6
Alexey Ozerov and Emmanuel Vincent		 SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     		   3.1
  8.1
  7.7
  3.7

24.4
37.1
20.8
54.3
  2.0
  4.3
  2.9
  2.1

29.3
54.6
28.9
50.4
  0.7
  8.0
  2.7
  3.8

16.5
16.7
44.0
14.0
  7.4
  12.7
  10.1
  11.6

13.8
70.8
13.1
79.8
  0.7
  1.7
  5.2
  -1.3

16.8
21.9
24.1
40.4
  2.8
  6.9
  5.7
  4.0

20.2
40.2
26.2
47.8
Algorithm 7
Hiroshi Sawada		 SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     		   4.1
  10.7
  6.3
  7.3

41.6
74.5
61.2
40.0
-
-
-
-

-
-
-
-		 -
-
-
-

-
-
-
-		   5.7
  9.5
  9.9
  7.7

50.1
62.7
69.0
45.4
-
-
-
-

-
-
-
-		   4.9
  10.1
  8.1
  7.5

45.8
68.6
65.1
42.7
Algorithm 8
Antoine Liutkus		 SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     		   3.0
  7.7
  9.0
  2.4

19.4
28.7
55.2
31.9
  1.7
  2.1
  11.6
  1.1

20.7
19.9
58.7
9.0
  2.6
  10.7
  3.9
  5.9

22.5
15.2
45.2
20.5
-
-
-
-

-
-
-
-		   -1.9
  4.1
  -2.0
  -1.3

13.5
37.2
19.7
28.6
  1.4
  6.1
  5.6
  2.0

19.0
25.2
44.7
22.5
STFT
Ideal Binary Mask		 SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     		   6.2
  22.1
  22.3
  6.2

28.4
69.1
69.1
16.6
  6.3
  24.6
  23.2
  6.2

25.7
73.7
74.5
2.8
  6.0
  20.9
  21.0
  5.7

27.7
36.3
90.1
0.2
  11.8
  23.8
  20.3
  12.3

50.6
70.4
67.5
48.7
  1.1
  9.9
  16.6
  0.0

22.2
56.3
70.7
13.5
  6.3
  20.3
  20.7
  6.1

30.9
61.2
74.4
16.4
Cochleagram
Ideal Binary Mask		 SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     		   4.7
  17.0
  16.3
  4.7

23.6
38.1
61.9
14.8
  1.4
  2.7
  17.3
  0.4

18.1
32.2
69.4
4.6
  0.9
  1.8
  11.7
  -2.3

27.7
5.6
72.1
5.0
  8.6
  14.6
  15.1
  9.8

29.0
40.4
77.0
30.7
  0.8
  5.9
  12.2
  -1.9

25.1
9.5
69.4
7.4
  3.3
  8.4
  14.5
  2.2

24.7
25.1
70.0
12.5


Detailed results
  Tamy
"Que Pena / Tanto Faz"
mix
Bearlin
"Roads"
mix
Glen Philips
"The Spirit of Shackleton"
mix
Nine Inch Nails
"The Good Soldier"
mix
Shannon Hurley
"Sunrise"
mix
Algorithm 1 (AUTO)
Jean-Louis Durrieu
SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     

 vocals 

 guitar 

 7.2  8.8
 11.8  20.6
 17.4  12.8
 7.6  10.5

 33.5  30.2
 40.0  79.6
 71.8  34.5
 37.9  57.7

 vocals 

 4.4
 7.1
 Inf
 3.9

 27.3
 33.1
 57.1
 35.7

 vocals 

 5.0
 8.1
 Inf
 4.7

 22.3
 35.4
 56.1
 34.0

 vocals 

 1.5
 2.3
 Inf
 0.9

 17.1
 22.5
 58.0
 25.4

 vocals 

 1.1
 1.7
 Inf
 -1.4

 11.6
 13.2
 51.8
 21.0
Algorithm 2 (USER)
Jean-Louis Durrieu
SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     

 vocals 

 guitar 

 8.0  9.6
 11.7  23.5
 20.7  12.9
 9.0  12.0

 34.2  28.4
 40.9  78.6
 72.8  32.3
 38.1  63.2

 vocals 

 4.7
 7.1
 Inf
 4.5

 25.6
 24.4
 58.9
 30.9

 vocals 

 6.0
 9.4
 Inf
 5.7

 23.4
 25.9
 63.1
 25.8

 vocals 

 1.7
 2.5
 Inf
 0.7

 21.0
 15.9
 58.0
 18.0

 vocals 

 6.9
 10.9
 Inf
 6.9

 25.8
 34.8
 52.6
 36.4
Algorithm 3
Estefania Cano Ceron
SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     

 vocals 

 guitar 

 -2.7  -1.2
 -0.7  1.5
 9.6  16.2
 -4.3  -2.2

 22.8  25.7
 7.0  55.7
 65.7  53.7
 13.4  45.6

 vocals 

 -3.0
 -0.9
 Inf
 -6.2

 18.3
 5.0
 58.6
 13.2

 vocals 

 -2.2
 -0.6
 Inf
 -8.4

 26.1
 1.7
 75.2
 3.2

 vocals 

 -1.7
 0.6
 Inf
 -14.4

 32.1
 0.4
 62.5
 0.7

 vocals 

 -3.7
 -2.4
 Inf
 -2.8

 13.2
 11.1
 61.1
 19.8
Algorithm 4
Julian Becker
SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     

 vocals 

 guitar 

 3.2  4.8
 9.5  7.7
 4.3  9.3
 8.4  9.0

 22.0  22.9
 26.5  39.2
 29.5  13.9
 11.5  60.4

 vocals 

 bass 

 piano 

 2.3  3.8  -2.0
 5.1  11.7  0.7
 6.1  7.7  -8.8
 3.9  4.6  -4.9

 14.3  14.1  30.7
 7.5  79.8  0.2
 43.0  13.4  46.9
 12.9  28.1  1.0

 vocals 

 drums 

 bass 

 -12.3  -5.9  -18.3
 -7.6  -1.1  -6.6
 10.1  -1.7  -7.0
 0.7  3.8  5.8

 12.9  22.8  5.9
 14.2  10.0  36.2
 6.8  52.7  47.6
 8.0  8.5  0.9

 vocals 

 drums 

 -8.4  -11.1
 -4.4  -7.3
 6.7  5.5
 1.3  3.1

 13.7  23.0
 12.2  32.1
 43.7  46.0
 20.4  21.3

 vocals 

 drums 

 bass 

 piano 

 -12.5  -4.3  -13.2  -7.1
 -9.2  -0.2  -9.4  -3.3
 7.9  4.9  2.6  8.2
 4.0  1.1  8.5  1.2

 15.8  24.0  5.5  18.3
 18.1  27.5  64.5  1.8
 15.1  52.6  16.0  56.7
 24.0  8.6  12.5  6.8
Algorithm 5
Ricard Marxer and Jordi Janer
SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     

 vocals 

 3.6
 14.6
 Inf
 2.8

 25.9
 42.1
 62.1
 37.7

 vocals 

 2.5
 9.4
 Inf
 0.4

 17.7
 15.1
 73.6
 9.2

 vocals 

 drums 

 1.4  0.7
 4.5  3.0
 16.5  5.6
 -1.9  -3.8

 21.1  22.5
 2.6  24.6
 77.5  67.7
 1.7  4.8

 vocals 

 drums 

 0.9  -0.2
 3.5  1.6
 9.4  4.1
 -3.1  -5.9

 44.7  23.3
 0.2  58.9
 67.2  66.7
 0.2  1.0

 vocals 

 drums 

 3.7  -1.0
 10.3  2.1
 24.2  7.8
 2.4  -6.6

 16.6  25.2
 19.4  48.4
 71.9  69.1
 9.4  0.5
Algorithm 6
Alexey Ozerov and Emmanuel Vincent
SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     

 vocals 

 guitar 

 5.7  7.4
 9.6  12.7
 8.9  10.1
 9.0  11.6

 41.6  13.8
 59.9  70.8
 58.1  13.1
 53.4  79.8

 vocals 

 bass 

 piano 

 1.7  3.1  0.9
 9.6  5.2  1.4
 3.3  8.5  8.3
 4.3  2.0  -0.5

 25.6  22.1  19.8
 33.9  10.1  17.8
 19.0  49.0  32.7
 51.7  21.7  34.8

 vocals 

 drums 

 bass 

 3.8  2.1  -3.6
 8.6  4.5  10.7
 11.0  4.4  -3.4
 3.4  1.1  3.2

 17.3  27.8  9.4
 41.9  47.8  33.4
 8.8  25.4  40.5
 60.8  52.9  2.9

 vocals 

 drums 

 0.9  2.7
 2.5  4.8
 7.3  4.5
 -2.2  3.4

 17.9  28.9
 22.1  55.9
 6.8  20.6
 53.6  56.7

 vocals 

 drums 

 bass 

 piano 

 3.2  1.2  2.5  0.4
 10.2  3.6  8.0  2.0
 7.8  -0.2  3.0  2.1
 4.1  1.8  6.2  -2.1

 19.7  31.4  18.0  13.7
 27.8  60.2  6.6  26.0
 11.4  40.9  42.6  15.5
 51.7  41.6  17.4  46.1
Algorithm 7
Hiroshi Sawada
SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     

 vocals 

 guitar 

 4.1  5.7
 10.7  9.5
 6.3  9.9
 7.3  7.7

 41.6  50.1
 74.5  62.7
 61.2  69.0
 40.0  45.4
Algorithm 8
Antoine Liutkus
SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     

 vocals 

 bass 

 piano 

 2.2  6.0  -0.4
 7.7  11.2  2.3
 5.0  11.2  -0.8
 3.0  6.6  -1.6

 18.8  26.4  13.8
 28.0  23.3  14.1
 49.9  44.2  23.5
 34.1  28.3  26.9

 vocals 

 drums 

 bass 

 3.9  2.0  -2.6
 11.1  2.5  4.8
 9.5  10.8  -6.0
 3.9  0.9  3.6

 19.4  23.1  15.7
 35.1  31.9  5.4
 58.1  65.8  52.4
 32.5  16.1  1.8

 vocals 

 drums 

 1.8  1.1
 4.5  1.2
 9.5  12.3
 -0.9  0.7

 19.6  21.5
 21.7  13.9
 56.9  51.7
 27.4  7.9

 vocals 

 drums 

 bass 

 piano 

 4.2  2.0  4.5  -3.4
 7.5  2.5  16.1  5.9
 11.9  11.7  6.5  -3.1
 3.5  1.8  7.6  -1.1

 20.0  17.4  25.4  13.2
 29.8  13.8  17.0  60.2
 56.0  58.7  39.0  15.8
 33.7  3.0  31.3  30.2
STFT
Ideal Binary Mask
SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     

 vocals 

 guitar 

 10.1  11.8
 19.0  23.8
 21.9  20.3
 10.5  12.3

 33.0  50.6
 62.5  70.4
 76.6  67.5
 28.9  48.7

 vocals 

 bass 

 piano 

 5.8  7.9  1.6
 21.0  25.6  9.9
 18.7  16.8  18.8
 5.8  8.4  0.9

 24.2  20.6  22.4
 72.8  32.8  72.5
 68.7  90.0  66.0
 6.5  0.5  22.4

 vocals 

 drums 

 bass 

 5.6  6.4  2.0
 27.7  26.8  14.9
 26.6  21.5  25.3
 5.6  6.3  0.6

 29.7  27.7  26.7
 67.4  81.2  43.2
 64.7  73.3  87.8
 26.7  5.5  0.0

 vocals 

 drums 

 1.5  5.1
 18.6  26.9
 26.1  26.1
 0.9  5.1

 29.0  27.4
 85.7  86.1
 61.0  72.8
 6.3  2.8

 vocals 

 drums 

 bass 

 piano 

 7.8  7.3  8.2  0.7
 24.4  20.1  22.3  9.9
 18.1  21.9  20.8  14.4
 8.1  7.0  8.1  -0.9

 26.0  22.0  35.7  22.1
 57.4  54.0  33.0  40.2
 74.4  77.4  92.4  75.3
 14.4  0.3  0.0  4.6
Cochleagram
Ideal Binary Mask
SDRi (dB)
ISRi (dB)
SIRi (dB)
SARi (dB)

OPSi     
TPSi     
IPSi     
APSi     

 vocals 

 guitar 

 7.5  8.6
 14.5  14.6
 15.1  15.1
 8.1  9.8

 21.2  29.0
 47.8  40.4
 76.1  77.0
 14.2  30.7

 vocals 

 bass 

 piano 

 4.6  0.3  1.1
 16.6  0.5  6.9
 13.5  5.5  13.2
 4.8  -3.5  -0.0

 24.4  23.3  23.8
 32.8  5.5  15.3
 50.9  77.2  69.8
 10.3  9.3  11.2

 vocals 

 drums 

 bass 

 3.9  1.1  0.7
 24.0  2.9  3.0
 21.3  16.5  18.5
 3.8  -1.3  -4.2

 24.0  21.3  35.4
 30.6  31.7  2.1
 59.7  69.0  60.8
 26.7  6.6  0.4

 vocals 

 drums 

 1.4  1.6
 10.1  2.9
 18.8  18.7
 -0.0  1.6

 24.2  15.9
 53.0  42.8
 54.8  68.7
 6.3  3.5

 vocals 

 drums 

 bass 

 piano 

 6.1  1.5  1.6  0.4
 20.0  2.3  2.0  4.8
 13.1  16.5  11.0  11.1
 6.8  1.0  1.0  -3.7

 24.2  17.2  24.4  26.4
 26.1  22.2  9.1  3.6
 68.0  70.5  78.2  68.9
 16.4  3.7  5.4  3.6

All audio files are distributed under the terms different licenses, as listed below for each recodring:

Using these audio files for any purposes that are not scientific research is explicitly prohibited.