Разница ОЧЕНЬ существенна. Если у вас есть запрос, в котором в WHERE стоят два поля, например:
WHERE a=1 AND b=2, то при наличии составного индекса (a, b) выборка будет более эффективной, чем при наличии двух отдельных индексов. Более того, для приведнного запроса при наличии двух отдельных индексов, индекс по полю b использоваться вообще не будет.