Четкого алгоритма нет и быть не может - так как некоторые дизайны создаются на нарушениях правил. Есть некоторые правила (например о несочетании близколежащих в спектре цветов, правда, если это не градиент), но на них далеко не уедешь - нужен художественный вкус.