У меня для этой цели отрабатывает простой экшн: копия исходного слоя конвертируется в градации серого через black/white (в зависимости от цветов сюжета может использоваться тот или иной пресет, я обычно беру зеленый канал, как самый качественно деталированный), по нему отрабатывает хай пасс с нужным радиусом, результат полируется кривой опр. формы и выставляется режим наложения софт лайт.