Ni idea si te sirve, pero en photoshop haría un rectángulo con puntas redondeadas, lo seleccionaría y haría un invert de la selección. Iría al layer de la imagen que quiero redondear y borraría todo.