Сделать такой эффект очень просто.

(1). Откройте новый документ. Выбирете инструмент "Прямоугольник со скругленными углами" (U).

(2). В зависимости от того как вы будете использовать этот элемент можно выбрать: слой фигура (создает маску вектора), контур или выполнить заливку пикселей (создает элемент с заливкой основного цвета).

(3). Выбирете геометрические параментры. Произвольно (вертикально или горизонтально, любой размер), квадрат, задать размер (размер фотографии, например, 10 х 15 см) или задать пропорции (1 к 3, 5 к 2 ... и т.д.)

(4). Теперь главный секрет... Выбирая радиус от 1 до 100 пикселей, можно добиться разного скругления углов.

(5) На примере элементы со скруглением 10, 25, 50, 75 и 100 пикселей...

Применить готовый шаблон можно как всегда с помощью обтравочной маски...

Вот и весь урок... Надеюсь оказался полезным