برای این کار دو راه هست.
1- خودت بنویسی . مثل کد زیر :
var r:hrgn;
begin
// baray boridan goshe form
r:=CreateEllipticRgn(-15,-15,width+15,height+15);
setwindowrgn(handle,r,true);
// baray bargardandan be halat aady
setwindowrgn(handle,0,true);
deleteobject(r);

2- استفاده از کامپوننت Tabcshapform که جزو ABC است .