من فکر کردم که شما یک دکمه برای حذف دارید نه اینکه به ازای هر رکورد یک دکمه
اما برای این کار م تونید از کد زیر استفاده کنید

Protected Sub GridView1_RowCreated(ByVal sender As Object, ByVal e As System.Web.UI.WebControls.GridViewRowEventArgs) Handles GridView1.RowCreated
If (e.Row.RowType = ListItemType.Item) Or (e.Row.RowType = ListItemType.AlternatingItem) Then
Dim ButtDel As Button = CType(e.Row.Cells(6).Controls(1), Button)
ButtDel.OnClientClick = "return confirmDelete();"

End If
End Sub

یه تستی بزنید.