واسه اینه که شما OR میکنید نه And و وقتی backspace میزنی چون عدد نیست دستورات اجرا میشن
استفاده از OR در صورتی که از عملگر نقیض استفاده کنیم همون عمل رو انجام میده هیچ فرقی نداره .
این کد کار کرد .


if (!(char.IsDigit(e.KeyChar)) && !(char.IsControl(e.KeyChar))&& !(e.KeyChar!=(char)Keys.Back))

                e.Handled = true;