سلام
از using استفده کنید تا مطمن بشید که فایل بسته میشه:

            using(System.IO.FileStream fs =new System.IO.FileStream("FilePath",System.IO.FileMode  .OpenOrCreate))

            {

                //Do Here

                fs.Close();

            }



و اینکه اگه اون فایل رو با نرم افزار دیگهای (مثل Word و ...) باز می کنید باید هنگام بسته شدن و اجرای کد حذف فایل اون برنامه هم بسته شده باشه