باسلام.
مقادیر داخل وب کانفیگ قابل تغییر هستند. اما توجه داشته باشید که اگه به هر دلیلی فایل وب کانفیگ تغییر کنه Application Pool دوباره راه اندازی خواهد شد.
var configuration = WebConfigurationManager.OpenWebConfiguration("~");
var section = (ConnectionStringsSection)configuration.GetSection ("connectionStrings");
section.ConnectionStrings["MyConnectionString"].ConnectionString = "Data Source=...";
configuration.Save();