نوشته شده توسط
amsjavan
سلام آقا نیما
نیازی به این کار نبود، پارامتر stop_words میتونه یک لیستی از کلمات رو هم دریافت کنه و اونها رو به عنوان ایست واژه درنظر بگیره.
درضمن ترجمه ایست واژه های انگلیسی و قرار دادن آن به عنوان ایست واژه های فارسی خیلی کار درستی نیست چون کاربردشون فرق میکنه. ایست واژه ها کلمات متدوال هر زبانی هستند که خیلی به بار معنایی سند مورد نظر کمکی نمی کنند مثل حروف ربط و معمولا حذف آنها در اکثر مسائل باعث افزایش دقت مدل و کاهش فضای ذخیره سازی و بار محساباتی می شود اما همیشه هم حذف این ها باعث افزایش دقت مدل نمیشه و در بعضی مسئله ها مثل عقیده کاوی، نباید حذف بشوند.