چطور کلمات تکراری رو از فایل متنی پاک کنم؟

[41134100]

سلام
دنبال برنامه ای هستم که کلمات تکراری رو پاک کنه

[relax_cp]

منم بودم ولي كسي چيزي برام پيدا نكرد بجز اين مورد:
ببين به دردت مي خوره يه درد من كه نخورد. اگه چيز بهتري پيدا كردي براي من هم بفرست.

[Mbt925]

روش های که کاربران معمولی برای این روش استفاده می کنن، اصلا روش خوبی نیست.
چون

برای هر کلمه، کل فایل رو می گردن که بدترین کار ممکن هست.


یه روش بسیار عالی استفاده از جدول درهم سازی (Hash Table) هست. در این روش شروع کنید به خوندن کلمات موجود در فایل و هر کلمه ای که می خونید رو در جدول درهم سازی، هش کنید و مکانش رو پیدا کنید. سپس

- اگه اون کلمه قبلا در اون مکان قرار داده شده بود، پس این کلمه تکراری هست و دیگه جایی قرارش نمی دید.

در نهایت محتوایت جدول درهم سازی، دقیقا کلمات غیر تکراری فایل شماست.
البته می تونید به صورت موازی، یک فایل دیگه بازکرده و کلمات رو درش بنویسید.

[41134100]

روش های که کاربران معمولی برای این روش استفاده می کنن، اصلا روش خوبی نیست.
چون

برای هر کلمه، کل فایل رو می گردن که بدترین کار ممکن هست.


یه روش بسیار عالی استفاده از جدول درهم سازی (Hash Table) هست. در این روش شروع کنید به خوندن کلمات موجود در فایل و هر کلمه ای که می خونید رو در جدول درهم سازی، هش کنید و مکانش رو پیدا کنید. سپس

- اگه اون کلمه قبلا در اون مکان قرار داده شده بود، پس این کلمه تکراری هست و دیگه جایی قرارش نمی دید.

در نهایت محتوایت جدول درهم سازی، دقیقا کلمات غیر تکراری فایل شماست.
البته می تونید به صورت موازی، یک فایل دیگه بازکرده و کلمات رو درش بنویسید.

لطفا یه سمپل یا....... بدید

[Mbt925]

https://barnamenevis.org/showpost.php?p=758013&postcount=335

[vahid_visualbasic]

با استفاده از distinct در کدهاتون میشه البته از نمایش تکراری ها جلوگیری میکنه