چطور کلمات تکراری رو از فایل متنی پاک کنم؟ [بایگانی]

41134100

سه شنبه 23 تیر 1388, 23:17 عصر

سلام
دنبال برنامه ای هستم که کلمات تکراری رو پاک کنه

relax_cp

چهارشنبه 24 تیر 1388, 02:24 صبح

منم بودم ولي كسي چيزي برام پيدا نكرد بجز اين مورد:
ببين به دردت مي خوره يه درد من كه نخورد. اگه چيز بهتري پيدا كردي براي من هم بفرست.

Mbt925

چهارشنبه 24 تیر 1388, 10:55 صبح

روش های که کاربران معمولی برای این روش استفاده می کنن، اصلا روش خوبی نیست.
چون

برای هر کلمه، کل فایل رو می گردن که بدترین کار ممکن هست.

یه روش بسیار عالی استفاده از جدول درهم سازی (Hash Table) هست. در این روش شروع کنید به خوندن کلمات موجود در فایل و هر کلمه ای که می خونید رو در جدول درهم سازی، هش کنید و مکانش رو پیدا کنید. سپس

- اگه اون کلمه قبلا در اون مکان قرار داده شده بود، پس این کلمه تکراری هست و دیگه جایی قرارش نمی دید.

در نهایت محتوایت جدول درهم سازی، دقیقا کلمات غیر تکراری فایل شماست.
البته می تونید به صورت موازی، یک فایل دیگه بازکرده و کلمات رو درش بنویسید.

41134100

چهارشنبه 24 تیر 1388, 12:49 عصر

روش های که کاربران معمولی برای این روش استفاده می کنن، اصلا روش خوبی نیست.
چون

برای هر کلمه، کل فایل رو می گردن که بدترین کار ممکن هست.

یه روش بسیار عالی استفاده از جدول درهم سازی (Hash Table) هست. در این روش شروع کنید به خوندن کلمات موجود در فایل و هر کلمه ای که می خونید رو در جدول درهم سازی، هش کنید و مکانش رو پیدا کنید. سپس

- اگه اون کلمه قبلا در اون مکان قرار داده شده بود، پس این کلمه تکراری هست و دیگه جایی قرارش نمی دید.

در نهایت محتوایت جدول درهم سازی، دقیقا کلمات غیر تکراری فایل شماست.
البته می تونید به صورت موازی، یک فایل دیگه بازکرده و کلمات رو درش بنویسید.

لطفا یه سمپل یا....... بدید

Mbt925

پنج شنبه 25 تیر 1388, 02:10 صبح

http://barnamenevis.org/forum/showpost.php?p=758013&postcount=335

vahid_visualbasic

جمعه 02 مرداد 1388, 01:48 صبح

با استفاده از distinct در کدهاتون میشه البته از نمایش تکراری ها جلوگیری میکنه