تجمیع لغات موجود در چند فایل متنی در یک فایل و حذف لغات تکراری [بایگانی]

Fahime_FM

یک شنبه 07 اردیبهشت 1393, 18:27 عصر

با سلام
من چندین فایل تکست دارم که می خوام لغات موجود در اونا رو در یک فایل متنی جدید وارد کنم و البته نمیخوام در فایل جدید، لغات تکراری باشند. در واقع میخوام vocabulary یا واژگان موجود در کل این فایل ها رو یک فایل جدید متنی داشته باشم
ممنون میشم کمکم کنید

rahnema1

دوشنبه 08 اردیبهشت 1393, 00:15 صبح

سلام
اگه یک رشته داشته باشید می تونید به این صورت کلمه های غیر تکراری از اون را پیدا کنید

s='this is a test document this'
s1=unique(strsplit(s,' '))