تجمیع لغات موجود در چند فایل متنی در یک فایل و حذف لغات تکراری

[Fahime_FM]

با سلام
من چندین فایل تکست دارم که می خوام لغات موجود در اونا رو در یک فایل متنی جدید وارد کنم و البته نمیخوام در فایل جدید، لغات تکراری باشند. در واقع میخوام vocabulary یا واژگان موجود در کل این فایل ها رو یک فایل جدید متنی داشته باشم
ممنون میشم کمکم کنید

[rahnema1]

سلام
اگه یک رشته داشته باشید می تونید به این صورت کلمه های غیر تکراری از اون را پیدا کنید

s='this is a test document this'
s1=unique(strsplit(s,' '))