مبتدی: پردازش متن(خلاصه سازی) [بایگانی]

asefy2008

پنج شنبه 10 مرداد 1392, 11:23 صبح

سلام دوستان
یکی می تونه به من بگه مراحل ساخت یک خلاصه ساز متن چی هست و چطور می تونم اون رو بنویسم؟
متنم به زبان انگلیسی هست.
اگر توابع کتاب خونه ای و یا نمونه برنامه ای برای این مورد دوستان دارن، لطف کنن و قرار بدن بسیار ممنون میشم
اگر مطلب یا مقاله ای هم در اختیارم قرار بدن تا بتونم مراحل کار رو در کنم و یا حداقل یه دید کوچیک نسبت به این پروژه پیدا کنم ممنون میشم
دوستان از کمکهاشون هرچند کم دریغ نکنند

بسیار ممنون

مصطفی ساتکی

جمعه 18 مرداد 1392, 13:52 عصر

سلام.
شما بایستی (NLP( natural language processing رو شروع کنید در ضمن از Open Text Summarizer (http://sourceforge.net/projects/libots/) که open source هم هست می تونید استفاده کنید.

asefy2008

دوشنبه 04 آذر 1392, 18:45 عصر

asefy2008

دوشنبه 04 آذر 1392, 23:42 عصر

دوستان این قطعه کد با فایل xml بالا داره چه کار می کنه
public static Dictionary LoadFromFile(string DictionaryLanguage)
{
string dictionaryFile = string.Format(@"{1}\dics\{0}.xml", DictionaryLanguage,
Path.GetDirectoryName(Assembly.GetExecutingAssembl y().GetName().CodeBase).Substring(6));
if(!File.Exists(dictionaryFile))
{
throw new FileNotFoundException("Could Not Load Dictionary: " + dictionaryFile);
}
Dictionary dict = new Dictionary();
XElement doc = XElement.Load(dictionaryFile);
dict.Step1PrefixRules = LoadKeyValueRule(doc, "stemmer", "step1_pre");
dict.Step1SuffixRules = LoadKeyValueRule(doc, "stemmer", "step1_post");
dict.ManualReplacementRules = LoadKeyValueRule(doc, "stemmer", "manual");
dict.PrefixRules = LoadKeyValueRule(doc, "stemmer", "pre");
dict.SuffixRules = LoadKeyValueRule(doc, "stemmer", "post");
dict.SynonymRules = LoadKeyValueRule(doc, "stemmer", "synonyms");
dict.LinebreakRules = LoadValueOnlyRule(doc, "parser", "linebreak");
dict.NotALinebreakRules = LoadValueOnlyRule(doc, "parser", "linedontbreak");
dict.DepreciateValueRule = LoadValueOnlyRule(doc, "grader-syn", "depreciate");
dict.TermFreqMultiplierRule = LoadValueOnlySection(doc, "grader-tf");

List<string> unimpwords = new List<string>();
dict.UnimportantWords = new List<Word>();
unimpwords = LoadValueOnlySection(doc, "grader-tc");
foreach (string unimpword in unimpwords)
{
dict.UnimportantWords.Add(new Word(unimpword));
}
return dict;
}

private static List<string> LoadValueOnlySection(XElement doc, string section)
{
List<string> list = new List<string>();
IEnumerable<XElement> step1pre = doc.Elements(section);
foreach (var x in step1pre.Elements())
{
list.Add(x.Value);
}
return list;
}
private static Dictionary<string, string> LoadKeyValueRule(XElement doc, string section, string container)
{
Dictionary<string, string> dictionary = new Dictionary<string, string>();
IEnumerable<XElement> step1pre = doc.Elements(section).Elements(container);
foreach (var x in step1pre.Elements())
{
string rule = x.Value;
string[] keyvalue = rule.Split('|');
if (!dictionary.ContainsKey(keyvalue[0]))
dictionary.Add(keyvalue[0], keyvalue[1]);
}
return dictionary;
}

اصلا برای چی داره این فایل xml رو می خونه و هی قسمت های مختلفش رو از هم جدا می کنه.(متوجه شدم داره چی کار می کنه اما علتش رو نمی فهمم)