پردازش متن والگوریتم ان

[mf_engineer]

باسلام خدمت شما دوستان عزیز
سال نو مبارک:لبخن� �ساده:

لطفا اگه دوستان مقاله و یا مطلبی در مورد پردازش متن و الگوریتم ان دارند رو برام بذارند
ویا اگه سایت ومنبع دیگری رو سراغ دارین ممنون می شم بهم معرفی کنین
با تشکر قبلی

[aminfarajian]

سلام دوست عزيز.
پردازش متن (Text Processing) كه يكي از زيرشاخه هاي پردازش زبان طبيعي (Natural Language Processing) محسوب ميشه يكي از زمينه هاي گسترده هوش مصنوعيه. پردازش زبان طبيعي كه كلي تر از پردازش متنه شامل هر موضوعي ميشه كه به زبان انسان مرتبط ميشه (مانند: تشخيص گفتار(speech recognition)، تشخيص گوينده (speaker recognition)،سنتز گفتار (Speech Synthesis)يا همون تبديل متن به گفتار (Text to speech)، ترجمه گفتار به گفتار (Speech to Speech Translation)، درك احساسات از روي گفتار يا نوشتار (Emotion Analysis ) و خيلي موارد ديگه).
اما پردازش متن دقيقا شامل مواردي ميشه كه با متن سر و كار دارن (يه جورايي توي هر كدوم از زمينه هاي بالا ريزتر ميشيم و با جزييات بيشتر بررسي مي كنيم). به عنوان مثال مسائلي مثل تحللي معنايي جملات، تشخيص زبان يك متن، ترجمه ماشيني، ريخت شناسي (Morphology Analysis)، برچسب گذاري معنايي (Part of Speech Tagging)، دسته بندي محتوايي متون، خلاصه سازي متون، رفع ابهام كلمات و ...
راجع به هر كدوم از اين موضوعات كه توي google بگردي كلي مطلب ميتوني پيدا كني كه البته بيشترشون انگليسين. اگه خواستي تعدادي كتاب و مقاله انگليسي هم در اين زمينه ها دارم كه ميتونه كمكت كنه.

[asefy2008]

دوستمون تقریبا کامل توضیح دادن من هم چند تا سایت معرفی می کنم :

www.code.google.com
www.codeproject.com
http://artificial.ir/intelligence

[aminfarajian]

با سلام مجدد.
يه سري منبع برات ميذارم اميدوارم كه براي شما و بقيه دوستان مفيد باشه:
كتاب Natural Language Processing with Python
كتاب بسيار عالي و خوبيه براي تازه كاران و افراد در سطح متوسط.
سايت شخصي آقاي Philipp Koehn كه در حال حاضر جزء برترين افراد در زمينه ماشين ترجمه آماريه. ضمنا بد نيست بدوني ايشون يكي از مديران تيم توليد ماشين ترجمه گفتار به گفتار انگليسي-فارسي Transonics بوده:
http://www.iccs.informatics.ed.ac.uk/~pkoehn/
ايشون مطالب آموزشي مربوط به 3 درس رو كه خودش در دانشگاه ادينبورگ تدريس ميكنه، گذاشته كه ميتونه خيلي مفيد باشه.
دانشگاه MIT هم يه دوره آموزشي آزاد با نام MIT Open CourseWare گذاشته بود كه توي اون برنامه يه درس هم با نام Natural Language Processing داشت. يادمه خانم دكتر مهرنوش شمس فرد از دانشگاه شهيد بهشتي، اومده بود و مطالب مربوط به اين درس رو ترجمه كرده بود و روي سايت دانشگاه قرار داده بود. من اين اسلايدها رو 2 سال پيش دانلود كردم ولي هرچي ميگردم الان پيداشون نميكنم. شما يه سري به google عزيز بزن شايد پيدا كردي.
كتاب Jurafsky و Martin هم ميگن كتاب خوبيه.اسمش اينه:
Speech and Language Processing: An introduction to natural language processing, computational linguistics, and speech recognition
واقعيتش اينه كه من خودم فرصت نكردم بخونمش. آخرين ويرايشش رو چند هفته پيش دانلود كردم اگه خواستي بگو كه اون رو برات بفرستم.

دوست عزيز منبع در اين مورد بسيار زياده و با يه search ساده توي اينترنت به راحتي ميتوني كلي منبع گير بياري. اينا چند تا منبعي بود كه من خودم استفاده كرده بودم. مطمئنا خيلي بيشتر از اينا ميتوني گير بياري.
يكي از بهترين كارايي كه ميتوني بكني اينه كه بري توي سايت هاي استاداي اين زمينه و مطالب آموزشيشون رو دانلود كني و مطالعه كني.
اگه باز امري بود بنده در خدمتم.