Pari_Programmer
سه شنبه 14 اردیبهشت 1389, 20:54 عصر
سلام دوستان
من چند وقتيه كه به پردازش متن خيلي علاقمند شدم اما توي برنامه نويسيش خيلي مشكل دارم.
يكي از مسائلي كه تازگي ها بهش برخوردم چگونگي محاسبه ngramها هستش.
مسئله ما اينه كه يه متن بسيار بزرگ داريم. كه مثلا يه جمله از اون اين طوريه:
this sentence is a test one. I wrote this sentence just for fun.
مثلا ميخوايم 2gram هاي اين جمله رو به همراه تعداد تكرار اونها محاسبه كنيم. خروجي اين ميشه:
this , sentence , 2
sentence , is , 1
is , a , 1
a , test, 1
test , one , 1
.
.
.
الا آخر.
از لحاظ تئوري انجامش راحته. كلمه به كلمه متن رو ميخونيم. به ازاري هر كلمه اي كه خونديم كل متن رو از اول تا انتها نگاه ميكنيم و هر بار كه اين كلمه رو ديديم، اون رو به همراه كلمه بعديش يه جا ذخيره ميكنيم.
اما مشكل اينجاست كه وقتي واسه يه 2gram مثلا this و sentence اين مقدار محاسبه شد. دفعه بعد كه توي متن اين 2gram رو ديديم ديگه نبايد محاسبش بكنيم.
شما چه راهي پيشنهاد ميكنين؟ يه راه اينه كه هر كلمه اي رو كه ديديم اون رو حذف كنيم كه مجددا محاسبه نشه. اما اين راه درستي نيست.
چيكارش بايد بكنم؟ الان چند روزه كه درگيرشم. ديگه دارم قاط ميزنم.:عصبانی++: :گریه:
من چند وقتيه كه به پردازش متن خيلي علاقمند شدم اما توي برنامه نويسيش خيلي مشكل دارم.
يكي از مسائلي كه تازگي ها بهش برخوردم چگونگي محاسبه ngramها هستش.
مسئله ما اينه كه يه متن بسيار بزرگ داريم. كه مثلا يه جمله از اون اين طوريه:
this sentence is a test one. I wrote this sentence just for fun.
مثلا ميخوايم 2gram هاي اين جمله رو به همراه تعداد تكرار اونها محاسبه كنيم. خروجي اين ميشه:
this , sentence , 2
sentence , is , 1
is , a , 1
a , test, 1
test , one , 1
.
.
.
الا آخر.
از لحاظ تئوري انجامش راحته. كلمه به كلمه متن رو ميخونيم. به ازاري هر كلمه اي كه خونديم كل متن رو از اول تا انتها نگاه ميكنيم و هر بار كه اين كلمه رو ديديم، اون رو به همراه كلمه بعديش يه جا ذخيره ميكنيم.
اما مشكل اينجاست كه وقتي واسه يه 2gram مثلا this و sentence اين مقدار محاسبه شد. دفعه بعد كه توي متن اين 2gram رو ديديم ديگه نبايد محاسبش بكنيم.
شما چه راهي پيشنهاد ميكنين؟ يه راه اينه كه هر كلمه اي رو كه ديديم اون رو حذف كنيم كه مجددا محاسبه نشه. اما اين راه درستي نيست.
چيكارش بايد بكنم؟ الان چند روزه كه درگيرشم. ديگه دارم قاط ميزنم.:عصبانی++: :گریه: