ارائه الگوریتمی جهت مطابقت نقاط با مختصات x,y

سلام
من در پروژه ارشد که مربوط به لب خوانی هستش نقاط بالا و پایین و چپ و راست لب رو در فیلم بدست آوردم و در حال حاضر دو عدد (ارتفاع لب y و عرض لب x) برای هر لحظه دارم.
مثلا برای هر حرف مجموعه نقاطی که مختصاتشون از ارتفاع و عرض لب ها بدست اومده دارم.
حالا چطور میتونم نقاط بدست اومده از فیلم رو با نقاطی که قبلا بدست آوردم تطبیق بدم. دوستان راهنمایی بفرمایید لطفا هر راه حلی به ذهنتون می رسه بفرمایید اگر راه حلی از الگوریتم های معروف مثل الگوریتم های شبکه عصبی باشه عالی میشه