چرا علامت @ را نذاشتی؟ گفتم به شما که

[x1, fx1]=fmincon(@f,Q,[],[],[],[],lb,ub);