第02講優化決策理論與方法(編輯修改稿)

　

【文章內容簡介】 為線性約束（稱為線性約束的優化問題， LCO）。v 可行方向法的基本思想 ：當某個可行方向同時也是目標函數的下降方向時，沿此方向移動一定會在滿足可行性的情況下改進迭代點的目標函數值。決策理論與方法 優化決策理論與方法約束非線性規劃 — 可行方向法x1x2決策理論與方法 優化決策理論與方法約束非線性規劃 — 可行方向法v LCO問題： Min f(x) . aiTx?bi, i?I ajTx=bj, j??v 設 x0是 LCO的一個可行解，若 d是可行域在 x0點的 可行方向 ，則 d滿足 AI(x0)d?0(I(x0)={i|aiTx0=bi,i?I})，A?d=0。v 設 x0是 LCO的一個可行解，若 d是可行域在 x0點的 下降方向 ，則 d滿足 dT?f(x0)0。決策理論與方法 優化決策理論與方法約束非線性規劃 — 可行方向法v Zoutendijk可行方向法：其核心思想是通過求解下列線性規劃問題，在可行方向的某個范圍內獲得目標函數的最速下降方向。Min dT?f(x0). AI(x0)d?0, I(x0)={i|aiTx0=bi,i?I} A?d=0 ||d||∞?1v 可以證明：當 x0取得 KKT點時當且僅當 dT?f(x0)的最優值為零。決策理論與方法 優化決策理論與方法約束非線性規劃 — 序列無約束化法v 求解約束優化的一類重要方法是用一個無約束優化問題的序列 逼近 約束優化問題，通過無約束優化問題的最優解序列逼近約束優化問題的最優解。v 基本思想： 將約束條件通過某種轉換與目標函數合并形成一個無約束優化問題。這種轉換隱含著某種懲罰，即 x偏離約束條件越遠，受到的懲罰越大。因此也將此類方法稱為 罰函數法 ，所形成的無約束優化函數成為 罰函數 。決策理論與方法 優化決策理論與方法約束非線性規劃 — 序列無約束化法v 二次罰函數法 ：? 罰函數：? 其中 (gi)=max{0,gi}， ?稱為罰參數，且當 ?→0 時， Q(x,?)的極小值趨于 f(x)的極小值。決策理論與方法 優化決策理論與方法約束非線性規劃 — 序列無約束化法v 例 ： min f=x1+x2 . x1x22=0v 解：對于 ?0，定義二次罰函數Min Q(x,?)=x1+x2+(2?)1(x1x22)2Q’x1=1+(x1x22)/?=0Q’x2=12x2(x1x22)/?=0解得： x?*=(1/4?,1/2)T, Q*=1/4?/2當 ?→0 時得， x*=(1/4,1/2)T, f*=1/4決策理論與方法 優化決策理論與方法約束非線性規劃 — 序列無約束化法v 對數障礙函數法 ：? 障礙函數：? 其中 ?稱為障礙參數，且當 ?→0 時， P(x,?)的極小值趨于f(x)的極小值。? 該方法的適用性： COP問題僅包含不等式約束函數，且可行域存在內點。即 S0={x|g(x)0}≠?決策理論與方法 優化決策理論與方法約束非線性規劃 — 序列無約束化法v 例 ： min{f=x/2|x?1}v 解：構造對數障礙函數 P(x,?)=x/2?ln(x1)? P’x=1/2?/(x1)=0，得 x?*=1+2?， P*=1/2+??ln2?? 當 ?→0 時得 x*=1， f*=1/2決策理論與方法 優化決策理論與方法二次規劃 — 標準型v 若有約束非線性規劃的目標函數是決策變量 x的二次函數且所有約束均為線性約束，稱此類非線性規劃問題為二次規劃 (Quadratic Programming, QP)問題。其標準型為：決策理論與方法 優化決策理論與方法二次規劃 — 標準型v 其中 Q=QT?Rnn（ n階對稱方陣）；以 aiT(i?I)為行向量的矩陣記為 AI?RIn；以 ajT(j??)為行向量的矩陣記為 A??R?n；對應的向量記為 bI, b?。若目標函數的 Hesse矩陣 Q是半正定 (或正定 )的，則 QP問題為 (嚴格 )凸二次規劃 (CQP)。我們僅討論凸二次規劃問題，因為非凸二次規劃的 Q存在負特征根，求解很困難。決策理論與方法 優化決策理論與方法二次規劃 — 極小點存在條件v 充要條件? 可行點 x*是 QP問題的局部極小點當且僅當 x*為一個 KKT點且對于任意非零可行方向 d，有 dTQd?0。? 對于凸二次規劃， x*為全局極小點當且僅當 x*為局部極小點，當且僅當 x*為 KKT點。? 二次規劃的 KKT定理形式為：Qx*+c=AIT?*+A?T?*(AIx*bI)?*=0v 二次規劃的求解本質上就是求解上述 KKT方程。決策理論與方法 優化決策理論與方法約束非線性規劃 — SQP法v 對于非線性約束優化 (COP)問題，v 若 x*是 COP問題的一個局部最優解，則它對應一個純等式約束優化問題決策理論與方法 優化決策理論與方法約束非線性規劃 — SQP法v 因此如果事先知道積極約束指標集，那么帶有不等式約束優化問題就可以轉化為純等式約束優化問題，并可用準牛頓法求解，這就是逐次二次規劃(Sequential Quadratic Programming， SQP)法。v 基本思想 ：在迭代點處構造一個二次規劃子問題，近似原來的約束優化問題；然后通過求解該二次規劃子問題獲得約束優化問題的一個改進迭代點；不斷重復此過程，直到求出滿足一定要求的迭代點。決策理論與方法 優化決策理論與方法約束非線性規劃 — SQP法v 對于等式約束優化問題Min f(x). h(x)=0v 拉格朗日函數記為 L(x,?)=f(x)?Th(x)v 則 ?L(x,?)=(?f(x)?h(x)?, h(x))T=0，顯然問題的最優解(x*,?*)滿足此式。v 設 (xk,?k)是第 k次迭代結果，根據牛頓法，有：決策理論與方法 優化決策理論與方法約束非線性規劃 — SQP法v 上述迭代過程等價于如下的二次規劃的迭代。設給定迭代點(xk,?k)，則決策理論與方法 優化決策理論與方法約束非線性規劃 — Matlab函數應用v Optimization ToolBoxMin f(x). c(x)?0 ceq(x)=0 Ax?b Aeqx=beq lb?x?ubv [x,fval] = fmincon(fun,x0,A,b,Aeq,beq,lb,ub,nonlcon)v fun定義目標函數 ,x0定義初始可行解， nonlcon定義 c(x)和ceq(x)。決策理論與方法 優化決策理論與方法約束非線性規劃 — Matlab函數應用v 用法? 創建一個 matlab文件，如 function f = myfun(x)f = f(x)。? 創建另一個 matlab文件，如 function [c, ceq] = confun(x)c = c(x)。 ceq = ceq(x)。? 調用 fmincon并指定初始搜索點以及其他向量、矩陣。x0=[x1,x2,…,xn]。A。b。Aeq。beq。lb。ub。[x,fval]=fmincon(myfun,x0,A,b,Aeq,beq,lb,ub,confun)決策理論與方法 優化決策理論與方法約束非線性規劃 — Matlab函數應用v 例 ： min f(x)=ex1(4x12+2x22+4x1x2+2x2+1) . x1x2x1x2? x1x2?10v 解 ：? 創建一個 matlab文件，如 function f = myfun(x)f =exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+2*x(2)+1)。? 創建另一個 matlab文件，如 function [c, ceq] = confun(x)c = [ + x(1)*x(2) x(1) x(2)。 x(1)*x(2) 10]。ceq = []。決策理論與方法 優化決策理論與方法約束非線性規劃 — Matlab函數應用? 調用有約束非線性規劃函數x0 = [1,1]。 % Starting guessoptions = optimset(39。LargeScale39。,39。off39。)。[x,fval]=fmincon(objfun,x0,[],[],[],[],[],[],confun,options)? 運行結果 ：x =[ ]fval =iterations: 8algo