禁忌搜索演算法

出自 MBA智库百科(https://wiki.mbalib.com/)

禁忌搜索演算法（Tabu Search/Taboo Search，簡稱TS演算法）

　　禁忌搜索演算法（Tabu Search或Taboo Search，簡稱TS演算法）是一種全局性鄰域搜索演算法，模擬人類具有記憶功能的尋優特征。它通過局部鄰域搜索機制和相應的禁忌準則來避免迂迴搜索，並通過破禁水平來釋放一些被禁忌的優良狀態，進而保證多樣化的有效探索，以最終實現全局優化。

　　禁忌搜索（Tabu Search或Taboo Search，簡稱TS）的思想最早由Fred Glover(美國工程院院士，科羅拉多大學教授)提出，它是對局部領域搜索的一種擴展，是一種全局逐步尋優演算法，是對人類智力過程的一種模擬。TS演算法通過引入一個靈活的存儲結構和相應的禁忌準則來避免迂迴搜索，並通過藐視準則來赦免一些被禁忌的優良狀態，進而保證多樣化的有效探索以最終實現全局優化。相對於模擬退火和遺傳演算法，TS是又一種搜索特點不同的 meta-heuristic演算法。迄今為止，TS演算法在組合優化、生產調度、機器學習、電路設計和神經網路等領域取得了很大的成功，近年來又在函數全局優化方面得到較多的研究，並大有發展的趨勢。本章將主要介紹禁忌搜索的優化流程、原理、演算法收斂理論與實現技術等內容。

考慮最優化問題，對於X中每一個解x，定義一個鄰域N(x)，禁忌搜索演算法首先確定一個初始可行解x，初始可行解x可以從一個啟髮式演算法獲得或者在可行解集合X中任意選擇，確定完初始可行解後，定義可行解x的鄰域移動集s(x)，然後從鄰域移動中挑選一個能改進當前解x的移動，s(x)，再從新解x’開始，重覆搜索。如果鄰域移動中只接受比當前解x好的解，搜索就可能陷入迴圈的危險。為避免陷入迴圈和局部最優，構造一個短期迴圈記憶表——禁忌表(TabuList)，禁忌表中存放剛剛進行過的(稱為禁忌表長度)個鄰域移動，這些移動稱作為禁忌移動(Tabu Move)。對於當前的移動，在以後的T次迴圈內是禁止的，以避免回到原先的解，次以後釋放該移動。禁忌表是一個迴圈表，搜索過程中被迴圈的修改，使禁忌表始終保存著個移動。即使引入了一個禁忌表，禁忌搜索演算法仍有可能出現迴圈。因此必須給定停止準則以避免演算法出現迴圈。當迭代內所發現的最好解無法改進或無法離開它時，則演算法停止。

　　組合優化是TS演算法應用最多的領域。置換問題，如TSP、調度問題等，是一大批組合優化問題的典型代表，在此用它來解釋簡單的禁忌搜索演算法的思想和操作。對於 n元素的置換問題，其所有排列狀態數為n!，當n較大時搜索空間的大小將是天文數字，而禁忌搜索則希望僅通過探索少數解來得到滿意的優化解。

　　首先，我們對置換問題定義一種鄰域搜索結構，如互換操作（SWAP），即隨機交換兩個點的位置，則每個狀態的鄰域解有Cn2=n（n一1）/2個。稱從一個狀態轉移到其鄰域中的另一個狀態為一次移動（move），顯然每次移動將導致適配值（反比於目標函數值）的變化。其次，我們採用一個存儲結構來區分移動的屬性，即是否為禁忌“對象”在以下示例中：考慮7元素的置換問題，並用每一狀態的相應21個鄰域解中最優的5次移動（對應最佳的5個適配值）作為候選解；為一定程度上防止迂迴搜索，每個被採納的移動在禁忌表中將滯留3步（即禁忌長度），即將移動在以下連續3步搜索中將被視為禁忌對象；需要指出的是，由於當前的禁忌對象對應狀態的適配值可能很好，因此在演算法中設置判斷，若禁忌對象對應的適配值優於“ best so far”狀態，則無視其禁忌屬性而仍採納其為當前選擇，也就是通常所說的藐視準則（或稱特赦準則）。

　　可見，簡單的禁忌搜索是在領域搜索的基礎上，通過設置禁忌表來禁忌一些已經歷的操作，並利用藐視準則來獎勵一些優良狀態，其中領域結構、候選解、禁忌長度、禁忌對象、藐視準則、終止準則等是影響禁忌搜索演算法性能的關鍵。需要指出的是：

　　（1）首先，由於TS是局部領域搜索的一種擴充，因此領域結構的設計很關鍵，它決定了當前解的領域解的產生形式和數目，以及各個解之間的關係。

　　（2）其次，出於改善演算法的優化時間性能的考慮，若領域結構決定了大量的領域解（尤其對大規模問題，如TSP的SWAP操作將產生Cn2個領域解），則可以僅嘗試部分互換的結果，而候選解也僅取其中的少量最佳狀態。

　　（3）禁忌長度是一個很重要的關鍵參數，它決定禁忌對象的任期，其大小直接進而影響整個演算法的搜索進程和行為。同時，以上示例中，禁忌表中禁忌對象的替換是採用FIFO方式（不考慮藐視準則的作用），當然也可以採用其他方式，甚至是動態自適應的方式。

　　（4）藐視準則的設置是演算法避免遺失優良狀態，激勵對優良狀態的局部搜索，進而實現全局優化的關鍵步驟。

　　（5）對於非禁忌候選狀態，演算法無視它與當前狀態的適配值的優劣關係，僅考慮它們中間的最佳狀態為下一步決策，如此可實現對局部極小的突跳（是一種確定性策略）。

　　（6）為了使演算法具有優良的優化性能或時間性能，必須設置一個合理的終止準則來結束整個搜索過程。

　　此外，在許多場合禁忌對象的被禁次數（frequency）也被用於指導搜索，以取得更大的搜索空間。禁忌次數越高，通常可認為出現迴圈搜索的概率越大。

　　通過上述示例的介紹，基本上瞭解了禁忌搜索的機制和步驟。簡單TS演算法的基本思想是：給定一個當前解（初始解）和一種鄰域，然後在當前解的鄰域中確定若幹候選解；若最佳候選解對應的目標值優於“best so far”狀態，則忽視其禁忌特性，用其替代當前解和“best so far”狀態，並將相應的對象加入禁忌表，同時修改禁忌表中各對象的任期；若不存在上述候選解，則選擇在候選解中選擇非禁忌的最佳狀態為新的當前解，而無視它與當前解的優劣，同時將相應的對象加入禁忌表，並修改禁忌表中各對象的任期；如此重覆上述迭代搜索過程，直至滿足停止準則。

　　條理化些，則簡單禁忌搜索的演算法步驟可描述如下：

　　（1）給定演算法參數，隨機產生初始解x，置禁忌表為空。

　　（2）判斷演算法終止條件是否滿足？若是，則結束演算法並輸出優化結果；否則，繼續以下步驟。

　　（3）利用當前解工的鄰域函數產生其所有（或若幹）鄰域解，並從中確定若幹候選解。

　　（4）對候選解判斷藐視準則是否滿足？若成立，則用滿足藐視準則的最佳狀態y替代x成為新的當前解，即x=y，並用與y對應的禁忌對象替換最早進入禁忌表的禁忌對象，同時用y替換“best so far”狀態，然後轉步驟6；否則，繼續以下步驟。

　　（5）判斷候選解對應的各對象的禁忌屬性，選擇候選解集中非禁忌對象對應的最佳狀態為新的當前解，同時用與之對應的禁忌對象替換最早進入禁忌表的禁忌對象元素。

　　（6）轉步驟（2）。

　　與傳統的優化演算法相比，TS演算法的主要特點是：

　　（1）在搜索過程中可以接受劣解，因此具有較強的“爬山”能力；

　　（2）新解不是在當前解的鄰域中隨機產生，而或是優於“best so far”的解，或是非禁忌的最佳解，因此選取優良解的概率遠遠大於其他解。由於TS演算法具有靈活的記憶功能和藐視準則，並且在搜索過程中可以接受劣解，所以具有較強的“爬山”能力，搜索時能夠跳出局部最優解，轉向解空間的其他區域，從而增強獲得更好的全局最優解的概率，所以TS演算法是一種局部搜索能力很強的全局迭代尋優演算法。

　　禁忌搜索演算法是一種由多種策略組成的混合啟髮式演算法。每種策略均是一個啟髮式過程，它們對整個禁忌搜索起著關鍵的作用。禁忌搜索演算法一般由以下幾種策略組成:

　　(1)鄰域移動:鄰域移動是從一個解產生另一個解的途徑。它是保證產生好的解和演算法搜索速度的最重要因素之一。鄰域移動定義的方法很多，對於不同的問題應採用不同的定義方法。通過移動，目標函數值將產生變化，移動前後的目標函數值之差，稱之為移動值。如果移動值是非負的，則稱此移動為改進移動;否則稱作非改進移動。最好的移動不一定是改進移動，也可能是非改進移動，這一點就保證搜索陷入局部最優時，禁忌搜索演算法能自動把它跳出局部最優。

　　(2)禁忌表:不允許恢復即被禁止的性質稱作Tabu。禁忌表的主要目的是阻止搜索過程中出現迴圈和避免陷入局部最優，它通常記錄前若幹次的移動，禁止這些移動在近期內返回。在迭代固定次數後，禁忌表釋放這些移動，重新參加運算，因此它是一個迴圈表，每迭代一次，將最近的一次移動放在禁忌表的末端，而它的最早的一個移動就從禁忌表中釋放出來。為了節省記憶時間，禁忌表並不記錄所有的移動，只記錄那些有特殊性質的移動，如記載能引起目標函數發生變化的移動。禁忌表記載移動的方式主要有三種:*記錄目標值；*移動前的狀態；*移禁忌搜索演算法在冷藏供應鏈配送網路中的應用研究動本身。

　　禁忌表是禁忌搜索演算法的核心，禁忌表的大小在很大程度上影響著搜素速度和解的質量。如果選擇的好，可有助於識別出曾搜索過的區域。實驗表明，如果禁忌表長度過小，那麼搜索過程就可能進入死迴圈，整個搜索將圍繞著相同的幾個解徘徊;相反，如果禁忌表長度過大，那它將在相當大的程度上限制了搜索區域，好的解就有可能被跳過，同時，不會改進解的效果而增加演算法運算時間。因此一個好的禁忌表長度應該是儘可能小卻又能避免演算法進入迴圈。禁忌表的這種特性非常類似於“短期記憶”，因而人們把禁忌表稱作短期記憶函數。

　　禁忌表另一個作用是通過調整禁忌表的大小使搜索發散或收斂。初始搜索時，為提高解的分散性，擴大搜索區域，使搜索路徑多樣化，經常希望禁忌表長度小。

　　相反當搜索過程接近最優解時，為提離解的集中性，減少分散，縮小搜索區域，這時通常希望禁忌表長度大。為達到這樣的目的，最近越來越多的人們允許禁忌表的大小和結構隨搜索過程發生改變，即使用動態禁忌表，實驗結果表明瞭動態禁忌表往往比固定禁忌表獲得更好的解。

　　(3)選擇策略:選擇策略即擇優規則，是對當前的鄰域移動選擇一個移動而採用的準則。擇優規則可以採用多種策略，不同的策略對演算法的性能影響不同。一個好的選擇策略應該是既保證解的質量又保證計算速度。當前採用最廣泛的兩類策略是最好解優先策略(Bestlmprovedstrategy)和第一個改進解優先策略(FirstImProvedstrategy)。最好改進解優先策略就是對當前鄰域中選擇移動值最好的移動產生的解，作為下一次迭代的開始。而第一個改進解優先策略是搜索鄰域移動時選擇第一改進當前解的鄰域移動產生的解作為下一次迭代的開始。最好改進解優先策略相當於尋找最陡的下降，這種擇優規則效果比較好，但是它需要更多的計算時間;而最快的下降對應尋找第一個改進解的移動，由於它無需搜索整個一次鄰域移動，所以它所花計算時間較少，對於比較大的鄰域，往往比較適合。

　　(4)破禁策略:破禁策略通常指渴望水平(Aspiration)函數選擇，當一個禁忌移動在隨後}T}次的迭代內再度出現時，如果它能把搜索帶到一個從未搜索過的區域，則應該接受該移動即破禁，不受禁忌表的限制。衡量標準就是定義一個渴望水平函數，渴望水平函數通常選取當前迭代之前所獲得的最好解的目標值或此移動禁忌時的目標值作為渴望水平函數。

　　(5)停止規則:在禁忌搜索中停止規則通常有兩種，一種是把最大迭代數作為停止演算法的標準，而不以局優為停止規則;另一種是在給定數目的迭代內所發現的最好解無法改進或無法離開它時，演算法停止。

　　(6)長期表:短期記憶用來避免最近所作的一些移動被重覆，但是在很多的情況下短期記憶並不足以把演算法搜索帶到能夠改進解的區域。因此在實際應用中常常短期記憶與長期記憶相結合使用，以保持局部的強化和全局多樣化之間的平衡，即在加強與好解有關性質的同時還能把搜索帶到未搜索過的區域。

　　(7)在長期記憶中，頻率起著非常重要的作用，使用頻率的目的就是通過瞭解同樣的選擇在過去做了多少次來重新指導局部選擇。當在非禁忌移動中找不到可以改進的解時用長期記憶更有效。

　　目前長期記憶函數主要有兩種形式，一種通過懲罰的形式，即用一些評價函數來懲罰在過去的搜索中用得最多或最少的那些選擇，並用一些啟發方法來產生新的初始點。用這種方式獲得的多樣性可以通過保持懲罰一段時間來得到加強，然後取消懲罰，禁忌搜索繼續按照正常的評價規則進行。另一種形式採用頻率矩陣，使用兩種長期記憶，一種是基於最小頻率的長期記憶，另一種是基於最大頻率的長期記憶。通過使用基於最小頻率的長期記憶，可以在未搜索的區域產生新的序列;而使用基於最大頻率的長期記憶，可以在過去的搜索中認為是好的可行區域內產生不同的序列。在整個搜索過程中頻率矩陣被不斷的修改。^[3]