發(fā)布時間：2024-05-31 03:41

　　在異構Macro-femto蜂窩網絡中,隨著日益增長的用戶數量使得基站能耗問題變得更加嚴峻,提升整個移動系統能效的有效方式就是進行基站休眠。根據無模型理論提出一種基于Sarsa學習的動態(tài)基站休眠算法,算法通過基站學習環(huán)境中的用戶流量,制定合理的休眠機制。仿真結果表明,提出的基于Sarsa學習的基站休眠算法能夠有效提升系統能效。

【文章頁數】：8 頁

【部分圖文】：

圖1全雙工異構蜂窩網絡場景

本文的系統模型是建立在全雙工雙層異構蜂窩網絡的基礎上,由宏基站(macrobasestation,MBS)和K個家庭基站(femtobasestations,FBS)組成,如圖1。為了保證覆蓋,MBS一直處于工作狀態(tài);FBS有2種模式,工作狀態(tài)或者休眠狀態(tài)。當FBS處....

圖2強化學習模型

強化學習模型如圖2,Agent通過感知環(huán)境,形成內部狀態(tài)集S,從初始狀態(tài)s出發(fā),通過貪婪算法選擇動作a并作用于環(huán)境,環(huán)境通過動作的觸發(fā)轉移到下一個狀態(tài)s′,并獲得立即收益,不斷地學習并進行狀態(tài)轉移,得到每個狀態(tài)-動作對的累積收益值,從而使Agent在每個狀態(tài)的累積收益值中選擇最大....

圖3Sarsa學習框架

圖3為基站與環(huán)境的學習過程,可以建模為4元組[s(t),a(t),R(s,a),s′(t)],t表示離散時間。基站在狀態(tài)s(t)時,通過行為決策a(t),有些基站會選擇休眠,其服務的用戶會進行重關聯使得每個基站的狀態(tài)即用戶數發(fā)生改變,進而轉移到狀態(tài)s′(t),計算在狀態(tài)s′(t)....

圖4系統平均能效隨FBS用戶傳輸功率變化圖

圖4描述了FBS用戶傳輸功率Pu對3種算法的系統平均能效的影響。圖4中可以看出,3種算法的系統平均能效隨著FBS用戶傳輸功率Pu的增大而減小。其主要原因是:根據(7)式可知,FBS用戶傳輸功率Pu的增大會導致上行信道系統容量的減小,而(7)式中表明系統能效與上行信道的系統容量....

本文編號：3985096