部分高階退伍將領熱衷至大陸參與交流活動，但不時有言論、舉止傷害台灣軍人愛國形象的案例。退輔會表示，對此將研擬修正輔導條例，依法研議「停止領受」全部或部分退休、退職、退伍的給與權利，並增列停止退除役官兵輔導安置，及其應享權益的事由。
監察院於2023年12月就指出，海軍退役少將夏復翔涉引介國軍退役將領，赴大陸接受落地招待及發展組織，高雄地院已認定其違反《國家安全法》。國軍退役將領雖已不具軍人身分，但其不法與不當行為，仍嚴重傷害國軍形象，並將危害國家安全，該院要求國防部與退輔會切實檢討改進
退輔會向立法院提出的預算解凍報告指出，近期新聞報導退除役軍官兵與大陸大陸人士接觸，或做民間交流，有些行為、作態已對國家尊嚴造成不良影響，嚴重影響社會視聽，讓國人對退將、退伍人士產生誤解，進而導致社會對軍人正義、英勇的愛國形象產生質疑。
退輔會提醒，退伍軍人社團赴大陸民間交流活動，應秉持不接受媒體訪問、不得發表政治性言論、不得被媒體報導的原則。讓統戰無以運作機會。
退輔會表示，國軍人員退伍後與國家在公法上關係，還是有特殊的忠誠與義務，尤其，中共從不放棄以武力侵犯我國的企圖，退伍軍人與對岸接觸、交流時，應有危機、敵我意識，在言行上，應時刻以捍衛國家主權及維護民主自由為念。
退輔會指出，截至今年1月31日止，辦理違反《國安法》的退除役官兵應收繳退除給與計19人，其中9人已返還完畢；其餘10人部分或全部未返還，均已移送法務部行政執行署執行中，並定期函請國稅局提供債務人最新綜合所得稅及財產資料，依規定討回退休金。
