麟德元年（甲子，公元六六四年）十月，劉仁軌曾向高宗進言，談及遼東將士之「唯思西歸，無心展効」。由此番說話，我們可見高宗一代武人地位之低降。
今且把仁軌之言引錄如下：
冬，十月，庚辰，檢校熊津都督劉仁軌上言：「臣伏覩所存戍兵，疲羸者多，勇健者少，衣服貧敝，唯思西歸，無心展効。臣問以『往在海西，見百姓人人應募，爭欲從軍，或請自辦衣糧，謂之「義征」，何為今日士卒如此？』咸言：『今日官府與曩時不同，人心亦殊。曩時東西征役，身沒王事，並蒙敕使弔祭，追贈官爵，或以死者官爵回授子弟，凡渡遼海者，皆賜勳一轉。自顯慶五年以來，征人屢經渡海，官不記錄，其死者亦無人誰何。州縣每發百姓為兵，其壯而富者，行錢參逐，皆亡匿得免；貧者身雖老弱，被發卽行。頃者破百濟及平壤苦戰，當是時將帥號令，許以勳賞，無所不至；及達西岸，惟聞枷鎖推禁，奪賜破勳，州縣追呼，無以自存，公私困弊，不可悉言。以是昨發海西之日已有逃亡自殘者，非獨至海外而然也。又，本因征役勳級以為榮寵；而比年出征，皆使勳官挽引，勞苦與白丁無殊，百姓不願從軍，率皆由此。』臣又問：『曩日士卒留鎮五年，尚得支濟，今爾等始經一年，何為如此單露？』咸言：『初發家日，惟令備一年資裝；今已二年，未有還期。』臣檢校軍士所留衣，今冬僅可充事，來秋以往，全無準擬。陛下留兵海外，欲殄滅高麗。百濟、高麗，舊相黨援，倭人雖遠，亦共為影響，若無鎮兵，還成一國。今旣資戍守，又置屯田，所藉士卒同心同德，而眾有此議，何望成功！自非有所更張，厚加慰勞，明賞重罰以起士心，若止如今日以前處置，恐師衆疲老，立效無日。逆耳之事，或無人為陛下盡言，故臣披露肝膽，昧死奏陳。」（資治通鑑卷二百零一）
由上述的一段文字，高宗一代武人地位之低落，主要反映在以下五個方面：
一、 太宗時，征遼將士於戰爭中身歿，其得蒙敕使弔祭，追贈官爵，或以死者官爵回授子弟。而凡渡遼水者，皆賜勳一轉。至於高宗顯慶五年以後，將士之名字多不被記錄，其死去亦無人知曉。
二、 高宗時，州縣徵發百姓為兵，入伍者多為貧苦老弱之人，至於年壯而富貴者，其多藉賄賂而得免。
三、 太宗一代，將帥號令未嘗不兌現。可是，到了高宗時，將帥號令於戰後往往流為空文，並未兌現。在攻打百濟及平壤時，當時將帥號令，於戰事結束後進行受勳、獎賞，但將士到達西岸後，他們卻並未得到預期的結果。
四、 太宗一朝善待受勳的軍官，但高宗則勞役勳官如白丁一般，以致百姓不願從軍。
五、 鎮守遼東之將士衣服單薄，朝廷竟不予接濟。
幸而高宗並非麻木不仁之徒，其於是派遣劉仁願領兵渡海以接替舊時鎮守遼東之兵。至於仁軌，則被安排和士兵們一同返國。
上深納其言，遣右威衛將軍劉仁願將兵渡海以代舊鎮之兵，仍敕仁軌俱還。（資治通鑑卷二百零一）
然而，仁軌以經略高麗收穫未畢，加上「夷人新服，衆心未安，必將生變」，其於是向高宗請求留鎮遼東。高宗答允。
仁軌謂仁願曰：「國家懸軍海外，欲以經略高麗，其事非易。今收穫未畢，而軍吏與士卒一時代去，軍將又歸；夷人新服，眾心未安，必將生變。不如且留舊兵，漸令收穫，辦具資糧，節級遣還；軍將且留鎮撫，未可還也。」仁願曰：「吾前還海西，大遭讒謗，云吾多留兵衆，謀據海東，幾不免禍。今日唯知准敕，豈敢擅有所為！」仁軌曰：「人臣苟利於國，知無不為，豈恤其私！」乃上表陳便宜，自請留鎮海東。上從之。仍以扶餘隆為熊津都尉，使招輯其餘眾。（資治通鑑卷二百零一）
