根據張連興描述，「羅富國委派一名撤退主管，負責撤退在港的英籍老弱婦孺。6 月底，第一批共 1640 名英籍公務員家眷，由香港起航，經馬尼拉撤往澳大利亞。7 月，又一批英籍平民家眷約 1800 名，經馬尼拉去澳大利亞。對其他歐籍人士，則勸告他們把家眷撤離香港。唯獨對華人不管不問，沒有任何一個華人得到羅富國的任何撤退安排，以致引起廣大中國居民的強烈不滿和反對。」
張氏採取愛國史觀立場，故特別看重華人所遭受的不公平待遇。鄺智文、蔡耀倫指出：「不公的撤僑安排 (如某些高層的家眷獲豁免、非歐籍的婦孺被送往馬尼拉而非澳洲等) 遭到英國在港軍民、家眷，以及立法局一致的抨擊，在港軍民更組成『丈夫團』聲援海外妻小」，港府卒之在壓力下暫停撤僑，留有 600 名 (一說 900 名) 歐籍婦孺在香港，以平息民憤 (香港淪陷後，這批人被送入日軍拘留營或集中營囚禁)。
撤僑安排多少反映當時港府帶有「圍城心態」(Siege mentality) 及「白人至上」的種族觀念。
所謂「圍城心態」，是指「他們覺得自己被一群不友善的華人所包圍，認為自己的性命受到威脅」。至於「白人至上」觀念，是一種種族主義的意識形態，主張白色人種族裔優越於其他族裔。
由於害怕、恐懼華人，港府沒打算協助華人離港避難。由於視自身血裔高人一等，非歐籍的婦孺就跟歐籍的有待遇上的不同。
羅富國在撤僑爭議聲中身體抱恙，需返英休養 (時為 1940 年 4 月)，港督一職由輔政司史美 (N. L. Smith) 署理。1940 年 8 月，岳桐中將 (E. F. Norton，前英皇副官及前馬德拉斯區英軍司令) 接任署理港督。
與羅富國有別，岳桐對民防工作非常積極 (羅富國本人拒絕興建額外防空洞)。任內除了興建大量防空工事外，還擴充警隊，並成立獨立的消防局、移民局 (Immigration Department)、軍用物資委員會 (War Supplies Board) 等。
1941 年 1 月，香港慶祝開埠 100 周年紀念。因戰雲密佈，加上羅富國尚未返港，慶祝活動規模大減，遠遜於 1891 年開埠 50 周年紀念。
3 月，羅富國復任港督。7 月，港府實施《1941 年民防條例》(Civil Defence Ordinance)，開始鼓勵市民參與消防、醫療輔助隊等組織，不少市民響應 (大多為學生、公務員，也有各大銀行或機構的員工)。同月，本地商界資助的「街坊自衛團」(Street Guards) 正式成為「特務警察」(Special Constables)，約有 1100 人。
港府加緊備戰，羅富國卻於 9 月 6 日因病辭任港督，返回英國。楊慕琦 (Sir Mark Young) 獲任命為第 21 任港督，1941 年 9 月 10 日抵港履新，三個月後，「香港保衛戰」爆發。
羅富國 1942 年到英軍東非司令部出任首席情報官，鼓勵東非居民應募到錫蘭及緬甸等地作戰，二戰結束後回國。1948 年 7 月 10 日，羅富國病逝，終年 67 歲。
[主要參考資料]
1. 鄺智文、蔡耀倫，《孤獨前哨：太平洋戰爭中的香港戰役》。
2. 張連興，《香港二十八總督》。
3. 徐承恩，《城邦舊事：十二本書看香港本土史》。
4. Russell Spurr，《Excellency: The Governors of Hong Kong》。
