步入永徽四年（癸丑，公元六五三年）九月以後，高宗施政日益艱難。其重用之大臣如張行成、高季輔先後離世。
秋，九月，壬戌，右僕射北平定公張行成薨。甲戌，以褚遂良為右僕射，同中書門下三品如故，仍知選事。（資治通鑑卷一百九十九）
十二月，庚子，侍中蓨憲公高季輔薨。（資治通鑑卷一百九十九）
朝中雖有長孫無忌、褚遂良等人處理政務，但其多不向高宗直言進諫，高宗曾為此感到不滿。
戊戌，上謂五品以上曰：「頃在先帝左右，見五品以上論事，或仗下面陳，或退上封事，終日不絕；豈今日獨無事邪，何公等皆不言也？」（資治通鑑卷一百九十九）
為免進一步窒塞言路，高宗甚至未有因薛景宣之出言不順而加以降罪。
冬，十月，雇雍州四萬一千人築長安外郭，三旬而畢。癸丑，雍州參軍薛景宣上封事，言：「漢惠帝城長安，尋晏駕；今復城之，必有大咎。」于志寧等以景宣言涉不順，請誅之。上曰：「景宣雖狂妄，若因上封事得罪，恐絕言路。」遂赦之。（資治通鑑卷一百九十九）
此問題其實早在太宗晚年已經出現。太宗尚未有妥善方法加以處理，高宗又可有什麼作為呢？大體而言，除非長孫無忌等一批朝中重臣被徹底更換／清除，否則此問題不易被解決（後來武后掌政時，曾大力打擊長孫無忌等人，而改用科舉考試提拔新晉人才，其做法和此問題之處理不無關係）。
當時忠心於高宗者，有白衣大將薛仁貴。
丁丑，夜，大雨，山水漲溢，沖玄武門，宿衛士皆散走。右領軍郎將薛仁貴曰：「安有宿衛之士，天子有急而敢畏死乎！」乃登門桄大呼以警宮內。上遽出乘高，俄而水入寢殿，水漂溺衛士及麟游居人，死者三千餘人。（資治通鑑卷一百九十九）
李世勣、崔敦禮亦被高宗重用，位居要職。
開府儀同三司李勣為司空。（資治通鑑卷一百九十九）
癸丑，以兵部尚書崔敦禮為侍中。（資治通鑑卷一百九十九）
然而，賢良之輩出始終敵不過天災橫禍。永徽五年（甲寅，公元六五四年）六月，丙午，恆州發生大水災，五千三百家被洪水浸沒。
六月，丙午，恆州大水，呼沱溢，漂溺五千三百家。（資治通鑑卷一百九十九）
除了天災，復有人禍。睦州女子陳碩真，與妹夫章叔胤舉兵作反。事在永徽四年十月。
初，睦州女子陳碩真以妖言惑眾，與妹夫章叔胤舉兵反，自稱文佳皇帝，以叔胤為僕射。（資治通鑑卷一百九十九）
章叔胤率領群眾攻陷桐廬，碩真亦領兵二千攻陷睦州及於潛，卻未能攻克歙州。
甲子夜，叔胤帥眾攻桐廬，陷之。碩真撞鐘焚香，引兵二千攻陷睦州及於潛，進攻歙州，不克。（資治通鑑卷一百九十九）
高宗知悉亂事後，派揚州刺史房仁裕發兵討之。碩真方面，其派遣童文寶率領四千人寇掠婺州，婺州刺史崔義玄發兵抵抗。
敕揚州刺史房仁裕發兵討之。碩真遣其黨童文寶將四千人寇婺州，刺史崔義玄發兵拒之。（資治通鑑卷一百九十九）
當時，民間傳言碩真有神靈庇佑，犯其兵者必滅族。可是，司功參軍崔玄籍（崔義玄之部屬）勸其手下士卒切勿誤信謠言，士卒終可克服心理障礙，與敵接戰。
民間訛言碩真有神，犯其兵者必滅族，士眾兇懼。司功參軍崔玄籍曰：「起兵仗順，猶且無成，況憑妖妄，其能久乎！」（資治通鑑卷一百九十九）
崔義玄以玄籍為前鋒，其自己又親自領兵出戰，奮不顧身。終於，士卒齊奮，賊眾大潰，碩真餘眾退至睦州境，降唐者萬計。
義玄以玄籍為前鋒，自將州兵繼之，至下淮戍，遇賊，與戰。左右以楯蔽義玄，義玄曰：「刺史避箭，人誰致死！」命撤之。於是士卒齊奮，賊眾大潰，斬首數千級。聽其餘眾歸首；進至睦州境，降者萬計。（資治通鑑卷一百九十九）
十一月，庚戌，房仁裕和崔義玄之軍隊會合，捕獲碩真、叔胤，斬殺之。亂事至此才告一段落。
十一月，庚戌，房仁裕軍合，獲碩真、叔胤，斬之，餘黨悉平。義玄以功拜御史大夫。（資治通鑑卷一百九十九）
唯一可喜的是，永徽五年（甲寅，公元六五四年）年底，全國豐收。洛州粟米每斗兩錢半，粳米每斗十一錢。
是歲大稔，洛州粟米斗兩錢半，粳米斗十一錢。（資治通鑑卷一百九十九）
我們可說，高宗管治之難題，主要表現在政治方面。至於天災、人禍，隨著豐收之出現及亂事之平定，其似並未構成嚴重的威脅。
