「弒父說」的出處
隋煬帝弒父，不見於《隋書》本紀，而見於后妃傳：
宣華夫人陳氏，陳宣帝之女也。性聰慧，姿貌無雙。及陳滅，配掖庭，後選入宮為嬪。時獨孤皇后性妬，後宮罕得進御，唯陳氏有寵。晉王廣之在藩也，陰有奪宗之計，規為內助，每致禮焉。進金蛇、金駝等物，以取媚於陳氏。皇太子廢立之際，頗有力焉。及文獻皇后崩，進位為貴人，專房擅寵，主斷內事，六宮莫與為比。及上大漸，遺詔拜為宣華夫人。
初，上寢疾於仁壽宮也，夫人與皇太子同侍疾。平旦出更衣，為太子所逼，夫人拒之得免，歸於上所。上怪其神色有異，問其故。夫人泫然曰：「太子無禮。」上恚曰：「畜生何足付大事，獨孤誠誤我！」意謂獻皇后也。因呼兵部尚書柳述、黃門侍郎元巖曰：「召我兒！」述等將呼太子，上曰：「勇也。」述、巖出閤為勑書訖，示左僕射楊素。素以其事白太子，太子遣張衡入寢殿，遂令夫人及後宮同侍疾者，並出就別室。俄聞上崩，而未發喪也。夫人與諸後宮相顧曰：「事變矣！」皆色動股慄。晡後，太子遣使者齎金合子，帖紙於際，親署封字，以賜夫人。夫人見之惶懼，以為鴆毒，不敢發。使者促之，於是乃發，見合中有同心結數枚。諸宮人咸悅，相謂曰：「得免死矣！」陳氏恚而却坐，不肯致謝。諸宮人共逼之，乃拜使者。其夜，太子烝焉……
容華夫人蔡氏，丹陽人也。陳滅之後，以選入宮，為世婦。容儀婉嫕，上甚悅之。以文獻皇后故，希得進幸。及后崩，漸見寵遇，拜為貴人，參斷宮掖之務，與陳氏相亞。上寢疾，加號容華夫人。上崩後，自請言事，亦為煬帝所烝。
北宋司馬光撰《資治通鑑》，採用《隋書．后妃傳》說法：
初，文獻皇后既崩，宣華夫人陳氏、容華夫人察氏皆有寵。陳氏，陳高宗之女；蔡氏，丹楊人也。上寢疾於仁壽宮，尚書左僕射楊素、兵部尚書柳述、黃門侍郎元巖皆入閣侍疾，召皇太子入居大寶殿。太子慮上有不諱，須預防擬，手自為書，封出問素；素條錄事狀以報太子。宮人誤送上所，上覽而大恚。陳夫人平旦出更衣，為太子所逼，拒之，得免，歸於上所；上怪其神色有異，問其故。夫人泫然曰：「太子無禮！」上恚，抵床曰：「畜生何足付大事！獨孤誤我！」乃呼柳述、元巖曰：「召我兒！」述等將呼太子，上曰：「勇也。」述、巖出閣為敕書。楊素聞之，以白太子，矯詔執述、巖，系大理獄；追東宮兵士帖上臺宿衛，門禁出入，並取宇文述、郭衍節度；令右庶子張衡入寢殿侍疾，盡遣後宮出就別室；俄而上崩。故中外頗有異論。陳夫人與後宮聞變，相顧戰慄失色。晡後，太子遣使者繼小金合，帖紙於際，親署封字，以賜夫人。夫人見之，惶懼，以為鴆毒，不敢發。使者促之，乃發，合中有同心結數枚，宮人咸悅，相謂曰：「得免死矣！」陳氏恚而卻坐，不肯致謝；諸宮人共逼之，乃拜使者。其夜，太子烝焉。(《資治通鑑》卷一百八十)
《資治通鑑考異》以下一段文字，提到強姦、弒父最早源出何處：
趙毅大業略記曰：「高祖在仁壽宮，並甚，追帝侍疾，而高祖美人尤嬖幸者，唯陳、蔡二人而已。帝乃召蔡於別室，既還，面傷而髮亂，高祖問之，蔡泣曰：『皇太子為非禮。』高祖大怒，齧指出血，召兵部尚書柳述、黃門侍郎元巖等令發詔追庶人勇，即令廢立。帝追迫，召左僕射楊素、左庶子張衡進毒藥。帝簡驍健官奴三十人皆服婦人之服，衣下置仗，立於門巷之間，以為之衛。素等既入，而高祖暴崩。」馬總通曆曰：『上有疾，於仁壽殿與百僚辭訣，並握手歔欷。是時唯太子及陳宣華夫人侍疾，太子無禮，宣華訴之。帝怒曰：『死狗，那可付後事！』遽令召勇，楊素秘不宣，乃屏左右，令張衡入拉帝，血濺屏風，冤痛之聲聞於外，崩。」今從隋書。
《隋書》由唐朝魏徵等編撰。《大業略記》則是隋末唐初的筆記。按時序推斷，故事的源頭應該來自《大業略記》，《隋書》沿襲《大業略記》的講法而有所增刪。
至於《通曆》，馬總是唐朝中期的大臣，書中說法很大可能沿襲《隋書》，《資治通鑑》更加後出，可視為不同說法之綜合。
比對四個版本
四個版本的說法，其異同如下：
|
|
《大業略記》 |
《隋書．后妃傳》 |
《通曆》 |
《資治通鑑》 |
|
侍疾者 |
一眾後宮 |
一眾後宮 |
一眾後宮 |
尚書左僕射楊素、兵部尚書柳述、黃門侍郎元巖入閣侍疾，楊廣入居大寶殿。 |
|
被非禮 / 強姦者身份 |
容華夫人蔡氏 |
宣華夫人陳氏 |
宣華夫人陳氏 |
宣華夫人陳氏 |
|
被非禮 / 強姦者反應 |
召蔡於別室，返還後，蔡面傷而髮亂，哭泣道：「皇太子為非禮。」 |
平旦出更衣，為楊廣所逼，夫人拒絕，返還後流淚說：「太子無禮。」 |
訴說太子無禮 |
平旦出更衣，為楊廣所逼，夫人拒絕，返還後流淚說：「太子無禮。」 |
|
隋文帝反應 |
大怒，把指頭咬得出血 |
怨恨、憤怒地說：「畜生何足付大事，獨孤誠誤我！」 |
大怒說：「死狗，那可付後事！」 |
怨恨、憤怒地說：「畜生何足付大事！獨孤誤我！」 |
|
隋文帝的應對 |
召兵部尚書柳述、黃門侍郎元巖等令發詔追楊勇，即令廢立。 |
叫兵部尚書柳述、黃門侍郎元巖呼楊勇，柳述、元巖以為叫楊廣，文帝澄清：「勇也。」 |
趕緊下令召楊勇。 |
叫兵部尚書柳述、黃門侍郎元巖呼楊勇，柳述、元巖以為叫楊廣，文帝澄清：「勇也。」 |
|
柳述、元巖做法 |
楊廣追趕逼迫柳述、元巖，得知文帝欲廢自己，再立楊勇。 |
攜持詔書，出示楊素，楊素將文帝意思告知楊廣。 |
未有交代。 |
出閣為敕書。楊素聞知消息，告知楊廣。 |
|
楊廣遣楊素、張衡進毒藥。又選驍健官奴三十人，身服婦人服，衣下置仗，立於門巷之間，以為守衛。楊素等人進入不久，而文帝暴崩。 |
楊廣遣張衡入文帝寢殿，令陳夫人等暫出卧室。不久傳出文帝駕崩的消息。 |
楊素得知消息，秘而不宣，遣開文帝身邊左右，令張衡入內拉住文帝，血濺屏風，文帝暴崩，冤痛之聲聞於外。 |
矯詔捕述、巖，系大理獄。追東宮兵士帖上臺宿衛，門禁出入，並取宇文述、郭衍節度；令張衡入寢殿侍疾，盡遣後宮出就別室，不久傳出文帝駕崩。 |
|
|
結局 |
未有交代。 |
楊廣即皇帝位，發同心結數枚予陳夫人，當晚與她通姦。同時亦與容華夫人蔡氏通姦。 |
未有交代。 |
楊廣即皇帝位，發同心結數枚予陳夫人，當晚與她通姦。 |
有八點特別值得注意：
1. 只有《大業略記》以容華夫人蔡氏為被強姦者，兼有疑似強姦的描述，如「召蔡於別室」、「面傷而髮亂」。
2.《隋書．后妃傳》、《通曆》、《資治通鑑》雖同寫陳夫人遭楊廣非禮，但只有《隋書．后妃傳》寫「平旦出更衣，為太子所逼」，《資治通鑑》照抄《隋書》，《通曆》則無相關描述，只有「太子無禮，宣華訴之」八字。
3.《大業略記》有具體描述文帝怒時動作，「齧指出血」。而《隋書．后妃傳》、《資治通鑑》特別提到「獨孤誤我」，另外兩書則無。《通曆》記載最簡，用字亦最粗鄙，用上「死狗」。
4. 只有《大業略記》提到急召楊勇的動機 – 即令廢立。
5.《大業略記》、《資治通鑑》皆不把柳述、元巖歸入楊廣陣營，即未有與楊廣、楊素同流合污。只有《隋書．后妃傳》有「述、巖出閤為勑書訖，示左僕射楊素」，含主動出示義。
6.《大業略記》記楊廣遣楊素、張衡同進毒藥。《隋書．后妃傳》刪去楊素、進毒藥，改為楊廣遣張衡入文帝寢殿，不久文帝暴崩。《通曆》加重楊素戲份，而且情節變得暴力，「楊素秘不宣，乃屏左右，令張衡入拉帝，血濺屏風」，楊廣反而被置於事外。《資治通鑑》採《隋書》說法。
7. 獨《大業略記》及《資治通鑑》提到派人把守，但兩種講法微有不同，《資治通鑑》的講法來自《隋書．楊素傳》。
8. 只有《資治通鑑》提及「太子慮上有不諱，須預防擬，手自為書，封出問素；素條錄事狀以報太子。宮人誤送上所，上覽而大恚」、「尚書左僕射楊素、兵部尚書柳述、黃門侍郎元巖皆入閣侍疾，召皇太子入居大寶殿」，竊以為抄自《隋書．楊素傳》。
從史籍的可信性看，《隋書．后妃傳》雖為正史，但其極有可能抄自《大業略記》，而後者是一本筆記，筆記可以含有主觀虛構杜撰成分，如是者，《隋書》＜后妃傳＞的可信性是存疑的，《資治通鑑》採《隋書》說法，其記載自然亦存疑無誤。至於《通曆》，記載更簡，且隱去楊廣而把責任歸咎於楊素，亦見不太合理，四個版本中以《通曆》最不可信。
退一步，若視四個版本皆反映歷史事實的某些面向，我們仍然可以透過考證，判定哪些細節比較不合理，從而還原比較貼近史實的說法。
以下我們不妨由張衡切入，看看他有沒可能進藥毒殺隋文帝，他又有無可能「入拉帝，血濺屏風」。
張衡、楊素不可能動手殺死隋文帝
《隋書．張衡傳》：
張衡，字建平，河內人也。祖嶷，魏河陽太守。父光，周萬州刺史。衡幼懷志尚，有骨鯁之風。年十五，詣太學受業，研精覃思，為同輩所推。周武帝居太后憂，與左右出獵，衡露發輿櫬，扣馬切諫。帝嘉焉，賜衣一襲，馬一匹，擢拜漢王侍讀。衡又就沈重受《三禮》，略究大旨。累遷掌朝大夫。高祖受禪，拜司門侍郎。及晉王廣為河北行台，衡曆刑部、度支二曹郎。後以台廢，拜并州總管掾。及王轉牧揚州，衡復為掾，王甚親任之。衡亦竭慮盡誠事之，奪宗之計，多衡所建也。
張衡讀儒書出身，曾親自前往太學受業，又任侍讀，跟隨沈重受《三禮》，他怎可能違背忠臣節義，助紂為虐，毒殺文帝？講他有足夠力量拉住文帝，更是荒誕之談，書生怎會有縛雞之力？
張衡之所以對楊廣「竭慮盡誠事之」，甚至「奪宗之計，多衡所建」，一來楊廣是他的直屬上司，待他甚為親厚 (見「王甚親任之」)，基於報答知遇之恩，不得不為此。二來楊廣與當時太子楊勇相比，確有過人之德行，《隋書．煬帝紀上》：
上好學，善屬文，沉深嚴重，朝野屬望。高祖密令善相者來和徧視諸子，和曰：「晉王眉上雙骨隆起，貴不可言。」既而高祖幸上所居第，見樂器弦多斷絕，又有塵埃，若不用者，以為不好聲妓，善之。上尤自矯飾，當時稱為仁孝。嘗觀獵遇雨，左右進油衣，上曰：「士卒皆霑濕，我獨衣此乎！」乃令持去。
「善矯飾」是後來才揭發，「當時稱為仁孝」，張衡認楊廣有聖主之資，為其出謀劃策，在當時是很合理的，亦符合其儒生身份。
不過，「衡亦竭慮盡誠事之，奪宗之計，多衡所建也」是一回事，無底線地幫助楊廣奪位是另一回事。後者張衡決不為之，因這已違背儒家忠義之觀念也。
事實上，楊廣即位後，大興土木，張衡曾不怕身死，勸諫楊廣，《隋書．張衡傳》：
時帝欲大汾陽宮，令衡與紀弘整具圖奏之。衡承間進諫曰：「比年勞役繁多，百姓疲敝，伏願留神，稍加折損。」帝意甚不平。
張衡既不唯楊廣之命是從，故史書稱其「有骨鯁之風」、「以鯁正立名」。
設想楊廣給他毒藥，要他毒殺當今聖上，扶自己坐正，張衡一旦知情，怎願為之？其必諫止楊廣所為，至少事後和楊廣關係有隔閡。可是，觀乎楊廣即位後，「煬帝嗣位，除給事黃門侍郎，進位銀青光祿大夫，俄遷御史大夫，甚見親重」，二人關係並未疏遠，反而親上加親，據此逆推，楊廣必定並未要求張衡做不忠之事，甚至乎，在張衡看來，楊廣亦未做出謀父性命一類禽獸般的惡行，否則「甚見親重」不可能成立。
有謂張衡送藥時，或不知該藥為一毒藥，至文帝服用暴斃，楊廣以藥力過猛解釋開脫，張衡便不覺楊廣有心下毒弒父。此非不可能，但張衡熟讀儒書，會不問情由為楊廣送藥嗎？又文帝暴卒，楊廣雖可砌辭狡辯，但張衡內心必存愧疚，繼而不願受楊廣的升官。兩人關係全無影響，只有一個可能，就是：張衡並未在知情 / 不知情下殺害隋文帝。
假如以上分析無誤，張衡無親手殺死隋文帝，已可確定。不過，《大業略記》、《通曆》記楊素、張衡一同入內，會否楊素出手，張衡敢怒而不敢言？且看《隋書．楊素傳》：
唯兵部尚書柳述，以帝婿之重，數於上前面折素。大理卿梁毗，抗表上言素作威作福。上漸疏忌之，後因出敕曰：「僕射國之宰輔，不可躬親細務，但三五日一度向省，評論大事。」外示優崇，實奪之權也。終仁壽之末，不復通判省事。上賜王公以下射，素箭為第一，上手以外國所獻金精盤，價直巨萬，以賜之。四年，從幸仁壽宮，宴賜重疊。
及上不豫，素與兵部尚書柳述、黃門侍郎元巖等入閤侍疾。時皇太子入居大寶殿，慮上有不諱，須豫防擬，乃手自為書，封出問素。素錄出事狀以報太子。宮人誤送上所，上覽而大恚。所寵陳貴人又言太子無禮。上遂發怒，欲召庶人勇。太子謀之於素，素矯詔追東宮兵士帖上臺宿衛，門禁出入，並取宇文述、郭衍節度，又令張衡侍疾。上以此日崩，由是頗有異論。
據此，楊素為保自身既得利益，似對文帝有動殺機的可能。細考楊素和楊廣結盟的原因，尤其見到這一點，《隋書．楊素傳》：
時皇太子無寵，而晉王廣規欲奪宗，以素幸於上，而雅信約。於是用張衡計，遣宇文述大以金寶賂遺於約，因通王意，說之曰：「夫守正履道，固人臣之常致，反經合義，亦達者之令圖。自古賢人君子，莫不與時消息，以避禍患。公之兄弟，功名蓋世，當途用事，有年歲矣。朝臣為足下家所屈辱者，可勝數哉！又儲宮以所欲不行，每切齒於執政。公雖自結於人主，而欲危公者固亦多矣。主上一旦棄群臣，公亦何以取庇？今皇太子失愛於皇后，主上素有廢黜之心，此公所知也。今若請立晉王，在賢兄之口耳。誠能因此時建大功，王必鐫銘於骨髓，斯則去累卵之危，成太山之安也。」約然之，因以白素。素本兇險，聞之大喜，乃撫掌而對曰：「吾之智思，殊不及此，賴汝起予。」約知其計行，復謂素曰：「今皇后之言，上無不用，宜因機會，早自結托，則匪唯長保榮祿，傳祚子孫，又晉王傾身禮士，聲名日盛，躬履節儉，有主上之風，以約料之，必能安天下。兄若遲疑，一旦有變，令太子用事，恐禍至無日矣。」素遂行其策，太子果廢。
但有動殺機之心，不代表就會化成具體行動。《隋書．張衡傳》：
禮部尚書楊玄感使至江都，其人詣玄感稱冤。玄感固以衡為不可。及與衡相見，未有所言，又先謂玄感曰：「薛道衡真為枉死。」玄感具上其事……
如果楊素真是進毒弒帝 / 揮刀殺帝，而張衡又親眼目擊，他不可能仍視楊素之子楊玄感為心腹好友，向他吐露心聲「薛道衡真為枉死」。只有張衡視玄感為故人之子，他才會如此做，既如此做，就反映他對楊素父子完全信任。楊素果真弒帝，張衡能對他有這種信任嗎？
所以，楊素、張衡都沒有動手殺死隋文帝，那麼，隋文帝是怎樣死的？
對隋文帝死因較合理的推測
《大業略記》、《隋書．后妃傳》、《通曆》、《資治通鑑》不約而同提到楊廣覬覦其父之妻之美色，究竟是宣華夫人抑或容華夫人，無關宏旨。要之，隋皇室有胡人血統，隋朝政權乃一胡化漢人政權，母子通姦其實不是一件大事，至少不至於令文帝馬上召楊勇回來。
真正導致文帝改弦易轍，必有比強姦 / 非禮名義上的母親更可恨的事，此即《隋書．楊素傳》、《資治通鑑》都有記載的「時皇太子入居大寶殿，慮上有不諱，須豫防擬，乃手自為書，封出問素。素錄出事狀以報太子。宮人誤送上所，上覽而大恚。」
試想文帝當時心情：我尚未死，彼已汲汲於想我死，安排好一切謀我的天下，謀我的女人，如此不仁不孝的忤逆子，怎配當天下君主？「獨孤誤我」未必出自文帝之口，但必是其心聲。因想到「畜生何足付大事」，遂決意廢立，決意召回楊勇。
一個旁證是，楊廣即位不久，便馬上縊殺楊勇，《資治通鑑》卷一百八十：
太子遣約入長安，易留守者，矯稱高祖之詔，賜故太子勇死，縊殺之；然後陳兵集眾，發高祖凶問。煬帝聞之，曰：「令兄之弟，果堪大任。」追封勇為房陵王，不為置嗣。
《資治通鑑考異》：
大業略記云：「庶人勇八男，亦陰加酖害，恐其為厲，皆倒埋之。」
楊廣必知父親死前欲重立楊勇，故狠下毒手。
《隋書．柳述傳》：
楊素時稱貴幸，朝臣莫不讋憚，述每陵侮之，數於上前面折素短。判事有不合素意，素或令述改之，輒謂將命者曰：「語僕射，道尚書不肯。」素由是銜之。俄而楊素亦被疏忌，不知省務。述任寄逾重，拜兵部尚書，參掌機密。述自以無功可紀，過叨匪服，抗表陳讓。上許之，令攝兵部尚書事。上於仁壽宮寢疾，述與楊素、黃門侍郎元岩等侍疾宮中。時皇太子無禮於陳貴人，上知而大怒，因令述召房陵王。述與元岩出外作敕書，楊素聞之，與皇太子協謀，便矯詔執述、岩二人，持以屬吏。及煬帝嗣位，述竟坐除名，與公主離絕。徙述於龍川郡。公主請與述同徙，帝不聽，事見《列女傳》。述在龍川數年，復徙寧越，遇瘴癘而死，時年三十九。
按此，柳述與楊素有宿怨，《隋書．后妃傳》「述、巖出閤為勑書訖，示左僕射楊素」根本不可能發生。
又楊廣強行令柳述家散人亡，元巖也好不了多少，《隋書．華陽王楷妃傳》：
華陽王楷妃者，河南元氏之女也。父巖，性明敏，有氣幹。仁壽中，為黃門侍郎，封龍涸縣公。煬帝嗣位，坐與柳述連事，除名為民，徙南海。後會赦，還長安。有人譖巖逃歸，收而殺之。
如果二人有「示左僕射楊素」，當有通風報信之大功，怎會被置於死地？除非二人奉文帝敕令，正急召楊勇，而為楊素暗中知悉，告知楊廣，楊廣懷恨在心，決意報復，二人方得到如此悲慘的下場。
楊廣發動政變，他一方面要萬無一失，一方面又不能太過張揚。遣楊素、張衡入文帝寢殿是有的，但未必下弒父命令，即使下，亦可能只楊素得知，張衡則不知也。同一時間，矯詔執柳述、元巖，並派東宮士兵入宮守衛，由親信宇文述、郭衍控制，亦是應有之事。為免打草驚蛇，於是要求衛士「皆服婦人之服，衣下置仗，立於門巷之間」，《大業略記》與《隋書．楊素傳》的記載可同時並存。
文帝已經病重，加上之前兩次大恚，身體狀況急轉直下，可想而知。本來一心等待楊勇歸來，豈料楊勇未至，楊素等已前來，憶起不肖子與楊素合謀種種，復添以外面疑有東宮衛士，雙重刺激之下，文帝再次大恚，氣絕而死，絕非不可能。也只有這樣死法，張衡不覺楊廣弒父，楊素亦未弒君，三人得以維持互相信任的關係。
按照胡俗，父親死後，兒子有權娶母。楊廣後來與宣華夫人、容華夫人通姦，只是胡俗常態之體現，不足為奇。
今再整理一下隋文帝死亡始末：
I. 病中得知太子楊廣和楊素圖謀不軌，覬覦自己的帝位與女人。
II. 太子楊廣開始將圖謀轉為行動，淫辱宣華夫人 / 容華夫人，為文帝所知悉。
III. 敕令柳述、元巖急召楊勇。
IV. 機事不密，為楊素知悉，並通知太子楊廣，二人商討對策。
V. 楊廣遣楊素、張衡入文帝寢殿侍疾，同時矯詔執柳述、元巖，並派東宮士兵入宮守衛，由親信宇文述、郭衍控制。
VI. 文帝見楊勇未至，楊素等已前來，憶起楊廣與楊素合謀種種，復添以外面疑有東宮衛士，雙重刺激，大恚氣絕而亡。
VII. 楊廣按胡俗與宣華夫人、容華夫人通姦。
VIII. 嚴懲柳述、元巖，賜死楊勇。
張衡的下場
張衡一直為楊廣所信任、重用，《隋書．張衡傳》：
及晉王廣為河北行台，衡曆刑部、度支二曹郎。後以台廢，拜并州總管掾。及王轉牧揚州，衡復為掾，王甚親任之。衡亦竭慮盡誠事之，奪宗之計，多衡所建也。以母憂去職，歲餘，起授揚州總管司馬，賜物三百段。開皇中，熙州李英林聚眾反，署置百官，以衡為行軍總管，率步騎五萬人討平之。拜開府，賜奴婢一百三十口，物五百段，金銀雜畜稱是。及王為皇太子，拜衡右庶子，仍領給事黃門侍郎。煬帝嗣位，除給事黃門侍郎，進位銀青光祿大夫，俄遷御史大夫，甚見親重。大業三年，帝幸榆林郡，還至太原，謂衡曰：「朕欲過公宅，可為朕作主人。」衡於是馳至河內，與宗族具牛酒。帝上太行，開直道九十裡，以抵其宅。帝悅其山泉，留宴三日，因謂衡曰：「往從先皇拜太山之始，途經洛陽，瞻望於此，深恨不得相過，不謂今日得諧宿願。」衡俯伏辭謝，奉斛上壽。帝益歡，賜其宅傍田三十頃，良馬一匹，金帶，縑彩六百段，衣一襲，御食器一具。衡固讓，帝曰：「天子所至稱幸者，蓋為此也，不足為辭。」衡復獻食於帝，帝令頒賜公卿，下至衛士，無不沾洽。衡以籓邸之舊，恩寵莫與為比，頗自驕貴。
直至諫止擴大汾陽宮事起，楊廣才改變對張衡的態度。
明年，帝幸汾陽宮，宴從官，特賜絹五百匹。時帝欲大汾陽宮，令衡與紀弘整具圖奏之。衡承間進諫曰：「比年勞役繁多，百姓疲敝，伏願留神，稍加折損。」帝意甚不平。
從張衡的角度，他直言極諫，是為了盡忠。可是，看在楊廣眼裡，彼是恃擁立之功，驕橫跋扈。楊廣對張衡的猜疑，見以下文字：
後嘗目衡謂侍臣曰：「張衡自謂由其計畫，令我有天下也。」
楊廣當著張衡的面對侍臣說：「張衡自以為因為他的計謀，才讓我有天下」，是要令張衡收斂，知難而退。奈何張衡不洞悉箇中底蘊，仍舊屹立朝中，遂有連串針對接踵而來。
時齊王暕失愛於上，帝密令人求暕罪失。有人譖暕違制，將伊闕令皇甫詡從之汾陽宮。又錄前幸涿郡及祠恆嶽時，父老謁見者衣冠多不整。帝譴衡以憲司皆不能舉正，出為榆林太守。
張衡先被人指責違反制度，將伊闕令皇甫詡帶到汾陽宮。再被人攻擊楊廣到涿郡及祭祠恆嶽時，來謁見的父老鄉親，衣冠大多不整，其身為司法官，竟不能檢舉處理這些問題。「出為榆林太守」指被調離中央權力核心。
明年，帝復幸汾陽宮，衡督役築樓煩城，因而謁帝。帝惡衡不損瘦，以為不念咎，因謂衡曰：「公甚肥澤，宜且還郡。」衡復之榆林。
煬帝厭惡張衡沒有消瘦，以為他未作反省，這已是跡近「雞蛋裡挑骨頭」，張衡此時該辭官退隱。可惜他未有這樣做，卒之迎來更大的禍患。
俄而敕衡督役江都宮。有人詣衡訟宮監者，衡不為理，還以訟書付監，其人大為監所困。禮部尚書楊玄感使至江都，其人詣玄感稱冤。玄感固以衡為不可。及與衡相見，未有所言，又先謂玄感曰：「薛道衡真為枉死。」玄感具上其事，江都丞王世充又奏衡頻減頓具。帝於是發怒，鎖衡詣江都市，將斬之，久而乃釋，除名為民，放還田里。帝每令親人覘衡所為。八年，帝自遼東還都，衡妾言衡怨望，謗訕朝政，竟賜盡於家。臨死大言曰：「我為人作何物事，而望久活！」監刑者塞耳，促令殺之。
《隋書．薛道衡傳》：
薛道衡，字玄卿，河東汾陰人也。祖聰，魏濟州刺史。父孝通，常山太守。道衡六歲而孤，專精好學。年十三，講《左氏傳》，見子產相鄭之功，作《國僑贊》，頗有詞致，見者奇之。其後才名益著，齊司州牧、彭城王浟引為兵曹從事。尚書左僕射弘農楊遵彥，一代偉人，見而嗟賞。授奉朝請。吏部尚書隴西辛術與語，歎曰：「鄭公業不亡矣。」河東裴讞目之曰：「自鼎遷河朔，吾謂關西孔子罕值其人，今復遇薛君矣。」武成作相，召為記室，及即位，累遷太尉府主簿。歲餘，兼散騎常侍，接對周、陳二使。武平初，詔與諸儒修定《五禮》，除尚書左外兵郎。陳使傅縡聘齊，以道衡兼主客郎接對之。縡贈詩五十韻，道衡和之，南北稱美。魏收曰：「傅縡所謂以蚓投魚耳。」待詔文林館，與范陽盧思道、安平李德林齊名友善。復以本官直中書省，尋拜中書侍郎，仍參太子侍讀。後主之時，漸見親用，於時頗有附會之譏。後與侍中斛律孝卿參預政事，道衡具陳備周之策，孝卿不能用。及齊亡，周武引為御史二命士。後歸鄉里，自州主簿入為司祿上士。
……晉王廣時在揚州，陰令人諷道衡從揚州路，將奏留之。道衡不樂王府，用漢王諒之計，遂出江陵道而去。尋有詔征還，直內史省。晉王由是銜之，然愛其才，猶頗見禮。後數歲，授內史侍郎，加上儀同三司。
道衡每至構文，必隱坐空齋，蹋壁而臥，聞戶外有人便怒，其沉思如此。高祖每曰：「薛道衡作文書稱我意。」然誡之以迂誕。後高祖善其稱職，謂楊素、牛弘曰：「道衡老矣，驅使勤勞，宜使其硃門陳戟。」於是進位上開府，賜物百段。道衡辭以無功，高祖曰：「爾久勞階陛，國家大事，皆爾宣行，豈非爾功也？」道衡久當樞要，才名益顯，太子諸王爭相與交，高熲、楊素雅相推重，聲名籍甚，無競一時。
仁壽中，楊素專掌朝政，道衡既與素善，上不欲道衡久知機密，因出檢校襄州總管。道衡久蒙驅策，一旦違離，不勝悲戀，言之哽咽。高祖愴然改容曰：「爾光陰晚暮，侍奉誠勞。朕欲令爾將攝，兼撫萌俗。今爾之去，朕如斷一臂。」於是賚物三百段，九環金帶，並時服一襲，馬十匹，慰勉遣之。在任清簡，吏民懷其惠。
煬帝嗣位，轉番州刺史。歲餘，上表求致仕。帝謂內史侍郎虞世基曰：「道衡將至，當以秘書監待之。」道衡既至，上《高祖文皇帝頌》……帝覽之不悅，顧謂蘇威曰：「道衡致美先朝，此《魚藻》之義也。」於是拜司隸大夫，將置之罪。道衡不悟。司隸刺史房彥謙素相善，知必及禍，勸之杜絕賓客，卑辭下氣，而道衡不能用。會議新令，久不能決，道衡謂朝士曰：「向使高熲不死，令決當久行。」有人奏之，帝怒曰：「汝憶高熲邪？」付執法者勘之。道衡自以非大過，促憲司早斷。暨於奏日，冀帝赦之，敕家人具饌，以備賓客來候者。及奏，帝令自盡。道衡殊不意，未能引訣。憲司重奏，縊而殺之，妻子徙且末。時年七十。天下冤之。
薛道衡，儒生出身，與楊素有善，但跟楊廣有嫌隙。因上《高祖文皇帝頌》「致美先朝」，以古非今，加上不肯「杜絕賓客，卑辭下氣」，兼謂「向使高熲不死，令決當久行。」楊廣疑心其「憶高熲」，遂將其處死。
《隋書．高熲傳》：
熲少明敏，有器局，略涉書史，尤善詞令……
……九年，晉王廣大舉伐陳，以熲為元帥長史，三軍諮稟，皆取斷於熲。及陳平，晉王欲納陳主寵姬張麗華。熲曰：「武王滅殷，戮妲己。今平陳國，不宜取麗華。」乃命斬之，王甚不悅……
……尋以其子表仁取太子勇女，前後賞賜不可勝計……
時太子勇失愛於上，潛有廢立之意。謂熲曰：「晉王妃有神憑之，言王必有天下，若之何？」熲長跪曰：「長幼有序，其可廢乎！」上默然而止……
簡言之，高熲也是儒生，與楊廣有隙，兼且與楊廣死敵廢太子楊勇是姻親，曾勸止文帝廢太子。
如上文所述，楊廣雖未弒父，但文帝臨死前確有重立楊勇的意思，楊廣不能讓死灰復燃，遂對楊勇及其遺裔，以及其親信黨羽，連根拔起，趕盡殺絕。高熲、薛道衡因此見殺，張衡亦不例外。
細查楊廣黨羽出身，宇文述、楊素、郭衍都是軍人，獨張衡為儒生，此已見後者之孤立。復添以由衷地感慨薛道衡之死，楊廣怎能不視他和高熲等一伙？既是楊勇之殘餘，就要去除，「狡兔死，走狗烹。飛鳥盡，良弓藏」，楊廣正是此類人。
特別值得注意是三番四次的「有人」告密，還有「玄感具上其事」，能對張衡一舉一動瞭如指掌，非楊素及其兒子莫屬。張衡待楊素如故人，這位故人卻待之如政敵。「君子可以欺以其方」，這是張衡的可悲處。
張衡臨死前大呼：「我為人作何物事，而望久活 (我為世人作了什麼好事哦，還想久活)！」可見他對一手扶植楊廣為帝深感後悔，無奈追悔莫及矣！
