太和十八年(494年),跟随大将军刘昶出征义阳。刘昶性情暴躁,治军非常严苛,军中官兵都恐惧战栗不敢发表意见(说话)。阳固劝谏他,并当面陈述各种事项。刘昶大怒,想杀他,后来又派他担任开路先锋。阳固却勇敢果断,表现得儒雅悠闲,一点也没有害怕的表情。刘昶这才觉得他是个奇才,(不敢怠慢他)。军队凯旋,刘昶把这事告诉了高祖。他三十多岁时,才被征召为大将军府参军。
当初,世宗把国事随意交给大臣处理,并不亲自处理,他又喜好佛事。尚书令高肇凭自己外戚的身份专横骄宠,独揽朝中诸事;又有成阳王禧等人也各有罪行,王室大臣与皇帝见面的机会越来越少,关系也日益疏远;京城周围百姓,辛劳痛苦却越来越严重。(针对这种情况)阳固写了《南北二都赋》,用以指责规劝。
世宗末年,中尉王显建造新宅完工,召集众臣大办酒宴。饮酒至酣畅时,王显问阳固:“这座新宅怎么样?”阳固回答说:“晏婴的宅院低洼狭小,可他的事迹却流传并为人称道至今;高大豪华的住宅容易引起灾祸,这个道理《周易》已经讲得很清楚了。(对于人的一生来说),这宅院大概只是像旅馆一样罢了,而唯有有高尚品德的人才能善终。希望你好自为之啊!”王显听了这些话默然不应。过了些日子,他又对阳固说:“我担任太府卿之职,府库财物充盈,你认为(我的能力、业绩)怎么样?”阳固回答说:“你抽取大小官员应领俸禄的四分之一,又把各州郡的赃赎款全部收缴到京都,凭这个来充实府库,里面的财物能不多吗?况且既然有了善于聚敛财富的官员,还能不出贪污盗窃的蠹虫吗?这难道不值得警惕吗?”王显听后极为不悦,因此对阳固怀恨在心。又有人在王显面前说阳固的坏话,王显就趁机向朝廷启奏,告发阳固曾向朝廷申请过多的粮食,(朝廷)免去了阳固的官职。
免职后的阳固,没有了政务缠身,就闭门不出,修身养性,创作了《演赜赋》,来阐明深刻的哲理以及处境顺利与时运不通的道理。
肃宗即位,朝廷大军征讨硖石,(肃宗)任命阳固为仆射李平的行台七兵郎。李平认为阳固作战勇敢非同一般,军中大事都与他商量。后又命令他统领水军。阳固设奇计,攻打贼寇,预先战胜(乘:战胜)敌人,占领外城。战争结束后,太傅、清河王元怿推举阳固,阳固被任命为步兵校尉,兼任汝南王元悦的郎中令。不久升为宁远将军。汝南王元悦当时年少,行为多有不法,器重亲近小人。阳固上疏直言规劝,以情动之,元悦十分敬畏他。元怿非常高兴,认为自己推举得到了最合适的人选。这一年,阳固的母亲去世,他恸哭思念哀毁成病,拄着拐杖才能起身。居丧期(练:指白色的丧服。祥:除丧服之祭)已满之后,仍然不食酒肉。当时阳固已年逾五十,然而却面对母丧哀痛过于常人,乡党亲族全都为之叹息敬服。
神龟末年,清河王元怿兼任太尉,征召阳固担任从事中郎。接着元怿为政敌所害,元义主持朝政,朝野上下都震惊恐惧。元怿的儿子及门生、下属官吏没有不担心灾祸的,都隐藏躲避不出,平素为元怿所器重的人更是恐惧不安。阳固因为曾受到元怿的征召任命,就独自到为元怿举办丧事的地方,尽情表达哀痛之情大声恸哭,很久才回家。仆射游肇听到这事叹息说:“即使是栾布、王修(在世),又能凭什么超过他啊?像这样的人真是君子啊!”