诸葛亮在清算刘璋党羽，将黄权、李严等人革职，严颜虽然并不是刘璋党羽，但他作为本土派的领袖之一，也受到了牵连，被刘备任命为巴郡太守，军权则给了张飞，严颜没有反抗，很沉默地配合了军权移交。
但就在一个月前，他坚决反对偷袭平都县的计划，但诸葛亮没有采纳他的意见，最后不出他的所料，偷袭军队全军覆灭，主将张飞也阵亡了。
虽然严颜的建议是对的，但他却并没有得到相应的重用，也没有重新得到军权，相反，诸葛亮却把文聘调来接管了张飞的军权。
严颜心中虽然不满，但他还是以大局为重，忍下了心中的不满。
而就在张飞阵亡后，诸葛亮调整了部署，其中之一便是撤销垫江的军队，严颜上书坚决反对撤销垫江军队。
他是巴郡太守，他很清楚垫江的军事价值，他知道一旦垫江撤军，西楚军一定会绕过江州，以垫江为后勤基地。
他在上书中写得很清楚，水战不是陆战，陆战不能绕过战略节点，否则后方不稳，后勤补给线容易被切断，但水战不同，军队不可能跳进长江作战，需要借助船只，可一旦失去船只，江州守军寸步难行。」
虽然他的报告切中要害，但诸葛亮从大局考虑，还是决定放弃垫江，集中兵力拱卫成都。
严颜又一次被拒绝，他彻底心冷了。