그러나 최영은 “제가 만약 소환에 응하여 대궐에 들어간다면 군사들도 반드시 뒤 따를 것이니 군사를 이끌고 대궐에 나아간다면 저의 죄는 처형되어야 마땅합니다. 또한 제가 어찌 기꺼이 대궐에서 죽으려하지 않겠습니까마는, 저를 들어오라 하신 것이 주상의 뜻이 아니라고 판단해 감히 나아가지 않을 따름입니다. 제가 비록 보잘것없는 몸이나 매우 큰일을 담당하고 있으므로 만약 간악한 자의 손에 죽는다면 국가가 위태로워질 것입니다”라며 거절했다.

우왕은 한참 침묵을 지키다가 경복흥과 목인길(睦仁吉)을 불러들이고는 울면서 말했다. “이 여인이 나를 길렀으니 곧 나의 어머니와 같다. 아들이 그 어미의 목숨을 어찌 구하고 싶지 않겠는가? 경들이 이미 나를 임금으로 삼은 터에 내가 어찌 유모 한 사람조차 구해낼 수 없단 말인가? 제발 놓아 보내고 죄를 묻지 말도록 하라.” 경복흥도 눈물을 흘렸으나 어찌할 도리가 없었다.

우왕이 사람을 시켜 태후(太后)더러 장씨를 내쫓은 일이 있었던가를 묻자 태후는 “고금에 그런 예가 있었는지를 따질 필요가 있는가? 상황에 맞추어 적절히 대응해야 한다”고 회답했다. 경복흥과 목인길도 태후의 말과 같이 건의했으나 우왕은 받아들이지 않았다. 대성(臺省)과 백관(百官)들이 장씨를 국문하라고 요청했으나 역시 받아들이지 않고 사람을 시켜 대사헌(大司憲) 우현보(禹玄寶)더러, 백관들을 데리고 물러가라고 지시했다.

그러나 우현보(禹玄寶)는 “제가 물러가더라도, 백관들이 필시 따르지 않을 것이니, 청컨대 속히 장씨를 하옥하소서”라고 말했다. 백관들이 장씨의 죄상을 자세히 태후에게 아뢰자 태후도 “어찌 한 여자 때문에 나라 전체를 실망시켜서야 되겠는가? 장씨를 속히 내보내라”고 말했다.

이에 장씨가 우왕에게로 숨어들어 나가려하지 않자, 우왕이 차마 내보내지 못하였다. 태후가 우왕더러, “차라리 내가 별궁(別宮)으로 옮겨가서 더 이상 이 일에 대해 듣지 않으려 한다”고 하면서 수레를 대령시켜 별궁으로 가려했다. 그제야 우왕이 마음을 달리 먹고 장씨를 이인임의 집으로 보내면서 죽이지는 말라고 타이른 후 국대부인(國大夫人)의 봉작을 삭탈했다.

최영이 대궐로 나아가 사과하면서, “전하께서 사악한 자를 물리치시고 저를 의심하지 않으시니 저도 심히 기쁩니다. 다만 신이 불충하다고 꾸짖으시니 참으로 실망스럽습니다”라고 하자 우왕은 “다급한 김에 나도 몰래 실언했으니 깊이 후회하고 있소”라고 변명했다. 문하평리(門下評理) 김유(金庾)가 최영더러, “신하의 몸으로 임금에게 항거한 것은 어쨌든 옳지 못한 태도가 아니냐?”고 따지자, 최영이 우왕에게 말해 김유를 하옥시켰다가 합포(合浦:지금의 경상남도 마산시)로 유배 보냈다. 대간(臺諫)과 중방(重房)에서 상소해 극력 간쟁한 결과 장씨를 유배 보내고 허완(許完)·윤방안(尹邦晏)·강유권(康侑權)·원순(元順)·원보(元甫)와 장씨의 양녀 남편인 상호군(上護軍) 손원미(孫元美)를 참수했다. 손원미의 형인 지춘주사(知春州事) 손원적(孫元迪)을 장형에 처한 후 유배 보냈다.(이상 『고려사』 열전 최영)

어머니와 다름없는 사람이니 죄를 묻지 말아달라는 우왕의 간곡한 부탁으로 처벌을 면하고 장씨를 궐에서 추방하여 이인임의 집으로 보내는 것으로 일단 마무리됐다. 그러나 장씨는 대간과 중방의 상소로 국대부인(國大夫人)의 작위를 삭탈당하고 고향인 지평현(砥平縣)으로 유배를 당하고 말았던 것이다.〔『고려사』세가, 우왕 5년(1379) 기미년 12월:『고려사』 열전 최영 전에도 같은 내용이 적혀있다.〕

“우왕이 이림(李琳)과 그의 모친 이씨(李氏) 및 아내 홍씨(洪氏)를 위해 궁궐에서 잔치를 열어주고, 홍씨에게 변한국대부인(卞韓國大夫人)의 인장을 내려주었다. 이림 등이 퇴장한 후에도 우왕은 환관과 어울려 풍악을 잡히고 매우 즐겁게 놀았는데 조금 있다가 정색하고 이렇게 말했다.
“옛 사람이 ‘사람은 옛사람을 구하고 옷은 반드시 새 옷을 구해야 한다’고 말했다. 지금 신료들이 내 곁에서 나의 잘잘못을 일러 주면서 나를 잘 이끌어 주고 있으니 비록 누가 참언을 하더라도 나는 결코 곧이듣지 않으리라. 과거에 유모 장씨가 나를 꾸짖고 회초리로 때리기까지 했으니 나라가 생긴 이래 나처럼 요물(妖物)의 손에 곤욕을 치른 경우는 없었다. 다행히 사헌부(司憲府)에서 죄를 밝혀 낸 덕분에 요물이 멀리 유배되고 궁중이 적이 안정을 되찾게 되었다. 밖으로는 국가 원로들과 큰 덕을 갖춘 이가 있어 모든 정사를 함께 의논하고 안으로는 너희들과 함께 술에 취하여 즐기니 거리낄 게 아무것도 없구나!”〔『고려사』,세가, 우왕 5년(1379) 기미년 12월〕

우왕은 생전에 장씨를 어머니로 여길 정도로 각별히 대했다. 또한 장씨의 고향이라는 이유로 360년 동안 광주목에 속해 있던 지평을 현으로 승격시켜 감무(監務)를 두게 했다. 뿐만 아니라 시중 경복흥과 이인임에게 토지와 노비를 내려 줄때에는 재상인 이들과 같은 양의 토지와 노비를 내려 주었다. 그런 장씨를 끝까지 돌보지 못하고 유배 보낸 후 우왕의 소회와 심적 고통을 마음에도 없는 말로 토로하며 스스로를 달랬던 것이다.