1950年3月，胡宗南黯然来到台湾，暂且安身在花莲。这时，当年曾统帅40万大军的他，身边只剩下了6名随从。
失败的阴影，前途的渺茫，都让胡宗南的心情极为低落。在花莲，胡宗南对他的部下说：“我们不应该到这里来。”此时，面对浩瀚的太平洋，他仍对自己的部队念念不忘。在他的第一军中，许多将官都是他一手从王曲军校带出来的，而这些人大都已在川西零落殆尽。
根据王曲军校学生徐枕的说法，胡宗南原本是打算留在西昌的，当时蒋介石让他飞往台湾，但是他不肯走，而是对部下说：“今天我跟你们喝一杯，送你们走。”最终，胡宗南被部下“生拉硬拽”上了飞机。
然而到了台湾，他的厄运并没有结束。刚刚飞到台湾时，蒋介石和陈诚都没有见他，到了花莲，也没有人来看望他。不仅仅如此，失去了部队的他，现在甚至要为整个国民党政府的失败负责。
1950年5月，台北“监察院”内，45名“监察委员”气势汹汹地联名弹劾胡宗南。这一篇洋洋数千言的弹劾文在列举了胡宗南进驻陕甘后的权力膨胀之后，又历数了他在西北、四川的一连串败绩，认为国民党政府之所以会“失去大陆江山”，胡宗南“应负重大之罪责”。
这一场弹劾案迅速在小小的台湾掀起轩然大波，来台的胡宗南部属愤愤不平，要到“监察院”去闹事，但都被胡宗南压了下来，他认为，是非自然会有公论，“假如应该我负的责，我当然要负责。”
领军多年的胡宗南，在这个时候表现出了常人少有的镇静。最终，这一场弹劾案在各方面的斡旋下不了了之，使胡宗南避免了“军法会审”。
但是，经历了这一场风波后，胡宗南那“西北王”的历史也彻底画上了句号