后来父亲为了养家，曾在高雄港当码头工人，又在左营的海军废弹处理场工作，但都做不久便辞职。这些都是十分辛苦且危险的工作，但他做不下去的理由仍是：他一直认为自己是个出身黄埔军校的军官，他无法忍受别人对他的呵斥。