1952年，高文彬被判刑。1953年，他的妻子就跟他离婚了，法院把大女儿判给他，由他母亲抚养。从此，当年东京大审判的功臣沦为中共暴政下的囚徒，妻离子散。他本应在1962年刑满释放，但中共的法律就是儿戏，刑满不释放，而是变了一个说法，叫“留场就业”。他被“留”在永桥农场，当了一名初中英文教师。
据《南京大屠杀在公众记忆中的消失》记述，在高中历史课本都不记入南京大屠杀的前提下，当时他写的《关于谷寿夫、松井石根和南京大屠杀事件》遭到了莫须有的指责，被扣上煽动“民族仇恨”、“鼓吹战争报复”，还有人甚至从截然相反的方面指责文章夸耀侵略者的勇猛，为军国主义张目，近乎“汉奸”、“卖国贼”等。他也因此被强制要求在外交部内扫厕所，写外调材料，并被造反派抄家。
