1957年夏季的一天早上，一辆小轿车把林绍纲接到东总布胡同22号，接上刘白羽后，驶往天津。

从红漆大门进去，是一座中西合璧的豪华三进院落。穿过前院迎面假山中间的月亮门，是一座四合院，七间北房，东西各四间厢房。再后面是一个种满花草树木的院子，主楼是一座绿色琉璃瓦顶的三层楼房。整个院落由木质雕花回廊连接。

《教育部部署2021年面向港澳台地区招收研究生工作》评论家黄秋耘写了很多当时看来完全够右派资格的文章，林绍纲至今记得他有一篇文章叫《刺在哪里》，文辞严厉。但邵荃麟是黄秋耘在香港做地下工作时期的老领导，对他知根知底，党组会上将他力保了下来，只做留党察看。