他生性诙谐，个性外向不设防，宴请外宾时，谈完正事之后喜欢讲故事。长相俊美的单身汉杨朔总成为严文井开玩笑的对象，如果席间坐着日本作家，他就会请人给杨朔介绍日本女孩做妻子，总是弄得杨朔很尴尬。

“文革”中受到批判的刘白羽1978年获平反，回到军队担任了总政文化部部长。80年代初，作协的一些外事活动也常邀请他参加。他变得很谦虚，不见了过去居高临下的官气，平易近人了很多，林绍纲和他相处得很融洽。

《机构加速业务布局 助推金融市场互联互通》1966年，林绍纲有一次去台基厂的对外友协，碰见正在办公楼一层打扫厕所的杨朔。他双颊微红，面露尴尬地对林绍纲说：“他们说我里通外国，真是无中生有。”第二年，林绍纲又在一个外事场合碰到了杨朔，知道他被解放允许参加一些活动，彼此都很高兴。