他生性诙谐，个性外向不设防，宴请外宾时，谈完正事之后喜欢讲故事。长相俊美的单身汉杨朔总成为严文井开玩笑的对象，如果席间坐着日本作家，他就会请人给杨朔介绍日本女孩做妻子，总是弄得杨朔很尴尬。

严文井不大参与日常事务，听汇报或者批阅公文通常只谈原则，不给具体意见。他爱猫，最多时家里养过七只。他喜欢西洋音乐，常去琉璃厂淘唱片，家里有几百张奏鸣曲和交响乐的唱片。开会时，他常偷偷给人画肖像，好友张天翼、赵树理经常成为他的素材。

《三部门统一信披规则 推进债券市场互联互通》这期间，林绍纲的家搬进了王府大街黄土岗胡同13号作协宿舍大院。他的住处是三间东厢房，房间虽小，但花砖铺地，很有气派。《文艺报》副主编冯牧则搬进了西厢房，与他家遥遥相对。