《伦语》里有这样一个故事：孔子的弟子子贡曾在朝廷铺佐鲁君。有一次，鲁国大夫叔孙武叔在朝廷上对大夫们说：“子贡比孔子强些。”在场的子贡就打了个比喻说:“人的学问好比宫墙,我的这道墙不过肩头，人们一眼就可以看见墙内的一切；我的老师孔子的那道墙有数仞高，如果找不到他的门，就无法看到墙内宗庙的雄伟和房舍的多姿多彩。”叔孙武叔听了这番话，顿时为自己的浅薄感到无地自容。
古时七尺或八尺叫作一仞，后人觉得“夫子之墙数仞”不足以表达出对孔子的敬仰，于是明胡缵宗题写了“万仞宫墙”镶在仰圣门上。清乾隆皇帝为表示对孔子的尊崇，又换上了自己御笔书写的“万仞宫墙”四个大字。仰圣门后孔庙门前有“金声玉振坊”，其名源于《孟子》。孟子对孔子作过这样的评价：“孔子之谓集大成。集大成者，金声而玉振之也。金声也者，始条理也；玉振之也者，终条理也。”