繞過大成殿,即來到後殿崇聖祠。崇聖祠係奉祀孔子五代祖先的殿堂,包括肇聖王木金父公、裕聖王祈父公、詒聖王防叔公、昌聖王伯夏公與啟聖王叔粱紇公等。另外旁邊還配祀孔子的兄長、四配之父與先儒先賢之父等。這種安排,實與中國幾千年來宗族倫理制度有關,孔廟之佈局,也與家廟或宗祠有相通之處。
崇聖祠面寬五開間,崇聖祠室內的樑架與儀門一樣,採露明方式,可以看到屋樑及瓜柱之雕飾。它的屋架使用「三通五瓜式」,即有三支通樑與五支短柱。瓜柱作成金瓜形與木瓜形,造型圓融渾厚,頗能表現力道之美。尤其最上面的獅座,雕出馱負大脊桁重量之架勢,栩栩如生。