吴祭第6代孙,家住福建福州府闽县西坊二图,32岁中 举,公元1039年,45岁时考取进士。由于他文武兼备,大器晚成,中进士不久,被选入枢密院任职。公元1052年,他以参军身份随狄青大将到广西平叛,立功后,晋升为枢密副使。宋仁宗把狄青贬到地方去后,吴廷瑜晋升为枢密使。