“江上荒城猿鸟悲，隔江便是屈原祠。一千五百年间事，只有滩声似旧时。”这是宋代大诗人陆游路过秭归时，目睹了屈原祠在一片残废荒凉之中，心中感慨万千，于是写下了这首七律诗篇。

在屈原抱石沉江500多年后，屈原家乡的人民为了缅怀他，修建了屈原祠。

公元九世纪，也就是唐元和15年（公元820年），时任归州刺史的右神策将军王茂元，了解到屈原是秭归人，然无庙祠以祭，于是便按《史记》及《图经》等典籍所载之描述，组织秭归的父老乡亲及工匠，在归州城东5里的屈原沱，离江水500米的山坡上建起了秭归历史上第一座屈原祠。其“神象章服，悉遵唐制。”并作《楚三闾大夫屈先生祠堂铭并序》，铭文充分颂扬了屈原“先生义特百夫，文雄千古，其忠可以激俗，其清可以历贪。”并对屈原的遭遇深表哀悼。后来这篇铭文被宋代收录于四大书之一的《文苑英华》。

200多年后，到了公元1080年，也就是北宋元丰3年，宋神宗皇帝赵顼诏封屈原为“清烈公”。这是有史书记载以来，中国历史上第一个为屈原封号的皇帝。消息传到秭归后，屈原家乡的人民无不为之高兴。大家自发地组织起来，募捐款项，在屈原沱原址重新修建了一座屈原祠。祠宇为硬山顶，四合院式，有山门、大殿、后殿、配房四大部分组成，总建筑面积约400平方米。这也是屈原祠自修建以来的第一次出现的关于屈原祠的建筑风格、式样、规模的文字资料，取名为“清烈公祠”。

到了元朝泰定初年（公元1324年），时任归州知州的王秃哥不花对清烈公祠…….“尝修之，久而挠无以妥，灵将遂湮废”。经考证，当时州府财力有限，时逢灾荒，且无民力，又无修葺淄重所致。过了18年后，也就是元至正2年（公元1342年），郡长密儿哈吧提议再修，并率先捐款。秭归人民看见官老爷拿出自己的奉银倡导维修屈原祠，于是纷纷解囊相助。正在商议维修方案如何筹集材料之时，忽然长江陡涨洪水，从上游漂流下来许多木材。密儿哈吗迅速组织当地深识水性的船工，到江中捡拾了大量的木材。大者以为栋梁，小者以为榱角，门堂寝室，咸资其用,民欢呼曰：“我侯兴土木，财不伤，民不扰，神输鬼运，阴或相之(?)。”此事被当地百姓相互传颂，成了一则带有神秘色彩的故事。经过两年的努力，新祠落成，郡长密儿哈吗将清烈公祠改为“清烈公庙”，并请湖北道佥宪耶律恒齐出面，邀湖广儒学提举黄清老作《清烈公庙记》以铭。