久安背翰林祠前修有四柱三楼歇山顶全木结构木牌坊,主楼檐下饰七层如意斗拱,两附楼檐下饰四层如意斗拱。枋额为“翰林祠”,过木牌枋为翰林祠三开大门,门后建有八柱全木结构歇山顶戏台,戏台两厢及楼上建有厢房,中央是长方形天井,两侧设有便门,以疏散看戏、集会的人流。过天井拾级而上为下座的前厅。前厅檐下饰如意凤昂斗拱三层,中悬“威震南邦”匾额。过前厅,经天井到中厅,再经中厅过天井而到上厅,均为硬山木结构建筑。上座连续在下座的后厅后,分前、后两厅,中间有天井相隔。全祠大木构架采用穿斗、抬梁式混合木构架。梁架上有动物花卉雕刻,翰林祠除上座后厅为供奉李氏历代祖妣神位专用外,其余各厅均为村人公益活动场所。原厅内悬挂有许多牌匾、楹联。文革中被毁,今不存。
久安背村,背山面水,四周,九疑山峦如画起伏逶迤。翰林祠屹立村居中,如众星拱月,祠前,池水如境,田畴阡陌。祠内厅堂广阔,依次递进。
宋代建下座三厅,明代建祠前牌坊,后经清代同治三年修葺,清光绪乙酉年(1885)修上座二厅,始成现存的一坊、一门楼、一戏楼、五厅堂、五天井、两厢房的格局。该村村人李世南于宋真宗祥符元年(1017)乙卯科登蔡齐进士榜,授大理寺评事兼太常博士,宝元元年受诏升理寺丞正。后世为纪念李世南而命名为“翰林祠”。久安背翰林祠占地1856.32平方米,建筑面积1500平方米。2006年被列为湖南省第八批文物保护单位。