一次，有人拿了一幅南唐画家徐熙的《牡丹图》求售，索钱20万文。他们留在家中玩赏了两夜，爱不释手。但是，计无所出，只好恋恋不舍地归还了人家。为此，“夫妇相向惋怅者数日”。新婚后的生活，虽然清贫，但安静和谐，高雅有趣，充满着幸福与欢乐。

可惜好景不长，朝廷内部激烈的新旧党争把李家卷了进去。李清照出嫁后的第二年，也就是宋徽宗崇宁元年（1102年）七月，其父李格非被列入元佑党籍，不得在京城任职。其时被列党籍者17人，李格非名在第五，被罢提点京东路刑狱之职。九月，徽宗亲书元佑党人名单，刻石端礼门，共120人，李格非名列第二十六。而在同一年，赵挺之却一路升迁，六月除尚书右丞，八月除尚书左丞。为救父之危难，李清照曾上诗赵挺之。对此，张尝谓：“（文叔女上诗赵挺之）救其父云：‘何况人间父子情’，识者哀之。”（《洛阳名园记》序）晁公武亦云：“（格非女）有才藻名，其舅正夫（挺之字）相徽宗朝，李氏尝献诗云：‘炙手可热心可寒’。”（《郡斋读书志》）惜均未奏效。被罢官后的李格非，只得携眷回到原籍明水。

朝廷党争愈演愈烈，李格非“元佑党人”的罪名竟株连到李清照身上。崇宁二年（1103年）九月庚寅诏禁元佑党人子弟居京；辛巳，诏：“宗室不得与元佑奸党子孙为婚姻。”（《宋史》卷十九《徽宗本纪》）崇宁三年（1104年），“夏，四月，甲辰朔，尚书省勘会党人子弟，不问有官无官，并令在外居住，不得擅自到阙下”（《续资治通鉴》卷八十八）。据此，李清照与赵明诚这对原本恩爱的夫妻，不仅面临被拆散的危险，而且偌大的汴京，已经没有了李清照的立锥之地，不得不只身离京回到原籍，去投奔先行被遣归的家人。

李清照像

政治风云变幻，世事翻覆莫测。崇宁四年（1105年）暮春，赵挺之始除尚书右仆射兼中书侍郎。六月，“（因）与（蔡）京争权，屡陈其奸恶，且请去位避之”，遂引疾乞罢右仆射（《宋史·赵挺之传》）。仅仅过了半年多，崇宁五年（1106年）二月，蔡京罢相，赵挺之复授尚书右仆射兼中书侍郎。与此同时，朝廷毁《元佑党人碑》，继而大赦天下，解除一切党人之禁，李格非等“并令吏部与监庙差遣”（《续资治通鉴拾补》卷二十六），李清照也得以返归汴京与赵明诚团聚。但是，宋徽宗大观元年（1107年）正月，蔡京又复相，无情的政治灾难又降到了赵氏一家头上。三月，赵挺之被罢右仆射后五日病卒。卒后三日，即被蔡京诬陷。家属、亲戚在京者被捕入狱，因无事实，七月狱具，不久即获释。但赵挺之赠官却被追夺，其子的荫封之官亦因而丢失，赵家亦难以继续留居京师。李清照只好随赵氏一家回到在青州的私第，开始了屏居乡里的生活。

李清照、赵明诚屏居青州，始于宋徽宗大观元年（1107年）秋。次年李清照25岁，命其室曰“归来堂”，自号“易安居士”。

“归来堂”，取义于陶渊明《归去来兮辞》。其时，曾对清照极为称赏的文学家晁补之与李清照之父同以党籍罢官归隐，自号“归来子”。晁补之在故乡缗城（今山东金乡）修“归去来园”，园中的堂、亭、轩皆以《归去来兮辞》中之词语命名（见晁补之《归来子名缗城所居记》）。李清照、赵明诚以“归来堂”名其书房，盖出于对晁补之的仰慕，步其后而模仿之。《归去来兮辞》中有“倚南窗以寄傲，审容膝之易安”句，清照自号“易安居士”，当亦取其中之雅意。“归来堂”中，李清照与赵明诚虽然失掉了昔日京师丞相府中的优裕生活，然而却得到了居于乡里平静安宁的无限乐趣。他们相互支持，研文治学创作；他们节衣缩食，搜求金石古籍，度过了一段平生少有的和美日月。在《金石录后序》中，李清照对此作了较为详尽纺叙述：

后屏居乡里十年，仰取俯拾，衣食有余。连守两郡，竭其俸入，以事铅椠。每获一书，即同共勘校，整集签题。得书、画、彝、鼎，亦摩玩舒卷，指摘疵病，夜尽一烛为率。故能纸札精致，字画完整，冠诸收书家。

青州古城是古齐国的腹心地区，是古老的文物之邦，丰碑巨碣，所在多有，三代古器，时有出土。赵明诚夫妇在当地收集到《东魏张烈碑》、《北齐临淮王像碑》、唐李邕撰书《大云寺禅院碑》等一大批石刻资料。益都出土的有铭古戟，昌乐丹水岸出土的古觚、古爵，陆续成为他们的宝藏。

政和四年（1114年）新秋，赵明诚题“易安居士三十一岁之照”，云：“清丽其词，端庄其品，归去来兮，真堪偕隐。政和甲午新秋，德父题于归来堂。”（《易安居士画像》及赵明诚题词，近人多判其伪。但据《上海师范大学学报》1987年第二期吴金娣《有关赵明诚、李清照夫妇的一份珍贵资料》一文介绍，上海博物馆藏《欧阳修（集古录）跋尾》赵明诚墨迹与《画像》题词墨迹相比较，许多字的字形结构与运笔都甚相似。以此该文认为《画像》题词确为赵明诚手迹。）

政和七年（1117年），在李清照的襄助下，赵明诚大体上完成了《金石录》的写作。除自作序言外，还特请当时着名学者刘跂题写了一篇《后序》。史称，赵明诚撰《金石录》，李清照“亦笔削其间”（张端义《贵耳集》卷上）。

宋徽宗宣和三年（1121年），李清照38岁。春、夏两季仍在青州。四月二十五、二十六日，赵明诚尝游仰天山水帘洞并题名刻洞内石壁。不久即知莱州。初，李清照未同行。至秋八月，清照才由青州赴莱州。途经昌乐，宿于驿馆，作《蝶恋花·晚止昌乐馆寄姊妹》，表达对青州姊妹的惜别之情。八月十日，清照到达莱州，又作《感怀》诗一首。诗前有小序云：“宣和辛丑八月十日到莱，独坐一室，平生所见，皆不在目前。几上有礼韵，因信手开之，约以所开为韵作诗。偶得‘子’字，因以为韵，作感怀诗云。”