赵光义继位后首先改年号为“太平兴国”，表示要成就一番新的事业。任命其弟赵廷美为开封府尹兼中书令，封齐王，侄赵德昭为节度使和郡王，赵德芳也封为节度使。宋太祖和赵廷美的子女均称为皇子皇女，宋太祖的三个女儿为国公主。宋太祖的旧部薛居正、沈伦、卢多逊、曹彬和楚昭辅等人都加官晋爵，他们的儿孙也因此获得官位。而一些宋太祖在世时曾加以处罚或想要处罚的人，赵光义都予以赦免。
不过，赵光义注重培养和提拔自己的亲信。其幕府成员如程羽、贾琰、陈从信、张平等人都陆续进入朝廷担任要职，慢慢替换宋太祖朝的大臣。此外，赵光义还罢黜了一批元老宿将如赵普、向拱、高怀德、冯继业和张美等，将他们调到京师附近做官，便于控制。赵光义扩大科举的取士人数，他在位时期，第一次科举就比宋太祖时代最多的数字猛增了两倍多。科举使不少有才华之人都有机会入仕。
赵光义稳固帝位后，继续统一事业。太平兴国三年（978年），在宋朝的政治压力下，割据福建漳泉两府的陈洪进，割据两浙的吴越钱氏相继向宋廷纳土归降。
太平兴国四年（979年）正月，赵光义先派大将潘美等挥师北上，围攻北汉都城太原，赵光义于二月率军亲征，宋军击退辽国援兵，灭亡北汉，终于结束了自唐末黄巢之乱以来近九十年藩镇割据混战的局面，再次形式上一统全国。
同年五月，赵光义不顾众臣反对，趁伐取北汉之势，从太原出发展开北伐。北伐初期一度收复河北易州和涿州。赵光义下令围攻燕京，宋军与辽人在高粱河畔展开激战。赵光义亲临战场，结果受伤中箭，乘驴车仓惶撤离，北伐失败。
太平兴国五年（980年），宋朝知邕州太常博士侯仁宝上奏赵光义，请求趁交趾（越南）丁朝内乱之机南下讨伐，恢复汉唐故疆，统一交趾（越南）。于是，赵光义任命侯仁宝为交州陆路水路转运使；任命兰陵团练使孙全兴、漆作使郝守俊、鞍辔库使陈钦祚、左监门将军崔亮为兵马都部署；宁州刺史刘澄、军器库副使贾湜、供奉官阁门祗候王僎为兵马都部署，伺机进攻丁朝。但在太平兴国六年（981年），白藤江之战中先胜后败，统一交趾（越南）的计划最终成为泡影，交趾（越南）得以保持独立地位。
雍熙三年（986年），赵光义派遣潘美、杨业、田重、曹彬、崔彦进五位大将分东中西三路，以东路为主再行北伐。西路、中路军进军顺利，而主力东路军屡遭辽军挫败，粮道被切断，终未能与中西二路汇合，于岐沟关大败而溃。中、西二路亦只得南撤。西路主将杨业因掩护军民南撤被辽军俘虏，在狱中绝食三日而死。之后，北宋在对西夏党项族的三川口、好水川、定川寨等战役中屡次失败，但因其厌战，与宋廷议和。赵光义以亲信傅潜、王超、柴禹锡、赵镕、张逊、杨守一及弭德超等为禁军统帅，多庸碌之徒，临阵惧战。
淳化四年（993年）农历二月，宋太宗赵光义为展现京城开封的祥和气氛和自己的仁君形象，故下诏赐给京城年事已高者御寒衣物，百岁老人则另外加赐涂金带。恰好这一天，京城大雪纷飞，天气异常寒冷，因此，宋太宗立即又派遗中使赐给孤老贫穷者每人千钱及若干米、炭。作为北宋最高统治者的宋太宗，能够在寒冷的冬季，心系天下苍生，于是，从宋太宗开始，“雪中送炭”的典故就流传开来。四川爆发王小波和李顺发动的农民起义。起义军所到之处调发富家大姓除生活品外一切财产于众，得到蜀地农民呼应。次年正月，起义军占据成都，建立大蜀政权，赵光义得知后派遣两路大军讨之，起义军终于至道二年（996年）彻底失败。
赵光义的长子赵元佐自幼聪明机警，长得又像赵光义。赵元佐有武艺，善骑射，还曾经随赵光义出征过太原、幽蓟。本是最合适的皇储。不料赵元佐却因叔父赵廷美冤死而发疯。