魏增贵2004年退休，2009年担任岚县老年艺协主席。

他积极创作书法、绘画、歌曲作品。2006年他的书法作品入选山西省首届老干部艺术节“书画摄影工艺品展”并获奖，被吕梁市“全市老少手牵手共建和谐新吕梁”书画作品集收录。

他组织艺协书画组的作品多次参加省市县的展览，剪纸、面塑多次参加省市有关活动，现场创作作品并获奖。他还组建了一支50多人的老干部演唱队，参加了普明村首届城乡联谊文艺演唱会，岚县电视台做了采访报道。2011年4月，温家宝总理视察岚县之际，他及时创作歌曲《总理关心咱山里人》，歌舞《岚州颂》、歌曲《岚州是个好地方》、《祝福吕梁》《举世瞩目中华龙》、《伴歌行》《岚州记忆》等文艺作品。去年他组织编创了《国家大事要关心》，搜集整理了揭露日本在钓鱼岛的狼子野心的大量资料，教育国人增强爱国心。