임세재는 경종 4년(1724) 영흥도 내리에서 임영운(林榮運)의 아들로 태어났다. 그는 무과에 급제하여 여러 벼슬을 지내고 변방 수비에 공헌하였으며, 수신사(修信使) 무관으로 일본을 다녀왔다. 여러 고을 사또를 지낸 끝에 보성군수(寶城郡守)로 재직 중 세상을 떠났다. 왕은 그의 공정을 애도하여 운상장조(運喪葬祖)케 하였으며, 정1품 숭록대부(崇祿大夫)의 직을 추증받았다. 고려 말 영흥도에 이주한 임익보(林翼補)의 후손이기도 하다.