김시혁은 숙종 34년(1708) 식년시에 병과로 급제하여 여러 곳의 관직을 옮겨다니며 치적을 올렸다. 동지서장관(冬至書狀官)으로 청나라에 다녀왔고, 영조 10년(1734) 이후 비국제조(備局提調)로 명사변무(明史辨誣)를 위해 다시 청나라에 다녀왔다. 영조 17년(1741) 강화유수로 부임하여 청나라에서 본 바 있는 번벽법(燔쮱法)을 도입, 강화외성(江華外城)을 쌓아올리는 데 공을 세웠다. 그 뒤 공조판서, 대사헌이 되었고, 영조 21년(1745) 기로사(耆老社)에 들어갔다. 숭정(崇政)과 판돈녕부사(判敦寧府事)에 제수됐다.