김정렬은 인천과 접경해 있는 경기도 소래(蘇萊) 태생으로 1933년 보성전문(普成專門) 법과를 졸업했다. 1945년 광복 이후 서울지방법원 판사를 시작으로 인천지원 판사를 역임했고, 1950년에는 인천지원장(仁川支院長)과 부장판사로 승진하였다. 법관으로 재직 중이었던 1954년 제2대 민선 인천시장에 무투표로 당선되었다. 재임 중 인천체육회장과 한국문화단체총연합회 인천시위원장을 역임, 체육 발전과 문예 진흥에 많은 공헌을 했다. 곧이어 제3대 민선 인천시장에 무투표로 당선되어 국내 유일의 무투표 당선 시장이 되었다.
4·19 의거 후, 제2공화국 심계원(瀋計院) 차장에 선임되기도 하였다. 1967년 인천에서 민정당(民政黨)으로 출마하여 제7대 국회의원에 당선되었다. 1974년 67세로 작고할 때까지 변호사로서 활동하였다.