일찍이 산수 좋고 경치 좋기로 유명한 영흥면 외리에는 예부터 김씨 문중 사람들이 살고 있었다. 본래 나주 김씨인데 흔히 그 김씨들을 보고 말하기를 노가리 김씨라고 부른다. 그렇게 노가리 김씨라 불린 연유는 수백 년 전으로 거슬러 올라간다. 
옛날부터 이 마을에는 나주 김씨들이 모여 살았다. 그러나 문중에서는 이름난 인물이 하나도 배출되지 못했다. 그래서 김씨 문중의 모든 사람들은 문중을 빛낼 인물이 나오기만을 염원하고 있었다. 그러던 어느 날 이 마을에 힘이 센 장사 하나가 태어났다.
김씨 문중의 어떤 젊은 며느리가 시냇가에 가서 빨래를 하던 중이었다. 수양버들이 드리워진 맑은 시냇가에서 빨래를 하고 있는데 윗쪽에서 복숭아 세 개가 떠내려 오는 것이었다.
여인이 이상히 여겨 이를 물에서 건져내어 한 입 먹어 보았다.
그 향기가 이 세상의 것이 아니었다. 두 번째 것을 먹으니 온 몸에서 힘이 솟고 피부가 우유빛으로 변했다. 세 번째 것은 걸음을 걸을 때 땅을 밟는 것 같지 않을 정도였다. 그렇게 세 개를 먹고 돌아온 지 며칠 안 되어서 아이를 배게 되었고, 여덟 달 만에 아이를 낳았다. 열 달을 못 채운 아이에 대해 틀림없이 어디가 모자랄 것이라고 추측하고 있던 문중 어른들은 깜짝 놀라고 말았다. 갓난아이가 두 팔을 양쪽으로 벌리고 공중으로 약간 솟아오르듯 나는 것이었다. 놀란 어른들이 얼른 그 아이의 겨드랑이를 살펴보니 날개가 돋아 있었다. 이에 문중 사람들이 모두 입을 모아 장차 장성하면 큰 장사가 될 것이라고 말했다.
그날 밤이었다. 아이 어머니 꿈에 웬 승려가 나타나 말했다.
“그 아이의 날개는 본디 하늘나라 천마(天馬)의 것이니라. 옥황상제의 노여움을 산 천마가 날개를 잃고 대신 이 아이에게 그 날개를 준 것인 즉, 그 아이에게 엄청남 힘과 용기가 생길 것이니라. 부디 잘 키워 가문을 빛내고 나라에 충성할 수 있는 인물이 되게 하라.” 
깜짝 놀라 꿈에서 깨어나니 주위는 조용했다.
이 아이에 대한 소문은 곧 영흥도에 파다하게 퍼져 갔고 모두가 이 아이에게 큰 기대를 걸면서 장차 이름을 날릴 것을 의심치 않았다. 과연 아이는 여느 아이와 달랐다. 마을에 홍수가 나서 물이 넘치면 산에 있는 커다란 나무들을 뿌리째 뽑아 던져 물을 막을 정도로 말 그대로 천하장사였다.
이렇게 남달리 힘이 센 장사라 그의 소문은 온 나라 안에 삽시간에 퍼져 힘 겨루기 좋아하는 사람들은 그를 한번 만나 보려고 했다.
그러나 그의 부모는 그에 대한 소문이 그를 죽음으로 몰고 갈지 모른다는 생각을 했다. 매일 관아에서 사람이 나와 그의 주변을 조사하기도 했다. 그의 부모들은 그 아이의 겨드랑이 밑에 있는 날개를 잘라 버리기로 했다. 아이가 잠이 들자 부모는 칼을 들고 아이의 방으로 들어가 겨드랑이에 돋은 날개를 도려냈다. 날개가
방바닥에 떨어지자마자 천마로 변하더니 지붕을 뚫고 하늘로 올라가 버렸다. 날개를 잃어버린 김씨 장사는 보통 사람보다도 더 허약한 몸이 되고 말았다.
한때 커다란 나무도 단숨에 뿌리째 뽑아 버렸던 유명한 장사가 이젠 허약한 몸이 되어 평범한 사람들에게도 꼼짝 못하고 당하는 신세가 되었다. 부모의 한 순간의 선택으로 장사에서 나약한 몸으로 전락해 버린 김 장사는 동네 사람들의 야유 속에 집을 떠나 산천을 헤매는 비참한 신세가 되었다.
워낙 힘이 허약해진 터라 이리저리 헤매다 강가에 쓰러져 버린 그를 충청도 지방의 한 늙은 뱃사공이 발견했다. 겨우 목숨을 건진 그는 뱃사공을 도와 배를 타며 아산 지방에 살았다. 그는 가끔씩 자신의 기구한 운명을 한탄하기도 했으나 허약한 몸으로나마 뱃사공 일을 하는 데 감사했다.
세월이 흘러 늙은 뱃사공이 세상을 떠나자 그는 그 나루터를 이어받은 뱃사공이 되었다. 그 누구도 그가 한때 모든 사람들이 부러워하고 기대하던 기운 센 장사라고는 생각지 않았다. 단지 몸이 약한 뱃사공으로밖에는 보이지 않았다. 그리고 그는 평생을 오가는 행인들을 태워 주는 뱃사공으로 늙어 거기서 일생을 마쳤다 한다. 
결국 영흥면의 유명한 장사로 태어난 그는 김씨 가문의 떠들썩한 칭찬과 기대에도 불구하고 평범한 뱃사공으로 늙어 죽는 비참한 운명을 맞이하게 된 것이다.
나주 김씨 문중에 천하 장사 있다는 떠들썩한 소문은 그 문중에서만 인정받을 뿐 다른 문중 사람들은 이런 나주 김씨 문중의 허풍이 심한 소문을 비웃으며 나주 김씨를 노가리 김씨라 부르게 되었던 것이다.