김연자는 호소력 짙은 목소리와 꺾기 창법이 매력적인 가수이다. 일본에서 열리는 콘서트나 TV 프로그램에 출연할 때 자주 한복을 입고 나오는 것으로도 유명하며, 자신의 이름을 상표로 하여 김치를 판매하는 등 한국과 관련된 활동도 많이 하고 있다. 대한민국에서는 이미자, 주현미, 문희옥 등 정통 트로트를 고수하는 몇 안 되는 가수 중 하나이며 장은숙, 계은숙, 정재은 등 일본에 진출한 대표 한류 가수로도 주목받고 있다.
1974년, 동양방송 TBC '전국가요 신인스타쇼'에서 우승하였고, 같은 해 '말을 해줘요'로 데뷔했다. 이후 '노래의 꽃다발'이라는 트로트 메들리 앨범을 발표하여 1981년 당시 무려 360만장이라는 대기록을 세웠으며 길옥윤이 작사, 작곡을 한 '아침의 나라에서'라는 서울올림픽 찬가를 발표하였다.
일본 데뷔는 1977년에 여자의 일생을 발표하면서였으나, 한동안 히트곡을 내지 못했다. 그러다 1988년, 본인의 노래 '아침의 나라에서'를 일본어로 개사하여 히트시킨 후, 일본을 주 무대로 대형 엔카가수로 성장하였으며, NHK 홍백가합전에도 1989년, 1994년, 2001년에 총 3회 출연하였다.
2001년에는 북조선 김정일 국방위원장의 공식적인 초청을 받고 평양에서 공연을 개최하였으며, 그 외에도 사할린, 상파울로 등 해외 각지에서 콘서트를 개최하고 있다. 그리고 2009년에는 한국 활동을 공식화하여 귀국과 함께 '10분내로'로 활동하기 시작하였다.
흔히 씨름대회에서 자주 울려지는 '천하장사 만만세' 역시 그녀가 부른 것으로, 원래 제목은 '천하장사'이다.