1905년 러시아 우크라이나 지방의 작은 마을 유태인 부락에서 우유가공업으로 생계를 유지하는 테비에(하이만 투폴 분)는 가난한 삶에도 불구하고 신앙심이 깊은 남자다. 그는 수다스런 아내 고르데와 다섯 명의 딸들과 함께 행복하게 살아간다. 그러던 중 장녀 짜이텔이 아버지와 상의도 없이 양복점 직공을 사랑한다며 그와 결혼을 하겠다고 한다. 전통을 존중하는 테비에는 별로 내키지 않았지만 딸 아이의 의지를 꺾을 수 없는 처지라 결혼을 승낙하고 만다. 그런데 결혼식이 열리는 식장으로 러시아 경관이 들이닥쳐 식장은 수라장이 되고 만다. 러시아 혁명의 바람이 불기 시작했던 것. 우여곡절 끝에 장녀의 결혼을 마쳤더니 이번에는 둘째딸이 가난한 밀본과 결혼을 하겠다고 하더니, 또 셋째까지 러시아 청년과 사랑에 빠져서는 몰래 도망쳐버린다. 그러는 와중에도 러시아의 정국은 더욱 악화되고, 그 여파는 아나태프카의 마을에도 밀어닥친다. 유태인 퇴거명령이 떨어진 것. 결국 테비에를 비롯한 유태인들은 정든 땅을 버리고 미국에서의 재회를 약속하며 마을을 떠나간다.