프랑스의 항구도시 마르세유 뒷골목에서 형사가 살해된다. 뉴욕에서는 형사 도일(진 해크먼)과 그의 파트너 루소(로이 샤이더)가 마약 밀매인을 붙잡아 밀매 경로를 추궁하지만 밝혀지지 않는다. 도일과 루소는 마약밀매 조직을 소탕하기 위해 마약사범 체포에 열을 올리는 뉴욕경찰서의 강력계 형사들이다. 그들은 용의선상에 오른 나이트클럽을 덮쳐 범인을 체포하고, 그 클럽이 프랑스 마르세유의 마약밀매 조직과 연관된 국내 최대의 마약밀매 중심지라는 사실을 밝혀낸다. 바로 그 두 사건을 연결시키는 범죄 루트가 '프렌치 커넥션'이라 불리는 대조직이었다. 마르세유에서 반입되어 온 대량의 헤로인을 쫓던 뉴욕경찰의 형사는 조직의 두목 샤르니에(페르난도 레이)를 추격하다 오히려 샤르니에에게 쫓겨 죽을 고비를 간신히 모면한다. 도일은 그들의 거래 현장을 덮쳐 밀매조직을 소탕하기로 결정하고 범인들의 차량을 잡았다가 일부러 풀어준 후 최후의 결전을 기다린다. 범인들의 차량에서 나온 120파운드의 마약을 미끼로 샤르니에를 유인한 도일과 루소는 격렬한 총격전 끝에 일당을 일망타진한다.