거북제를 지내는 장소는 서도 해상방파제이다. 거북제는 거문리와 죽촌 사이의 해상에서 풍어제가 끝난 뒤 점심 식사를 하고 오후 1시경부터 시작하는 용왕제를 마친 뒤 오후 2시 30분경부터 시작한다.

거북제를 지내게 된 유래를 살펴보면 다음과 같다. 이 유래는 서도리 주민 이대춘[73세]이 어렸을 때 직접 구경하였던 사실을 바탕으로 한 것이다.

때는 1948년 음력 8월경 거북 한 마리가 서도리 큰갓지미 흰 바위 부근 해변에 올라왔다. 파도에 밀려 부상을 당한 거북을 마을에 옮겨다 놓았다. 옆구리가 다친 채로 기어 다니는 거북을 어린아이들이 구경하고 있는데, 서도리 거주 오모·김모 영감 외 1인이 이를 잡아먹었다. 이후 잘 나던 어장이 수년간 나지 않고 흉년까지 들게 되자 민심이 흉흉하게 되고 마을사람들이 당사자들을 다스리자는 여론이 분분하게 일었다. 뜻있는 사람들이 ‘이는 필시 용왕의 사자인 거북을 죽게 함이었으니 이를 달래줌으로써 우리가 살 수 있는 길이 생길 것’이라 하여 서도리 어업인들이 주축이 되어 제사를 모셨더니 그해 여름부터 어장이 형성되어 잘 살게 되었다는 데 그 연유가 있다.

그 후 거북제는 한동안 전승이 중단되었는데, 1994년도 제9회 풍어제 때 수협에서 전래의 풍속을 되살리자는 의미에서 거북제를 흡수하였다. 그리고 제물을 차려 서도리마을에서 정성껏 제를 모셨다. 그랬더니 그해 여름 서도리 뒤편에 예년에 없던 갈치의 풍어를 이루게 되었다 한다.