[회고] ML 프로젝트 회고

Keep : 프로젝트 완료 후에도 간직하고 싶은 잘했던 것 / 좋았던 것

Problem : 프로젝트 중 겪었던 어려움(기술, 소통, 협업, 에러 등 프로젝트 진행 관련된 그 어느 것이든) / 프로젝트 완료 후에도 아쉬움으로 남는 것

Try : Problem 중 해결된 사항에 대한 해결 방법 / 해결되지 않은 사항에 대한 피드백

etc : 그냥 끄적거림,,,

 

기간 : 2024. 05. 02 ~ 2024. 05. 21

 

1. Keep

"여러 사이트의 데이터셋을 가져와 연관 지으며 더 구체화된 데이터셋을 구성할 수 있었다"

데이터를 여러군데서 크롤링해오려고 시도했고, 하나의 테이블이 아닌 영향을 미칠 수 있는 여러 개의 테이블을 join 하여 최종 데이터셋을 구성하였다. join 하는 과정에서 어떤 컬럼을 기준으로 join을 하면 좋을지 고민하는 과정을 거쳤고, 데이터의 통일성(primary key)을 유지하기 위해 팀원들이 소통하여 데이터셋 구격을 설정하였다. 

지금까지 해온 ML 프로젝트에선 데이터프레임 하나에서 컬럼간의 인사이트를 뽑고 그 이외의 정보를 써본 경험이 없었는데, 우리가 데이터셋을 구성하는 프로젝트였다보니 데이터를 필요한 만큼 가져올 수 있었고 다양한 방향으로 인사이트를 도출하려고 노력하며 처음으로(?) 크롤링의 필요성을 느낀 프로젝트였다.

 

2. Problem

"소통의 부재, 너무 컸던 데이터 수집의 비중으로 EDA과정이 부족했고, 모델에 대한 고민의 시간도 턱없이 부족했다"

팀 리더의 경험 부족으로 팀 내 소통이 매우 어려웠고, 그로 인해 낭비한 시간이 너무 많았다. 주제를 하나로 확정 짓지 못해 방황했고, 주제 피드백을 받으려 주제를 설명하는데 각자 생각하는 주제가 달랐다. 학부시절 팀 프로젝트를 여럿 진행하면서 소통의 중요성을 깨달은 나는 이 상황을 참을 수 없었고, 조장을 자처해 상황을 수습해 나가기 시작했다.

그날 주제에 대해 다시 확정을 짓고 목표를 구체화했다. 이후 매일 노션에 각자의 진행상황을 공유해 달라고 팀원들에게 말했다. 비효율적일 수도 있다고 생각하지만, 시간이 얼마 남지 않아서 더 이상의 시행착오를 범하지 않기 위해 내린 결정이었다. 내가 결석하는 날에도 진행상황 공유를 해달라고 말했고, 매일 회의를 통해 자신의 task, 진행상황, 발생한 이슈에 대해 같이 고민했다. 결론적으로 프로젝트를 기한 내에 끝낼 수는 있게 되었지만, 길었던 소통의 과정, 데이터 수집의 과정(계속된 크롤링 실패로 총 5개 페이지를 크롤링하였음)으로 인해 EDA와 ML에 집중하지 못했다. 모델은 CatBoost만 사용해 보았으며, 나를 제외한 팀원들은 모델링을 해보지 못하고 ML 프로젝트를 끝내게 되어 그 부분이 정말 정말 아쉬운 부분이다.

 

3. Try

"프로젝트 종료 후 다시 시작된 EDA와 결측치 처리"

프로젝트 발표 후 ML 프로젝트는 종료되었지만 원하는 팀원들끼리 다시 모여 약 10일의 디밸롭을 진행하였다. 부족했던 데이터를 다시 채워 넣었고, 무지성으로 처리했던 결측치 처리는 근거를 들어 각자 채워온 후 의견을 공유했다. 예를 들어 와인의 바디는 알코올과 연관이 깊다는 도메인 지식을 습득한 후 알코올의 결측치를 바디 별 평균으로 채워 넣었다. 데이터 중 숙성 방식에 대한 정보를 뭉뚱그려 가져오는 바람에 (크롤링 실패 한 데이터 중 하나..) 많은 인사이트는 발견하지 못했지만, 결측치를 채우는 방법에 대해서도 한번 더 생각해 보게 된 계기였다. 

 

4. etc..

나 사실 리더 성향일 수도..?

면접 준비를 하거나 면접을 볼 때 나는 팔로워의 성향이라고 말하곤 했다. 실제로 팀 프로젝트를 할 때도 리더를 자처하진 않았다. 하지만 이 프로젝트를 진행하며 나는 모든 팀원의 진행상황을 (내가 맡은 task가 아니어도) 알고 있어야 하고, 그에 따른 다음 step이 그려져야 넘어갈 수 있는 사람이라는 것을 알게 되었다. 하지만 내 성격은 팔로워기 때문에.....(근데 팔로워 입장에서도 모든 팀원의 상황을 알고 있어야 하며, 정리가 되어야 한다→그래서 노션을 좋아함) 

그냥 팔로워든 리더든 잘 해낼 수 있는 사람이라는 걸 증명한 프로젝트인 것 같아서 약간 뿌듯하기도 했다. 

 

위장을 잘 지키자....

이 프로젝트를 하면서 잃어버린 나의 위장.. 기존 팀 리더에 대해 스트레스를 많이 받았고 밤도 많이 새웠다. 면접까지 보고 부트캠프에 들어온 만큼 모두가 간절할 것이라고 생각했었다...  하지만 연락 두절은 기본, 발표 직전 모두가 바쁘고 멘붕인 기간까지도 자격증 공부를 하던 그 모습을 잊을 수 없다.... 그 결과 프로젝트 종료와 동시에 내 위장이 빵꾸났고 한 달이 지난 지금까지도 돌아오지 않고 있다. 내 병원비 돌려내 

어떤 경우의 사람이던 개의치 않고 내 할 일을 할 수 있는 사람이 되고 싶어서 요즘 하루에 한 번씩 "그럴 수 있지~..."를 외치고 있다....

 

그럴 수 있지!