🐉 SKN FAMILY AI CAMP 13기 3주차 후기 (2025.04.07 ~ 2025.04.11)

📍 간단 후기

🏷️ 수업

 

이번 주차는 Web Crawling에 대한 전반적인 개념 및 실습을 진행했다. Selenium과 Beautifulsoup4를 중점으로 다뤘고, streamlit으로 시각화하며 진행했다. 다음 뉴스 기사를 스크린샷 해보기도 하고, 뉴스 기사 몇 가지를 크롤링해보며 원하는 정보를 얻는 연습도 했었다.

 

🏷️ 프로젝트

 

프로젝트는 전 글에서 말했던 바와 같이 웹 크롤링이 주제이다. 30명이 정원이라 5명씩 6개조를 이루었다. Github에 만들어 놓은 곳에서 repository를 생성해 팀원들과 진행하는 방식이다. 전체적으로 Selenium과 Beautifulsoup4를 사용하여 크롤링을 진행하였다. 수업이 끝나고 난 후 04.09일부터 04.11 오전까지 수업 대신 프로젝트를 하도록 시간을 주셨다. 시간이 부족해 다들 04.07일부터 주제 선정 및 개발을 진행하였다. 밤늦게까지 남는 팀들도 많이 보였었다.

 

---

📍 좋았던 점

 

• Web Crawling

Selenium 활용 Crawling 코드

 

우리 팀 주제는 사고 차량 관련하여 연령대, 시간대별 사고 유형 및 건수를 시각화 하는 것이었다. 처음 하는 사람들이 많았다 보니, 많은 분들이 첫 구성부터 어려움을 느꼈다. 대신, 하다 보면 완성되는 기능들이 눈에 보이다 보니, 뜻깊은 프로젝트가 될 수 있겠다 싶었다. 실습 시간에 사용해 보았던 함수들 뿐만 아니라 원하는 정보를 긁어오는 과정 자체가 눈에 보여 괜히 뿌듯했었다. 또 기능을 원하는 방향으로 직접 바꿔가면서 프로젝트를 진행한 부분이 좋았던 점이었다.

 

• 형상관리도구 활용 : Github

Github 폴더 및 파일 Push

 

Github Repository를 만들어 팀원들을 초대했다. 개인 Repository는 많이 만들어 봤지만, 공용은 한번 사용한 것이 전부였다. 직접 만들어 초대하고, 다른 팀원분들과 함께 git push 및 pull을 하며 Github을 활용하는 부분에서 많은 것을 배웠다.

 

Readme

 

각 조들은 Readme 파일에 설명 및 회고 등을 기록한다. 이 파일을 이용해 발표를 하는 방식으로 진행된다. 이번 프로젝트의 Readme 파일을 작성하면서 잊고 있었던 Readme의 기능을 다시 한 번 상기시킬 수 있어서 뜻깊었다. 나중에 Readme 파일을 보며 해당 프로젝트가 어떻게 진행이 됐고, 또 관리되었는지 보면 굉장히 좋을 것 같다는 생각이 들었다.

 

---

📍부족한 점

 

• Streamlit 활용

Streamlit 테스트용 코드

 

프로젝트 때 각자의 역할이 있었어서 배웠던 모든 내용을 활용하지 못했었다. 나는 웹 크롤링 및 DB table 설계 담당이었다. 그래서 그런지 Streamlit을 활용하지 못해 개인적으로 test용 페이지를 하나 만들었었다. 내 역할을 수행하기도 벅차서 그랬는지 몰라도 Streamlit 활용을 부족하게 했다는 점이 아쉬웠다.

 

• Table 설계

DB Table 설계 코드 예시

 

먼저 이번 프로젝트에서 Table 수가 가장 많았던 팀이 우리였던 것 같다. 그래서 그런지 몰라도 처음부터 마지막까지 Table 활용에서 문제가 많이 생겼다. 다들 각자 test용 DB를 만들면서 처음 만들었던 Table들에 추가하거나 변수명을 바꾸면서 점점 틀어지는 것이 보였다. 웹 크롤링 작업 자체도 쉽지 않았지만, Table 통일하는 점에서 어려움을 겪었다. 각자 test 해보기 전에 다들 모여서 같이 상황을 해결해 나갔으면 프로젝트가 훨씬 수월하게 진행되지 않았을까 싶은 생각이 든다.

 

---

📍성찰 및 마무리

 

첫 프로젝트를 진행하면서 내가 뭐가 부족하고 뭐가 자신있는지 조금은 깨닫게 되었다. Web Crawling 자체를 처음해 본 사람들도 많아서 (물론 나도 처음이지만) 다양한 접근을 하는 것이 보였고, 그 과정에서 어려움을 겪은 팀도 많아 보였다. 팀 프로젝트답게 팀끼리 모여서 합심하는 방향이 올바른 팀 프로젝트라는 생각을 다시 한번 할 수 있게 됐다. 다음 주부터는 데이터 분석 및 머신러닝 수업을 진행하는데, 데이터 분석을 접해보는 것에 상당히 기대가 된다.