파이썬 데이터 분석 마스터 : 입문부터 크롤링, 시각화, ChatGPT 활용까지

• WEB이 어떻게 구성되어있는지, 웹페이지(HTML)는 어떻게 작성되는지 자세하게 알지 못하여도 웹크롤링을 할 수 있습니다.
• 이어서 웹페이지에 접속 후 HTML 정보를 다운 받는 방법, 그리고 HTML에서 내가 원하는 데이터를 찾아 저장하는 방법, 그리고 활용법에 대해 알려드립니다.

이론

• WEB / HTML 살펴보기
• URL 구조 이해하기 & URL 주소 만들어보기
• 크롤링 기법 Selenium, BeautifulSoup
• BeautifulSoup 으로 HTML 내용 가져오기
• Tip) 크롬 브라우저에서 내가 찾고자 하는 html 태그 위치 쉽게 찾는 방법

• 크롤링을 이용해 실제 웹페이지에서 정보를 수집하고, 엑셀 파일에 저장해 볼 것입니다.
• 하나의 웹페이지에 접속한 뒤 순위별 데이터 등을 수집해보면서 크롤링에 익숙해지는 것이 이번 회차의 목적입니다.
• 크롤링에 익숙해진 이후에는 미니프로젝트 진행을 통해 여러 페이지를 크롤링 해보며, 실제 업무에 활용 가능하도록 연습할 예정입니다.

이론

• 크롤링한 데이터 엑셀 파일로 저장하기
• 수집한 데이터 깔끔하게 정리하기
• 크롤링 종류 및 장단점 살펴보기

• 판다스를 활용하여 상점 업력 데이터(공공데이터)를 가지고 실제 데이터를 살펴보고, 분석을 진행합니다.
• 지역별로, 업종 유형별로 업력에 따른 매장수를 비교해 보고, 지역별로 어떻게 분포가 되고 있는지 살펴볼 것입니다.
• 퇴직 후 카페를 한다면 어느 지역이 좋을까? 인구 대비 카페가 적은 지역은 어디일까? 등의 목적을 갖고 분석을 진행합니다.

이론

• 판다스 컬럼 생성하기, 데이터 병합하기

• 판다스로 정리한 데이터들을 어떻게 시각화를 통해 확인하실 수 있습니다.
• 회사 내에 이미 가지고 있는 데이터나 웹크롤링을 통해, 데이터 수집이 끝난 자료들을 불러와서 시각화 가능하게 정리한 후, 표현하고자 하는 내용을 그래프를 이용해서 확인하실 수 있습니다.
• seaborn 라이브러리를 이용하여 pandas 데이터를 시각화 하겠습니다. 또한 업무에서 보다 편리하게 데이터를 다루실 수 있도록, 데이터를 자동으로 병합/저장해주는 RPA 기술도 함께 가르쳐드리겠습니다.

이론

• seaborn 라이브러리 사용법
• 로보틱 처리 자동화(RPA) 안내
• Tip) 데이터 자동레포트 만들기
• Tip) 한글/부호 글자 깨지지 않게 표시하는 방법

• 데이터 수집부터 분석까지 전체 과정으로 미니프로젝트를 진행할 것입니다.
• 수강생분들의 관심사, 흥미, 학습 진행정도 등을 고려하여 주제를 선정하고, 프로젝트를 진행합니다.

이론

• seaborn 라이브러리 사용법
• 로보틱 처리 자동화(RPA) 안내
• Tip) 데이터 자동레포트 만들기
• Tip) 한글/부호 글자 깨지지 않게 표시하는 방법