시가총액 분석(7부) - for문 하나로 2,300개 종목 완전 정복! 모든 페이지 자동 수집
- 시가총액 데이터 수집을 위해 URL 쿼리 스트링의 페이지 번호를 변경하며 전체 페이지를 순회 🚀
- range() 함수와 for 반복문을 사용하여 페이지 이동을 자동화하고, 수집된 데이터를 CSV 파일로 저장 💾
- pandas 패키지의 dropna(), iloc 연산자를 활용하여 데이터 정제 후 to_csv() 함수로 CSV 파일 저장 🧹
- 웹 브라우저 주소창의 URL 구조를 분석하여 page 키 값을 변경하며 페이지 이동 🌐
- goto() 함수를 사용하여 특정 페이지로 이동하고, for 반복문으로 페이지 번호를 변경하며 반복 🔄
- tag_header 변수와 tag_body 변수를 활용하여 시가총액 데이터의 헤더와 내용을 저장 🏷️
- 반복문 내에서 tag_header 중복 저장 방지를 위해 조건문 추가 🛡️
- pandas DataFrame을 사용하여 데이터프레임으로 변환하고, 공백 제거 함수를 적용하여 데이터 정제 ✨
- pathlib 패키지를 사용하여 output 폴더 경로를 설정하고, to_csv() 함수로 정제된 데이터를 CSV 파일로 저장 📁
- 전체 데이터 추출을 위해 total_page 변수를 사용하여 모든 페이지 순회 💯
- 수집된 데이터를 바탕으로 plotly 패키지의 트리맵을 사용해서 시각화하는 방법 예고 📊