유튜브블로그Top 10
내 프로필

데브허브 안내
소개업데이트 소식

데브허브 커뮤니티

웹스크래핑 전 꼭 해야할 것

큰돌의터전

2024. 10. 10.

0

#frontend
  • 웹 스크래핑 전 API 분석을 통해 효율적인 정보 수집 방법을 활용할 수 있습니다. 🤝
  • Infrun 사이트의 네트워크 탭과 소스를 분석하여 API 정보를 얻을 수 있습니다. 🔍
  • HTTP Alb type 파일을 활용하여 API 정보를 자세히 분석할 수 있습니다. 🗃️
  • API 분석을 통해 특정 강의에 대한 질문 수 등의 정보를 추출할 수 있습니다. 📊
  • 웹 크롤링을 진행할 때는 Perfetti를 이용하여 API를 분석하고 정보를 추출하는 것이 가장 먼저 시도해야 합니다. 🐍
  • 웹 스크래핑은 반드시 사이트 운영자의 정책을 확인하고, 무분별한 크롤링은 피해야 합니다. ⚠️

Recommanded Videos