101. 파이널 프로젝트 (6)네이버 영화 리뷰 크롤러 만들기

네이버 영화 리뷰 수집
흥행영화 14개, 흥행 실패 영화 14개
영화별로 각 1000개씩 수집

 

 

 

0. 패키지 임포트

import requests
from bs4 import BeautifulSoup
import pandas as pd

1. url 셋팅

url_pre = 'https://movie.naver.com/movie/bi/mi/pointWriteFormList.naver?code=161967&type=after&onlyActualPointYn=Y&isActualPointWriteExecute=false&isMileageSubscriptionAlready=false&isMileageSubscriptionReject=false&page='
id_pre = '_filtered_ment_'

 

[url수집]

해당 영화 평점 진입해서 F12 개발자 도구 켜기 > pointWriteFormList.naver 검색해서 페이지 찾아냈음!

 

[이동] for문 앞부분으로 이동  

score_list = [] # 평점 저장 
data = [] # 리뷰 저장

* 주의 : for문 안쪽에 있으면 새로운 페이지가 바뀔때마다 해당 페이지 10개만 저장됨 

2. 데이터 수집

for page in range(100):
    print('\n',page+1,"페이지\n")
    site = url_pre+str(page+1)  #1 ~ 10까지 변환됨.
    print('site =', site)
    res = requests.get(site)

    soup = BeautifulSoup(res.content,'html.parser')    
    
    scores = soup.find_all('div','star_score')
    
    for score in scores:
        score_list.append(str(score.get_text()).strip())
    
    id_list = [] # [이동] 새로운 page 마다 다시 저장해야 함
    for i in range(10):
        id_list.append(id_pre+str(i))    
    
    for id_num in id_list:    
        id_text = soup.find('span',{'id':id_num}).get_text()        
        data.append(str(id_text).strip()) # strip() 추가 : 문장끝 불용어 제거          

    # 점수와 리뷰 확인 
    for score, line in zip(score_list, data):
        print(score, line)

            
길이 확인 : 점수와 리뷰 길이 같아야 함         

len(score_list) # 100 
len(data) # 100

3. 데이터 엑셀 저장

data_df = pd.DataFrame({'score':score_list, 'review' : data}, columns=['score', 'review'])
data_df.info()

data_df.to_csv(r'경로명\영화명_naver_review.csv', sep=',', 
            na_rep='NaN', encoding='utf-8-sig', index=False)

 

[error] 'list' object has no attribute 'to_csv'
[해결] listDataFrame을 DateFrame으로 변환하여 to_csv사용

 

 

 

 

 

 

참고
https://cossmos.tistory.com/m/37
https://l0o02.github.io/2018/06/14/python-crawling-pagination-1/
https://haystar.tistory.com/10#toc111
https://kimdingko-world.tistory.com/77