96. 파이널 프로젝트 (2)왓챠피디아 크롤러 만들기

0. 패키지 임포트

import os
import pandas as pd
from selenium import webdriver #module 
from selenium.webdriver.common.keys import Keys #enter key
from selenium.webdriver.common.action_chains import ActionChains
import time #화면 일시 정지

1. 검색할 영화명 입력하기

query_txt = input('영화명 :')

2. driver 객체 생성

path = r"경로명"
driver = webdriver.Chrome(path + '/chromedriver.exe')

3. 왓챠피디아 url 이동

driver.get('https://pedia.watcha.com/ko-KR')

 

 

4. 영화명 검색 > 엔터키

time.sleep(1)
textbox = driver.find_element_by_xpath('//*[@id="root"]/div/div[1]/header/nav/div/div/ul/li[5]/div/div/form/label/input')
textbox.click()

element = driver.find_element_by_name("searchKeyword")
element.send_keys(query_txt + "\n")

 

에러 발생

driver.find_element_by_name('searchKeyword').send_keys("신과함께")
textbox.send_keys(Keys.ENTER)

[에러] 'NoneType' object has no attribute 'send_keys'
[해결] https://stackoverflow.com/questions/58355552/how-to-combat-the-attributeerror-nonetype-object-has-no-attribute-send-keys

 

5. 리뷰페이지 접속
특정 위치 클릭

time.sleep(2)
blank_click = driver.find_element_by_xpath('/html/body/div/div/div[1]/section/section/div[1]/div')
blank_click.click()

영화 클릭

movie_click = driver.find_element_by_xpath('/html/body/div/div/div[1]/section/section/div[3]/div[1]/section/section[1]/div/div[1]/div/ul/li[1]/a/div[1]/div[1]/img')
movie_click.click()

스크롤 내리기

time.sleep(2)
driver.execute_script("window.scrollTo(0, 1000)")
#한계점 발견 -> 높이는 절대적인 것이 아니라 상대적. 모니터 해상도 따라 숫자 조정할 필요가 있음

더보기 클릭

more_view = driver.find_element_by_xpath('/html/body/div[1]/div/div[1]/section/div/div[2]/div/div/div/div[1]/div[1]/div/div/section[5]/div[1]/div/header/div/div/a')
more_view.click()

갱신되는 페이지 스크롤 끝까지 내리기

last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    #끝까지 스크롤 내리기
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    #대기
    time.sleep(1)

    #스크롤 내린 후 스크롤 높이 다시 가져옴
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

time.sleep(5)

6. 데이터 수집
데이터프레임 생성

data = pd.DataFrame(data=[], columns=['movie_title', 'writer_name','star_grade'])

데이터 수집 함수 생성

def get_movie_reviews(driver, data, k):
    
    movie_title = query_txt
    writer_name = driver.find_elements_by_css_selector('.css-1agoci2')
    star_grade = driver.find_elements_by_css_selector('.css-yqs4xl')
       
    for i in range(k):
        tmp = []
        tmp.append(movie_title)
        tmp.append(writer_name[i].text)
        tmp.append(star_grade[i].text)
        
        tmp = pd.DataFrame(data=[tmp], columns=data.columns)
        data = pd.concat([data,tmp])
    
    print(movie_title + " 리뷰 수집 완료")
    
    return data

 

[에러] 리뷰어명과 별점이 html코드가 그대로 긁혀 나온다.

[해결] css_selector 관련 게시물들 읽고, for문과 selector 수정해서 해결

 

데이터 수집 함수 실행 (리뷰 20개 수집)

review = get_movie_reviews(driver, data, 21)

star_grade의 '보고싶어요'는 삭제

review = review[~review['star_grade'].str.contains("보고싶어요", na=False, case=False)]

평점 평균 얻어서 새로운 열에 추가 (소수점 두번째 자리에서 반올림)

review['star_grade'] = pd.to_numeric(review['star_grade'], downcast='float') #숫자형 변환

review = review.append({'movie_title' : query_txt, 'writer_name' : '평균', 'star_grade' : review['star_grade'].mean()}, ignore_index=True)
review = review.round(2)
print(review)

데이터 누적 저장

review.to_csv('경로\파일명.csv', sep=',', na_rep='NaN', encoding='utf-8-sig', mode='a', header=False, index=True)
#mode='a' : 누적 저장, seperator : 구분자, na_rep : 결측값 표기, encoding : 문자 깨짐 방지, header=False : 칼럼제목 표기X
print(query_txt + " 리뷰 저장 완료")

 

 

 

 

 

크롤러 실행 영상

 

 

 

 

아쉬운점 & 더 수정해야할점

1. 영화명이 완벽하게 일치하지 않으면 첫 번째로 노출되지 않으므로, 다른 영화가 클릭될 위험성이 있음 (ex. 마스터, 범죄도시2, 더 킹)
2. 별점이 아닌 '보고싶어요'가 존재. 결측치로 바꾸어주는 작업이 필요했음 -> 구현 완료
3. 비공개, 삭제 등의 이유로 별점이 표시되지 않는 리뷰가 생성되면 수동으로 수집 리뷰 개수를 수정해주어야 했음
4. input에 영화 이름을 하나하나 입력받아야 하는 게 번거로움