Marketing Science에 게시된 논문으로, 상당히 구성이 탄탄하고 좋아서 리뷰해보려고 한다.
1. Introduction
I. description of phenomenon
온라인 플랫폼에서 가짜 리뷰가 증가하고 있으며, 가짜 리뷰들은 소비자들에게 부정확하거나 과장된 정보를 제공함
1. 온라인 플랫폼 내, 비대칭 정보를 완화하도록 설계된 시스템에 소음과 기만을 주입함
2. 소비자가 품질이 낮을 수 있는 제품을 구매하도록 함
3. 온라인 시장이 번창하는 데 중요한 리뷰 플랫폼에 대한 장기적인 신뢰를 약화시킴
“온라인 시장이 번성하려면 가짜 리뷰에 대한 효과적으로 제한해야 함”
“가짜 리뷰는 플랫폼과 판매자에게 도움이 될 '가능성’이 있음”
가짜 긍정적 리뷰를 허용함으로써 이익을 얻을 수 있음
3. 판매자가 “Cold Start" 문제를 해결하고 좋은 평판을 얻을 수 있는 효율적인 방법이 될 수 있음
Motivation
가짜 리뷰는 ‘조작’ 행위로써 해롭지만, 플랫폼과 판매자에게 도움이 될 ‘가능성’도 존재함
따라서 “가짜 리뷰의 경제성과 ‘판매자와 소비자, 플랫폼’에 미치는 영향을 연구”
II. prior research
Negative effect
“Einav L, Farronato C, Levin J (2016) Peer-to-peer markets“
- 가짜 리뷰가 실제 리뷰와 구별되기 어렵다는 문제점을 제기
- 가짜 리뷰는 호텔 예약률을 높이는데 큰 역할을 함
→ ‘가짜 리뷰가 왜곡된 정보를 제공함으로써 소비자의 구매결정에 영향을 미칠 수 있음’
Positive effect
“Dellarocas C (2006) Strategic manipulation of internet opinion“
- 가짜 리뷰 모델링 시도가 소비자와 시장에 이익을 줄 수 있음
- 고품질 판매자들이 가짜 리뷰를 많이 구매하기 때문에, 시장 정보를 증가시키는 역할을 할 수 있다는 것을 제시함
“Nelson P (1970) Information and consumer behavior“
“Milgrom P, Roberts J (1986) Prices and advertising signals of product quality”
- 가짜 리뷰가 매출을 창출하여 반복적인 영업이나 긍정적인 입소문을 기대할 수 있음
→ 가짜 리뷰는 광고의 무해한 대체물로 보일 수 있음
III. Research questions and objectives
- How does this market work?
- What are the costs and benefits to sellers from buying fake reviews?
- What types of products buy fake reviews?
- How effective are they at increasing sales?
- Does rating manipulation ultimately harm consumers or are they mainly used by high-quality products?
- Do fake reviews lead to a self-sustaining increase in sales and organic ratings?
02. Research Data
I. Facebook Data
• 판매자가 리뷰어를 모집하는 데 사용하는 주 플랫폼
Period: 2019.10 ~ 2020.10 (연구 조교 그룹 사용)
- 판매자는 리뷰어가 제품을 구매하고 전액 환불을 받는 대가로 별점 5개 리뷰를 남기도록 유도하여
제품을 홍보하는 비공개 Facbook 그룹을 생성
- 약 1,500개의 고유 샘플
II. Amazon Data
페이스북 그룹에서 가짜 리뷰 제품을 식별한 후,
아마존에서 이러한 제품에 대한 데이터를 수집
03. Analysis and Results
I. Underlying theory (Simple)
가짜 리뷰 작성 비용과 유기적 판매의 이익을 비교하여 가짜 리뷰를 작성하는 것이 이득인지 여부를 확인
Cost = P(1 - λ + τ + FPP + c) + Commission
Benefit = QoP(λ - c)
- 가짜 리뷰의 경제성은 판매자들에게 매우 유리함
- 품질이 낮은 상품일수록 마진이 높기 때문에 훨씬 적은 유기적 판매를 요구함
- 경쟁사 제품의 가짜 부정적인 리뷰를 관찰할 가능성이 없음을 분명히 함
II. Quantifying the Effects of Buying Fake Reviews
1. Short-Term
가짜 리뷰 ‘모집 전 8주’, ‘모집 후 4주’동안의 기간을 비교하여 Plotting으로 분할
2. Long-Term
가짜 리뷰 모집 ‘중단 전 4주’, ‘중단 후 8주’동안의 기간을 비교하여 Plotting
※ 가짜 리뷰 모집을 중단한 후에도 계속해서 높은 유기적 판매를 보인다면,
콜드스타트 문제를 해결하는데 도움이 되는 방법이라 결론 내릴 수 있음
# Short-Term
- 공통적으로 증가추세, But 2주 후 감소
- 가장 큰 변화가 간격 0 근처에서 볼 수 있기 때문에, 모집 시작일 포착 유효(연구 유효)
- 평균 판매 순위를 보면 평점 조작은 일반적으로 판매가 감소하는 기간 이후에 이루어짐
- 단위 판매량 데이터는 아마존에서 판매량을 따로 표시하지 않기 때문에 log-log 회귀분석 사용
→ 가격과 판매량 사이의 관계는 일반적인 선형 모델로는 파악하기 어려움(로그변환 시 쉽게 파악 가능) - 더 높은 평점과 리뷰를 가지고 있어, 아마존 검색 결과에서 더 높은 검색 순위에 오르기 때문에 단위 판매량 증가
- 페이스북 그룹의 등급 조작 실시 후 구매 인증과 포토 리뷰 증가
→ 리뷰어들은 현실적인 리뷰(가짜 리뷰이지만) 작성을 권장 받으며, 이를 보상을 받음 - 판매자들은 할인(가격인하)과 지원 광고(스폰서)의 사용을 증가시킴
# long-Term
- 1~2주 후 Facebook 프로모션이 끝나면 평균 평점과 리뷰수가 크게 감소↓
- 누적 평균 평점 또한 크게 감소(가짜 리뷰 모집 시작보다 안 좋은 결과 발생)
- 평균 판매 순위, 단위 판매량 데이터 감소
→ 가짜 리뷰 모집 관련된 증가가 자급자족할 수 있는 상황이 만들어 지지 않기 때문에 오래 지속되지 못함 - 가짜 리뷰 모집이 중단된 후에도 상대적으로 오랜 기간 동안 키워드 검색에서 더 나은 순위를 가짐
→ 아마존이 키워드 순위를 결정하는 알고리즘을 사용하여 이러한 판매자들을 처벌하지 않음을 보임
→ 플랫폼이 가짜 리뷰를 규제하는 추가 정책 조작장치로 사용될 수 있음
# Regressions
“시각적으로 보여준 가짜 리뷰를 구매한 결과와 동일한 결과를 회귀 분석을 사용”
모든 제품과 하위 그룹에서 나타나는 변화의 크기를 양적으로 측정하고,
결과의 통계적 유의성을 확인하기 위해 고정 효과 집합을 포함
# Amazon’s Response
“아마존이 가짜 리뷰 문제를 인식하고 있는 정도와 리뷰 제거를 위해 하는 조치 파악”
가짜 리뷰 제품의 경우 궁극적으로 삭제되는 리뷰의 평균은 43%
가짜 리뷰가 관찰되지 않은 제품의 리뷰가 삭제되는 비율은 23%
→ Amazon이 가짜 리뷰를 식별할 수 있음
“삭제된 리뷰의 특징”
- 삭제된 리뷰가 비삭제된 리뷰보다 높은 평균 평점(대부분 5점)을 가짐
- 삭제된 리뷰는 더 많은 사진, 더 짧은 리뷰 제목 및 더 긴 리뷰 텍스트를 가짐
→ 아마존이 잠재적으로 가짜 리뷰를 세심하게 분류하는 편임
“리뷰는 언제 삭제 되는지 분석”
• 평균 삭제 시간은 100일 이상, 중앙값은 53일
• 가짜 리뷰가 게시된 후 삭제될 때 상당한 시간이 경과함
→ 이러한 시간 지연으로 인해 가짜 리뷰를 구매하는 판매자는 단기적 이점을 누릴 수 있음
III.The Causal Effect of Fake Reviews on Sales
“가짜 리뷰가 판매에 미치는 영향의 크기를 측정”
가짜 리뷰의 원인과 결과를 분리하여 측정할 수 있도록,
Amazon의 일시적인 정책 변경(대규모 리뷰 삭제) 활용
Control group과 Treated group의 차이에서 발생하는 변화를 분석하는 방법
DD(Difference-in-Differences) Strategy를 사용하기 위한 4가지 Hypothesis
- Amazon은 리뷰가 삭제될 제품을 선별하지 않았을 것
- 삭제된 리뷰가 특정 상품에만 집중되어 있으면 결과가 왜곡될 수 있음 - 리뷰 삭제가 가짜 리뷰를 막는 데 효과적일 것
- 리뷰 삭제가 가짜 리뷰를 막는 데 효과적이지 않다면, 판매자들은 여전히 가짜 리뷰를 많이 작성할 것임 - 통제군과 실험군 사이의 마케팅 활동이 판매에 영향을 미친 정도가 동일할 것
- 서로 다른 마케팅 활동을 이용한다면, 판매 변화가 가짜 리뷰 삭제로 인한 것인지, 마케팅 활동으로 인한 것인지를 구분하기 어려움 - 통제군과 실험군의 초기 판매 추세는 유사할 것
- 만약 실험군 제품이 기존에 이미 판매량이 높아서 포화 상태였다면, 통제군 제품보다 판매량이 적어질 수밖에 없음
“가짜 리뷰가 삭제된 이후의 제품 판매에 대한 효과를 분석하기 위해,
통제군과 실험군을 구분하여 DD 회귀분석 사용”
1. “Treated and Control Products Are Similar”
2.“Manipulation Check”
Treated products가 control products 에 비해 리뷰 수가 많아야 함(Treated products가 많음)
3.“Marketing Activities Are Similar”
Treated products가 control products 와 통계적으로 유의미하지 않아야 함(통계적으로 유의하지 않았음)
4.“Parallel Trends"
‘-2 주’ 이전의 추정치가 ‘0’에 가깝게 나타나야 함
- 4가지의 가설이 성립 되므로 DD 회귀분석 적용
IV. Evidence of Consumer Harm from Fake Reviews
Positive Opinion
Negative Opinion
- 1점 리뷰가 많다면?
→ 새로운 제품은 가짜 리뷰를 사용하여 평판을 시작할 수 있으며, 고품질이라면 좋은 리뷰 유지가 가능함
“Cold-start" 제품이 가짜 리뷰를 효과적으로 사용한다는 생각을 반박
기계 학습 알고리즘을 사용하여 부정적인 리뷰의 텍스트를 분석함으로써,
소비자 피해의 추가적인 증거를 제시
- 판매 증가 후에 게시된 부정적인 리뷰가 다른 부정적인 리뷰와 구별되는지를 검증
ex) 어떤 제품이든 판매 급증 후 1점 평가 수가 증가할 수 있음 - 부정적인 리뷰가 다른 리뷰와 구별될 경우, 어떤 텍스트 기능이 이들을 구별하는 데 기여하는지 파악
“가짜 리뷰 유도 제품과 유도하지 않은 제품의 1점 리뷰를 비교,
텍스트 기능을 가지고 있는지 분류기를 통해 분석”
- 특정 제품의 가짜 리뷰 캠페인 후, 일별로 별점 1점 리뷰를 이 제품의 첫 번째 페이스북 게시물 이전에 작성된 1점 리뷰와 비교
- 가짜 리뷰 캠페인 후, 가짜 리뷰 구매 제품과 가짜 리뷰를 구매하지 않은 다른 제품의 1점 리뷰와 비교
두 유형의 분류기 결과
정확도: 61%~75%
AUC: 66%~83%
(!아쉬웠던 점! 필자는 정확도가 낮다고 판단했음, 텍스트라서 어느정도 이해)
- 가짜 리뷰가 유도되었을 때 작성된 리뷰는,
이전에 작성된 진짜 리뷰와는 상당히 다른 텍스트 기능을 가지고 있음 - 가짜 리뷰를 유도하지 않은 제품의 리뷰와도 다른 단어 세트를 포함함
“가짜 리뷰를 모집한 제품을 구매한 소비자들이 속았다는 느낌을 받았다는 추가적인 증거를 제공”
04. Discussion and conclusions
- 단기적으로, 등급 조작이 판매자들의 리뷰 수, 평점, 판매 순위 등의 결과를 획기적으로 개선함
→ 그러나 이러한 효과는 대부분 일시적이며, 가짜 리뷰 유도가 멈춘 후 몇 주 안에 이러한 결과가 되돌아감 -
장기적으로, 유기적 판매와 같은 긍정적인 지속 가능한 관계로 이어지지 않음
→ 가짜 리뷰 유도가 끝나면 판매와 평균 평점이 크게 감소, ‘Cold start’ 또한 해결 불가능 -
가짜 리뷰는 소비자들에게 해를 끼치며, 가짜 리뷰 유도자들은1점짜리 리뷰의 비율이 증가함
※ 중요한 시사점
평점 조작이 성실한 판매자들과 플랫폼의 평판 자체에도 해를 끼칠 가능성이 있음
만약 수백 개의 저품질 판매자들이 가짜 리뷰를 사용한다면,
소비자들이 새롭고 높은 평점을 받은 제품에 대해 더 회의적이게 될 수 있음
→ 고품질 판매자들이 시장에 진입하기가 더 어려워지며 혁신이 줄어들 가능성이 존재함
- 아마존이 많은 수의 리뷰를 삭제하고 있으며, 잘 타겟팅하여 삭제를 이룸
그러나 리뷰가 삭제되기까지는 상당한 시간이 걸리기 때문에,
리뷰로 인한 단기적인 이익이나 소비자 피해를 없애지 못함 -
아마존은 평점 조작을 규제하기 위해 사용 가능한 다른 정책적 수단들을 가지고 있음
그러나 아마존이 평점을 조작한 판매자의 제품을 삭제하거나 금지시키는 것을 관찰하지 못함
검색어 검색에서 제품의 유기적 순위에 대한 처벌을 관찰하지 못함
→ 가짜 리뷰가 삭제됨에 따라 제품 가시성을 검색어 순위에서 낮추면,
가짜 리뷰는 이익 창출에서 불이익 창출로 변할 수 있음
미래 연구의 분야
• 아마존이 평점 조작을 과소규제하는 것인가?
→ 그렇기 때문에 이 시장이 이렇게 큰 규모로 지속될 수 있는 것인가?
• 평점과 판매의 상승으로부터 얻는 단기적 이익을 평가하고 플랫폼의 평판에 대한 장기적인 손해와 저울질하는 것인가?
