Paywall을 우회하는 방법(기사, 블로그 등)

"현대" 웹에서 가장 짜증나는 것 중 하나는 페이월입니다. 점점 더 많은 게시자가 프리미엄 구독 또는 이메일 가입 양식 뒤에 콘텐츠를 잠그고 있습니다. 그리고 이 기사에서는 페이월이 존재하는 이유와 이를 우회하는 방법에 대해 설명합니다.

프리미엄 콘텐츠에 대한 과금을 회피하는 행위를 절대 용납하지 않는다는 점을 분명히 하고 싶습니다. 퍼블리셔는 자신의 작업에 대해 보상을 받아야 하며 저는 그것을 존중합니다. 그러나 문제를 일으키는 것은 New York Times와 같은 대형 출판사만이 아닙니다.

Medium의 많은 블로그는 사람들이 이메일 주소를 공유하도록 하기 위해 경계선의 그늘진 전술을 사용하고 있습니다. 그리고 최선을 다해 설명하겠습니다. 또 다른 문제는 사이트가 GDPR 규정으로 인해 전체 EU 지역의 액세스를 차단하는 경우입니다. 곧 더 자세히 알아보십시오.

기술적인 부분을 건너뛰려면 여기를 클릭하여 도구 섹션으로 바로 이동하십시오.

페이월이란?

가장 기본적인 용어로 페이월은 유료 웹사이트 콘텐츠를 보호하는 데 사용됩니다. 비용은 금전적 – 구독 – 또는 뉴스레터 성장에 도움이 되는 이메일 주소일 수 있습니다.

페이월을 사용하는 이유는 매우 간단합니다. 광고 차단기가 게시자의 수익원을 방해하고 있기 때문입니다. 그리고 이것은 10년 이상 동안 일어나고 있습니다.

Google은 2017년에 "6억 개 이상의 기기에서 광고 차단기를 사용합니다"라고 보고했습니다. 그 이후로 이 숫자가 기하급수적으로 증가했다고 가정하는 것이 공정합니다.

대형 게시자이고 광고 수익에 의존 하는 경우 구독 모델로 전환하는 것이 좋습니다. 그러나 이 주제에 대한 나의 관점은 검색 엔진과 관련이 있습니다.

특히 게시자가 Google과 같은 검색 엔진이 콘텐츠를 크롤링하고 색인을 생성하도록 허용하지만 검색자는 읽지 못하도록 하는 방법입니다.

검색 엔진은 페이월 콘텐츠에 어떻게 액세스합니까?

그래서 처음에 이 글을 쓴 이유와 무슨 일이 일어났는지 설명하겠습니다. 내 오픈 소스 분석 기사에 대한 연구를 수행할 때 광고 차단기가 분석 보고서에 미치는 영향을 알고 싶었습니다.

특히 광고 차단기가 Google Analytics와 같은 도구의 보고에 미치는 영향.

이에 대한 내 검색어는 "광고 차단기 분석 추적" 이었습니다.

그리고 구글에서 검색한 결과는 다음과 같습니다.

첫 번째 결과는 데이터 과학을 향하여( Towards Data Science )에서 가져온 것으로 특집 스니펫 입니다. 이러한 스니펫은 특정 질문에 대한 빠른 답변을 제공하는 Google의 방법입니다. 그리고 권위를 내포하기 위해 검색결과 페이지 상단에 붙입니다.

그럼에도 불구하고 대답은 매우 간단하지만 더 알고 싶었습니다. 그래서 기사 링크를 클릭했습니다. 그리고 이것은 내가 인사받은 페이지입니다.

내 첫 번째 생각은? 짜증나네요. 내 두 번째 생각? Google은 이 기사를 어떻게 보고 검색 결과에서 홍보했습니까?

 물론, 나는 무지하려고 하는 것이 아니다. Medium은 한 달에 읽을 수 있는 기사의 수를 제한한다는 것을 알고 있습니다. 하지만 얼마나 읽었는지 추적하는 것은 불가능합니다. 특히 Medium 블로그에 사용자 정의 도메인 이름을 사용할 수 있다는 점을 고려하십시오.

이 경우 데이터 과학을 향하여는 해당 콘텐츠를 Medium에 게시합니다. 그리고 Medium은 창작자들에게 그들의 플랫폼으로 퍼블리싱을 위해 돈을 벌 수 있는 방법을 제공합니다. 그것은 신뢰의 개인적인 문제보다 비즈니스 관계입니다. 그러나 여기에 내 불만이 있습니다.

이 콘텐츠가 번성하기 위해서는 검색 엔진 트래픽에 크게 의존합니다.

따라서 Google Crawler는 전체 페이지의 콘텐츠를 볼 수 있을 뿐만 아니라 검색 결과에 색인을 생성할 수 있는 무료 패스를 제공합니다. 그리고 위에서 보았듯이 이러한 검색 결과는 신뢰할 수 있는 상태로 승격될 수 있습니다. 솔직히 의미가 없습니다.

페이월 콘텐츠에 대한 Google의 입장

Google은 스키마 마크업을 사용하여 페이월 콘텐츠를 구성하는 방법에 대한 공식 가이드라인을 만들었습니다. 여기에서 공식 문서를 볼 수 있습니다.

요약해서 말하자면:

• Google은 콘텐츠 클로킹을 허용하지 않습니다.
• 페이월 콘텐츠는 페이월 뒤에 숨겨진 정확한 섹션까지 표시되어야 합니다.

Google이 이러한 규칙을 얼마나 적극적으로 시행하는지 알 수 없습니다.

나는 Towards Data Science에 대한 실사를 수행했으며 다음은 특정 페이지에서 사용하는 코드입니다.

 mainEntityOfPage: https://towardsdatascience.com/how-much-data-is-missing-from-your-google-analytics-dashboard-20506b26e6d isAccessibleForFree: False cssSelector: .meteredContent

여기에서 볼 수 있듯이 isAccessibleForFree 는 False 이고 CSS 선택기는 .meteredContent로 설정됩니다. Medium이 페이월 콘텐츠를 구성하는 방법에 대한 Google 가이드라인을 따르고 있음을 알려줍니다.

".meteredContent" 선택기란 무엇입니까?

이 선택기는 사용자가 읽을 수 있는 무료 기사 수에 제한이 있음을 Google과 같은 검색 엔진에 알리는 데 사용됩니다. 미디엄의 경우 월 3개의 무료 기사입니다.

물론 미디엄 측에서 진짜 잘못을 찾기 위해 사냥을 하던 중 빈손으로 돌아왔습니다. 논리적으로, 구글이 모든 기사를 볼 수 있다는 것은 말이 안 된다고 생각하지만, 실제 독자는 강제로 가입하기 전에 3개의 기사만 읽을 수 있습니다. Google은 이러한 종류의 행동을 허용하는 것을 매우 기쁘게 생각하는 것 같습니다.

 Google은 접근성보다 콘텐츠 품질에 더 관심이 있다고 공개적으로 밝혔습니다. 회사는 처음에 처음 방문자를 위해 최소 3개의 무료 기사를 허용하도록 게시자에게 알리는 지침을 발표했습니다. 이것은 Medium에서 본 사실입니다. 그러나 최근 몇 년 동안 Google은 구조화된 마크업으로 전환했습니다. Google 자체의 "검색 알고리즘 작동 방식" 기사에서 이에 대해 자세히 알아보세요.

GDPR로 인해 EU에서 차단됨

경우에 따라 액세스를 완전히 차단하는 웹사이트를 접할 수 있습니다. 이는 EU 독자의 액세스를 차단하는 미국 기반 게시자와 크게 관련이 있습니다. 그리고 이에 대한 간단한 이유는 GDPR(유럽의 개인 정보 보호 규정) 때문입니다.

위의 이미지는 웹사이트가 EU 방문자를 "관심"한다는 것을 암시하지만 실제적인 측면에서는 분명히 그렇지 않습니다. 퍼블리셔가 이렇게 하는 이유는 사용자에 대한 데이터를 수집하는 복잡한 광고 기술 때문입니다. 그리고 특정 지역에 대해 추적되는 데이터를 제한하는 대신 일부는 액세스를 완전히 차단하기로 선택합니다.

페이월 우회 방법

자, 이제 페이월 뒤에 숨겨진 모든 드라마와 추론을 살펴보겠습니다. 대신 페이월을 빠르게 우회하는 데 사용할 수 있는 몇 가지 도구를 살펴보겠습니다.

12피트 사다리

페이월을 통과하는 가장 빠른 방법은 12ft Ladder 웹사이트를 사용하는 것입니다. 페이월로 연결되는 URL을 입력하기만 하면 나머지는 12ft에서 처리합니다.

 https://12ft.io/[link to the paywalled website]

작동 방식은 매우 간단합니다. 뉴스 사이트, 게시자 및 기타 콘텐츠 제공업체는 페이월을 사용하지만 Google 크롤러가 페이지를 볼 수 있도록 허용합니다. 이러한 맥락에서 12ft는 단순히 Google 캐시 기능을 사용하여 전체 페이지를 표시합니다.

내가 아는 한 12ft는 New York Times 우회를 지원하지 않습니다.

페이월 우회

Bypass Paywalls 브라우저 확장은 GitHub에서 호스팅되는 오픈 소스 프로젝트입니다. 이 특정 확장을 사용하려면 직접 설치해야 합니다. Google Chrome 마켓플레이스나 Mozilla에서 다운로드할 수 없기 때문입니다.

확장 프로그램 자체는 Chrome, Firefox 및 Edge 브라우저에서 사용할 수 있습니다. 마지막으로 이 프로젝트는 GitHub에 20,000개가 넘는 별을 가지고 있습니다. 따라서 시간 테스트를 거쳤으며 신뢰할 수 있습니다. 이 확장으로 우회할 수 있는 사이트의 전체 목록은 프로젝트 페이지 자체에 있습니다.

보관소

Archive Today 프로젝트는 다른 많은 페이월 우회 도구와 유사하게 작동합니다. 검색 엔진에서 페이지를 탐색한 것처럼 페이지를 보관하고 보려는 페이지의 읽을 수 있는 버전을 다시 제공합니다.

이 방법은 사람들이 페이월 콘텐츠 뒤에 있는 이야기를 제출하는 Hacker News와 같은 사이트에서 자주 사용되는 것으로 보입니다. 내가 말할 수 있는 바에 따르면 NY Times, Financial Times, Wall Street Journal 및 기타 수많은 사이트와 잘 작동합니다.

시크릿 모드

어떤 경우에는 웹사이트에서 귀하가 읽은 무료 기사 수를 모니터링하기 위해 쿠키 데이터를 저장합니다. 한도에 도달하면 유료화됩니다. 그리고 이를 우회하는 더 쉬운 방법 중 하나는 시크릿 모드를 사용하는 것입니다. 개인 모드라고도 합니다.

설정 으로 이동하고 새 개인 창 을 선택하여 모든 최신 브라우저에서 시크릿 모드에 액세스할 수 있습니다. 이렇게 하면 쿠키 기록이 없는 "백지 상태"가 표시됩니다. 즉, 쿠키 페이월 뒤에 숨겨진 콘텐츠에 액세스할 수 있습니다.

잉꼬고

Incoggo 뒤에 있는 사람들은 광고 차단기 시장에 진입할 계획입니다. 그러나 당분간 페이월을 건너뛸 수 있는 무료 Mac 기반 소프트웨어를 제공합니다. 다시 말하지만, 이 소프트웨어는 OSX 사용자만 사용할 수 있지만 Windows 버전은 곧 공개될 예정입니다.

그들의 최신 블로그 뉴스를 보면 프로젝트가 활발히 개발 중인 것으로 보입니다. 이것은 소프트웨어가 필요할 때 작동한다는 것을 의미하기 때문에 좋은 소식입니다. Incogo가 건너뛸 수 있는 간행물 및 사이트에 대해서는 공식 웹사이트를 확인하십시오.

페이월을 우회하는 것이 윤리적 입니까?

나는 우리 모두가 다양한 수준의 도덕적 나침반에서 작동한다고 생각합니다. 양측의 주장이 많다. 그리고 기사 시작 부분에서 언급했듯이 게시자는 프리미엄 콘텐츠에 대한 구독료를 청구할 수 있어야 한다고 생각합니다.

내 유일한 문제는 이 과정이 강탈이 될 때입니다. 다시 말해, 왜 Google과 같은 검색 엔진에 권한을 부여하고 다른 모든 사용자를 잠그는가?

콘텐츠에 페이월을 추가한 게시자로 연결되는 진정한 무료 기사를 읽는 것은 드문 일이 아닙니다.

기사 한 개를 읽는 데 1년에 50달러를 지불할 가치가 있습니까? 한때 무료였으나 유료화에도 불구하고 여전히 링크되고 있는 기사도 마찬가지입니다.

어떤 경우이든 이 가이드가 최소한 유용한 정보를 제공하기를 바랍니다.