Como ignorar um paywall (artigos, blogs, etc.)

Uma das coisas mais irritantes da web “moderna” são os paywalls. Cada vez mais editores estão optando por bloquear seu conteúdo por meio de assinaturas premium ou formulários de inscrição por e-mail. E neste artigo, vou explicar por que existem paywalls e como contorná-los.

Quero deixar absolutamente claro que não tolero o ato de evitar pagar por conteúdo premium. Os editores devem ser recompensados ​​por seu trabalho, e eu respeito isso. Mas não são apenas grandes editoras como o New York Times que estão causando problemas.

Muitos blogs no Medium estão fazendo táticas duvidosas para forçar as pessoas a compartilhar seus endereços de e-mail. E farei o meu melhor para explicar como. Outro problema é quando os sites bloqueiam o acesso de toda a região da UE devido aos regulamentos do GDPR. Mais sobre isso em breve.

Se você quiser pular a parte técnica, clique aqui para ir direto para a seção de ferramentas.

O que é um Paywall?

Nos termos mais básicos, um paywall é usado para proteger o conteúdo do site que deve ser pago. O custo pode ser monetário – assinatura – ou um endereço de e-mail para ajudar a desenvolver um boletim informativo.

O raciocínio por trás do uso de um paywall é bastante simples: os bloqueadores de anúncios estão dificultando os fluxos de receita dos editores. E isso vem acontecendo há mais de uma década.

O Google informou em 2017 que “[…] mais de 600 milhões de dispositivos usam bloqueadores de anúncios” . É justo supor que esse número tenha crescido exponencialmente desde então.

Se você é um grande editor e depende da receita de publicidade, faz sentido fazer a transição para um modelo de assinatura. No entanto, meu ângulo neste tópico está relacionado aos mecanismos de pesquisa.

Especificamente, como os editores permitem que mecanismos de pesquisa como o Google rastreiem e indexem seu conteúdo, mas não permitem que o pesquisador o leia.

Como os mecanismos de pesquisa acessam o conteúdo com paywall?

Então, deixe-me ilustrar o que aconteceu e por que escrevi este artigo em primeiro lugar. Ao fazer pesquisas para meu artigo de análise de código aberto, eu queria saber o impacto que os bloqueadores de anúncios têm nos relatórios de análise.

Em particular, como os bloqueadores de anúncios afetam os relatórios de ferramentas como o Google Analytics.

Minha consulta de pesquisa para isso foi: “rastreamento de análise de bloqueadores de anúncios” .

E aqui está o resultado da pesquisa do Google:

O primeiro resultado é do Towards Data Science e é um trecho em destaque . Esses snippets são a maneira do Google de fornecer uma resposta rápida a uma pergunta específica. E eles são colados no topo da página de resultados de pesquisa para implicar autoridade.

No entanto, a resposta é bastante simples, mas eu queria saber mais. Então, eu cliquei no link do artigo. E esta é a página com a qual fui recebido:

Meu primeiro pensamento? Isso é irritante como o inferno. Meu segundo pensamento? Como o Google viu este artigo e o promoveu nos resultados de pesquisa?

 Claro, não estou tentando ser ignorante. Eu sei que o Medium limita quantos artigos você pode ler por mês. No entanto, manter o controle de quantos você leu não é viável. Especialmente, considerando que você pode usar nomes de domínio personalizados para seus blogs do Medium.

Nesse caso, Towards Data Science está publicando seu conteúdo no Medium. E o Medium oferece aos criadores uma maneira de ganhar dinheiro para publicar com sua plataforma. É uma relação de negócios mais do que uma questão pessoal de confiança. Mas aqui está a minha queixa com ele.

Para que esse conteúdo floresça, ele depende muito do tráfego do mecanismo de pesquisa.

Assim, o Google Crawler recebe um passe livre para ver todo o conteúdo da página, mas também para indexá-lo nos resultados da pesquisa. E, como vimos acima, esses resultados de pesquisa podem ser promovidos ao status de autoridade. O que, honestamente, não faz o menor sentido.

A posição do Google sobre conteúdo com paywall

O Google criou uma diretriz oficial sobre como estruturar conteúdo com paywall usando marcação de esquema. Você pode ver os documentos oficiais aqui.

Resumindo:

• O Google não permite a camuflagem de conteúdo.
• O conteúdo com paywall deve ser marcado até a seção exata que está oculta atrás de um paywall.

A forma como o Google aplica essas regras ativamente é desconhecida.

Fiz minha devida diligência no Towards Data Science e aqui está o código que eles estão usando nessa página específica:

 mainEntityOfPage: https://towardsdatascience.com/how-much-data-is-missing-from-your-google-analytics-dashboard-20506b26e6d isAccessibleForFree: False cssSelector: .meteredContent

Como podemos ver aqui, isAccessibleForFree é False e o seletor CSS é definido como .meteredContent. Ele nos diz que o Medium está seguindo as diretrizes do Google sobre como estruturar o conteúdo com paywall.

O que é o seletor “.meteredContent”?

Esse seletor é usado para informar aos mecanismos de pesquisa como o Google que há um limite de quantos artigos gratuitos um usuário pode ler. No caso do Medium, são 3 artigos gratuitos por mês .

É certo que, enquanto procurava encontrar irregularidades reais por parte do Medium, voltei de mãos vazias. Acho que, logicamente, não faz sentido que o Google possa ver todos os artigos, mas os leitores reais só conseguem ler 3 artigos antes de serem forçados a se inscrever. O Google parece estar mais do que feliz em permitir esse tipo de comportamento, e não há muito mais que eu possa dizer.

 O Google afirmou abertamente que está mais interessado na qualidade do conteúdo do que em se preocupar com sua acessibilidade. A empresa publicou inicialmente diretrizes sobre dizer aos editores para permitir pelo menos 3 artigos gratuitos para visitantes de primeira viagem. Isso é verdade para o que vimos com o Medium. Mas, nos últimos anos, o Google mudou para marcação estruturada. Leia mais sobre isso no artigo "Como funcionam os algoritmos de pesquisa" do próprio Google.

Bloqueado na UE por causa do GDPR

Em alguns casos, você pode encontrar sites que bloqueiam totalmente o acesso . Isso é muito relevante para editores sediados nos EUA que bloqueiam o acesso de leitores da UE. E a razão simples para isso é o GDPR – regulamentos de privacidade da Europa.

Embora a imagem acima implique que o site em questão “se preocupa” com os visitantes da UE, claramente não é o caso em termos práticos. A razão pela qual os editores fazem isso é por causa de técnicas de publicidade complicadas que coletam dados sobre os usuários. E, em vez de limitar quais dados são rastreados para uma região específica, alguns optam por bloquear totalmente o acesso.

Como contornar paywalls

Tudo bem, vamos olhar além de todo o drama e raciocínio por trás dos paywalls. Em vez disso, vamos explorar algumas das ferramentas que você pode usar para ignorar rapidamente um paywall.

Escada de 12 pés

A maneira mais rápida de passar por um paywall é usar o site da escada de 12 pés. Tudo o que você precisa fazer é inserir o URL que vincula a um paywall, e 12 pés fará o resto.

 https://12ft.io/[link to the paywalled website]

Quanto ao funcionamento, é bem simples. Sites de notícias, editores e outros provedores de conteúdo usam paywalls, mas permitem que o Google Crawler veja suas páginas. Nesse contexto, o 12ft simplesmente usa o recurso Google Cache para mostrar a página completa.

Que eu saiba, 12 pés não suporta ignorar o The New York Times.

Ignorar Paywalls

A extensão do navegador Bypass Paywalls é um projeto de código aberto hospedado no GitHub. Para usar esta extensão específica, você deve instalá-la você mesmo. Como não está disponível para download no Google Chrome marketplace ou no Mozilla.

A extensão em si está disponível para os navegadores Chrome, Firefox e Edge. Por último, mas não menos importante, o projeto tem mais de 20.000 estrelas no GitHub. Portanto, é testado pelo tempo e também confiável. A lista completa de sites que você pode ignorar com esta extensão está na própria página do projeto.

Arquivo

O projeto Archive Today funciona de forma semelhante a muitas outras ferramentas de bypass de paywall. Ele arquiva as páginas como se a página fosse navegada por um mecanismo de pesquisa e retorna uma versão legível da página que você está tentando visualizar.

Esse método costuma ser usado em sites como o Hacker News, onde as pessoas enviam histórias por trás de conteúdo com paywall. Pelo que posso dizer, funciona bem com sites como NY Times, Financial Times, The Wall Street Journal e muitos outros.

Modo incógnito

Em alguns casos, um site armazena dados de cookies para monitorar quantos artigos gratuitos você leu. Quando atingir o limite, você será pago. E uma das maneiras mais fáceis de contornar isso é através do modo de navegação anônima. Também conhecido como modo privado.

Você pode acessar o modo de navegação anônima em qualquer navegador moderno acessando Configurações e selecionando uma nova janela privada . Isso simplesmente fornecerá uma “lousa em branco” sem histórico de cookies, o que significa que você pode acessar o conteúdo oculto atrás de um paywall de cookies.

Incoggo

O pessoal por trás do Incoggo está planejando entrar no mercado de bloqueadores de anúncios. Mas, por enquanto, eles fornecem software gratuito baseado em Mac para pular paywalls. Novamente, este software está disponível apenas para usuários do OSX, embora uma versão do Windows deva surgir em breve.

Olhando para as últimas notícias do blog, parece que o projeto está em desenvolvimento ativo. Esta é uma boa notícia porque significa que o software funciona quando necessário. Quanto a quais publicações e sites o Incoggo pode pular – verifique seu site oficial.

É ético contornar paywalls?

Acho que todos nós operamos em níveis variados de bússola moral. Há uma série de argumentos a serem tidos em ambos os lados. E, como mencionei no início do artigo, acho que os editores devem poder cobrar taxas de assinatura por conteúdo premium.

Meu único problema é quando esse processo se torna extorsão. Em outras palavras, por que dar privilégios a mecanismos de busca como o Google e depois bloquear todos os outros usuários?

Não é incomum ler um artigo gratuito genuíno, com links para editores que adicionaram paywalls ao seu conteúdo.

Vale a pena pagar $ 50 por ano para ler apenas um artigo? O mesmo vale para artigos que já foram gratuitos, mas ainda estão sendo vinculados, apesar do paywall.

Seja qual for o caso, espero que este guia tenha lhe dado pelo menos algumas dicas úteis.