La controversia que rodea a los temas "populares" de WordPress.org expone las debilidades del algoritmo

Si alguna vez se ha preguntado cómo el directorio de temas de WordPress identifica y clasifica los temas que se muestran en la pestaña popular, se sorprenderá al saber que no tiene nada que ver con las calificaciones. La popularidad es una cualidad un tanto subjetiva para medir en primer lugar, pero WordPress.org tiene un algoritmo para dar a los usuarios una idea de qué temas son tendencia.

La cantidad de sitios que usan un tema es la primera métrica que viene a la mente para la popularidad, pero no puede limitarse a eso o los resultados podrían estar sesgados hacia temas más antiguos que de hecho ya no son populares. Samuel "Otto" Wood, en respuesta a un hilo de Twitter sobre cómo los temas parecen estar jugando con el sistema, creó un video para explicar cómo funciona el algoritmo de popularidad.

“Popular es actualmente instalaciones activas divididas por antigüedad del tema y algunos otros factores”, dijo Wood. “Las calificaciones actualmente no tienen en cuenta. Estamos tratando de elaborar un algoritmo para agregarle calificaciones. En su mayor parte, es una cuestión de popularidad”.

Le pedí más aclaraciones sobre los otros factores y dijo que varía según los datos que tengan y cómo se ven esos datos con el tiempo. “Lo ajustamos para que cambie con bastante regularidad, pero que refleje lo que es popular en ese momento”, dijo Wood.

Dion Hulse, quien también ayuda a mantener la infraestructura de WordPress.org, dijo: “No se publica por diseño, para evitar que los autores jueguen demasiado. Aparte de lo que ha dicho Otto, la única otra parte pública es que un tema debe tener al menos dos semanas de antigüedad para ser incluido en las clasificaciones populares”.

A fines del año pasado, los recuentos de descargas de temas se reemplazaron con el número de instalaciones activas para tratar de evitar que los autores de temas jugaran con el sistema para aparecer en la pestaña Popular. Jugar con el sistema es mucho más difícil ahora, pero hay otras formas de hacerlo, debido a las medidas imperfectas para las instalaciones activas.

Cómo mide WordPress.org las instalaciones activas de los temas

El tema de las instalaciones activas fue reavivado ayer por Matt Medeiros, propietario de una pequeña empresa y autor de temas de WordPress.org, quien sospechaba del autor de un tema recientemente popular de jugar con el sistema.

Las descargas/activas de temas de Gaming .org se están ejecutando desenfrenadamente. Este tema "ya tiene 10k instalaciones activas". DL cuenta aproximadamente 3k @ Otto42 pic.twitter.com/aaYwWcsvu8

— Matt Medeiros (@mattmedeiros) 25 de octubre de 2016

El tema Vertex, nuevo en el directorio este mes, ya tiene más de 10 000 instalaciones activas, a pesar de tener un recuento de descargas mucho más bajo y sin calificaciones. Medeiros hizo un video explicando lo que él percibía como actividad sospechosa impulsándolo al cuarto lugar más popular en WordPress.org. Esto llevó a Samuel Wood a filmar una respuesta, que analiza algunas de las fallas en el sistema que mide las instalaciones activas.

“El conteo de instalaciones activas es un conteo de sitios que nos han informado que están buscando una actualización para ese tema y que está activo”, dijo Wood. Explicó que más de 10,000 en este caso y en muchos otros es una estimación aproximada porque WordPress.org no tiene una medida exacta de cuántos sitios han instalado un tema:

Lo que en realidad estamos contando es sí, la cantidad de instalaciones activas de un tema llamado Vertex. Eso puede incluir temas que no están en nuestro directorio, como este de Elegant themes. Si el tema no está en nuestro directorio, igualmente recibimos informes al respecto. La única forma de que no hagamos eso es hacer que el tema en sí mismo los revise para ver si hay actualizaciones en lugar de buscarnos actualizaciones, lo que su tema debería hacer. Iría tan lejos como para decir que cualquier tema comercial debería estar revisando su sitio comercial, sus sistemas no los nuestros, pero si no tienen ningún código especial para manejar ese caso, entonces sí, informará a nuestro servidor API. buscando actualizaciones. Y si tiene el nombre Vertex, entonces sí, se contará como el tema Vertex.

En este caso, los creadores del tema Vertex se dieron cuenta de que el nombre ya estaba en uso fuera de WordPress.org. Ofrecieron cambiar el nombre del tema a iVertex durante el proceso de revisión, pero el equipo de revisión de temas decidió que no era necesario.

“No hay juego detrás de eso”, dijo Wood. “Si alguien juega con el sistema, lo encontraré. te lo garantizo Sin embargo, este no es tal caso. Nuestro algoritmo actual analiza las instalaciones activas y, si elige un nombre que es muy popular [fuera de WordPress.org], puede tener una gran cantidad de instalaciones activas sin que en realidad se esté contando este tema”.

Este problema podría resolverse con una identificación única para los temas. Wood dijo que hay un boleto central de seis años que le gustaría implementar, pero actualmente no es una prioridad.

“Desafortunadamente, no hay un impulso real para hacer eso”, dijo. “En algún momento en el futuro, me gustaría que todos los temas y complementos en el directorio de WordPress obtengan una identificación única que puedan poner en sus encabezados y cuando informen, tener esa identificación única identificará de manera única ese tema o complemento. Eliminaría tantos problemas para mí. Haría las actualizaciones mucho más fáciles. Podría hacer muchas cosas útiles con él y me permitiría solucionar este problema aquí mismo”.

Cómo afecta el algoritmo de temas populares a las empresas temáticas

Obtener identificaciones únicas no es una solución fácil, ya que sería necesario revisar los informes de temas y sería necesario cambiar varios sistemas que interactúan entre sí. A la larga, valdría la pena obtener informes más precisos sobre WordPress.org, que es el primer lugar en el que muchos usuarios navegan cuando buscan un nuevo tema. Si los recuentos de instalaciones activas no son una representación adecuada de las instalaciones a través de WordPress.org, entonces no tiene sentido vincular el popular algoritmo a ese número.

Le pregunté a Matt Medeiros por qué eligió resaltar la situación con Vertex y explicó por qué muchos propietarios de pequeñas empresas tienen un gran interés en la página de temas populares.

“Cada vez es más difícil sobrevivir como tienda temática en estos días”, dijo Medeiros. “Los autores independientes se ven eclipsados ​​por enormes tiendas temáticas y megamercados. Para mí, .org es la única fuente de distribución para mis temas, y deseo que el repositorio se convierta en el lugar de facto para encontrar temas de calidad. Lamentablemente, no todos los temas se envían para "hacerlo bien" y muchos surgen para obtener dinero rápidamente de los usuarios finales desprevenidos. Los primeros lugares valen MUCHO dinero (ver: Zerif) y, junto con un motor de búsqueda de temas obsoleto, vale la pena jugar hasta la cima, incluso a corto plazo. Los usuarios desprevenidos, a quienes les resulta demasiado difícil buscar, se conforman con lo que tienen delante”.

Medeiros hizo referencia a Zerif Lite, que se eliminó recientemente de WordPress.org, debido a violaciones de las pautas que comenzaron a aplicarse después de que se aprobó el tema. El tema estaba generando decenas de miles de dólares para ThemeIsle, gracias a su lugar frecuente entre los temas más populares en WordPress.org. Ionut Neagu, el CEO de la compañía, estima que la suspensión de Zerif Lite del directorio disminuirá los ingresos mensuales de $70K de la compañía en un 50%.

“Hay un disgusto persistente en el proceso de revisión de las ventas adicionales de freemium”, dijo Medeiros. “No todo el mundo está de acuerdo en que la gente debería tener un producto de venta adicional aquí, y eso es desafortunado. Como propietario de una pequeña empresa, esos ingresos me ayudan a reinvertir en la comunidad de WordPress, WordCamps, contratar y capacitar a las personas en el desarrollo con WordPress. A veces, el proceso de revisión, mezclado con las emociones de los demás, se siente como un impuesto en aumento contra el propietario de una pequeña empresa de software, como yo”.

Al llamar la atención sobre los números sospechosos de instalaciones activas para el tema Vertex y las fallas en el algoritmo, Medeiros provocó la resistencia de Wood, quien no ve el directorio como un lugar donde las empresas deberían esperar un retorno de sus inversiones.

“El directorio de temas no es un anuncio para vender sus productos”, dijo Wood. “Es exactamente ese tipo de pensamiento [que] me hace querer prohibir todos los temas con una versión 'pagada' del directorio por completo. El directorio de temas no es un medio publicitario. Ese no es su propósito. Si esa es tu intención, entonces lo estás haciendo mal”.

Medeiros dijo que no está interesado en revisar todos los temas por posible fraude, ni espera que Otto haga lo mismo. Vertex es solo un ejemplo entre muchos en los que las fallas en el algoritmo están a la vista del público.

“Elegí resaltar este problema porque creo que el repositorio puede ser una mejor opción para los usuarios que un mercado con fines de lucro”, dijo Medeiros. “De cualquier manera, solo puedo esperar que desenterrar esta conversación ayude a afectar el cambio para mejor”.