Fuente original: https://www.katalon.com/resources-center/blog/katalon-studio-vs-selenium-based-open-source-frameworks/

Traductor: Fernando Espinoza

Katalon Studio es una solución open-source de automatización de pruebas que aprovecha el motor de Selenium.

Este post ofrece una comparación de los frameworks de código abierto basados ​​en Katalon y Selenium, centrándose en características clave tales como usuarios objetivo, implementación, administración de pruebas y compatibilidad con lenguaje de scripting, rendimiento, usabilidad e integración con otras herramientas.

USUARIOS FINALES:

La automatización de pruebas de software generalmente necesita habilidades técnicas y cierto conocimiento sobre la aplicación para su aplicación. El conocimiento sobre las tecnologías relacionadas con automatización de pruebas no es obligatorio, si no recomendado. Por ejemplo, tener conocimiento de HTML y JavaScript debería ser mejor que no hacerlo si está realizando pruebas en la web.

Los usuarios de Katalon Studio pueden automatizar pruebas con sólo conocimientos técnicos limitados.

Katalon Studio esconde todas las complejidades técnicas y proporciona una interfaz de usuario amigable con el modo manual (el usuario puede arrastrar y soltar, seleccionar palabras clave y probar objetos para formar pasos de prueba), pero aún mantiene las armas necesarias para usuarios técnicamente más poderosos que pueden excavar más profundo en la codificación con el modo de guión que es totalmente compatible con las ventajas del desarrollo, como el resaltado de sintaxis, la sugerencia de código y la depuración.

Selenium y Appium son principalmente bibliotecas de pruebas automatizadas que son más adecuadas para testers que poseen buenas habilidades de programación. Normalmente necesitarán usar un IDE como Eclipse o Visual Studio, para importar bibliotecas de Selenium y Appium (y ciertamente sus dependencias) en un proyecto de desarrollo, para instalar marcos de prueba de unidades necesarias como JUnit, NUnit y TestNG antes de comenzar a escribir un caso de prueba .

Del mismo modo, Katalon Studio es básicamente una solución todo en uno. Pero si aún prefiere (y tiene las habilidades necesarias) construir todo desde el principio, puede elegir un motor como Selenium, Appium, etc. para construir otra solución de prueba automatizada como Katalon Studio. Además de Katalon Studio, hay algunos frameworks de prueba construidos sobre Selenium y Appium como Robot Framework ( http://robotframework.org )

DESPLIEGUE Y PRIMEROS PASOS:

Muchos proyectos de código abierto son difíciles de configurar e implementar porque son aportados por muchos desarrolladores y proveedores diferentes que envían su trabajo a un lugar central (Github).

Puede que tenga que compilar todo utilizando el código fuente enviado. Pero incluso si los frameworks están empaquetados en un elemento listo para usar como Selenium y Appium, aún debe seguir las pautas técnicas para su API e integrarlos con un IDE y un lenguaje de programación preferido. A continuación se detallan los pasos de alto nivel requeridos por Selenium, Appium y Katalon Studio para la configuración y ejecución

· Selenium:

o Descargue e instale Java SDK

o Descargue y configure bibliotecas de prueba: cliente API de Selenium de su idioma preferido, Selenium Server o un paquete independiente (un paquete de cliente y servidor en una sola biblioteca)

o Descargue IEDriver y ChromeDriver, configure el entorno y las variables PATH

o Descargue y configure el desarrollo IDE y sus marcos de prueba preferidos, como JUnit, NUnit y TestNG

o Revise el documento Selenium API para comenzar a crear un proyecto y escribir algún código.

· Appium:

o Descargue e instale el SDK en su lenguaje de programación ya sea Java, Python, Ruby o C #

o Descargue y configure bibliotecas de prueba (Appium, Node.js, Android SDK, XCode si Mac e iOS), configure el entorno y las variables de PATH

o Descargue y configure el desarrollo IDE y sus marcos de prueba preferidos, como JUnit, NUnit y TestNG

o Revise el documento Selenium API para comenzar a crear un proyecto y escribir algún código

Katalon Studio está diseñado como un paquete unificado que incluye casi todas las cosas necesarias, como Java, Android SDK, controladores web para controlar navegadores y dependencias requeridas. Todo lo que tienes que hacer es descargarlo e instalarlo en tu computadora.

GESTIÓN DE PRUEBAS

Katalon Studio ofrece una interfaz gráfica de usuario rica con menús, vistas de árbol, tablas, etc. para administrar casos de prueba, objetos y archivos de datos. Su compositor de secuencias de comandos con resaltado de sintaxis completa, sugerencia de código y depuración es ideal para los probadores que solo quieren arrastrar y soltar o tienen habilidades de programación limitadas:

(Modo manual de Katalon Studio)

(Modo de guión de Katalon Studio)

(Modo de depuración Katalon Studio)

Por otro lado, Selenium y Appium, cuando se integran con un IDE de desarrollo dedicado como Eclipse y Visual Studio, ofrecen entornos intuitivos para los desarrolladores, pero funciones desconocidas e innecesariamente complejas para verificadores manuales o no técnicos. La administración de pruebas es un desafío para los evaluadores no técnicos cuando usan Selenium y Appium.

(El único modo de desarrollo de Selenium + TestNG + Eclipse)

( Casos de prueba, suites de prueba, datos de prueba principalmente organizados en archivos XML y código de programación)

SCRIPTING

En cuanto a soporte de lenguaje de scripting:

En Katalon Studio: Java / Groovy es la única opción por ahora.

En Selenium, Appium + un IDE: muchas opciones para lenguajes de scripting

RENDIMIENTO

Katalon Studio utiliza Groovy, un lenguaje construido sobre Java, y tiene que cargar muchas bibliotecas para analizar datos de prueba, probar objetos y registrar. Por lo tanto, puede ser un poco más lento en comparación con Java para casos de prueba largos con cientos de pasos.

USABILIDAD Y FUNCIONALIDAD

El concepto de espiar objetos de prueba es la actividad más importante pero que consume mucho tiempo en la automatización de pruebas.

· Katalon Studio es compatible con el objeto espía para la Web (mediante el uso de complementos del navegador para IE, Firefox, Chrome) y para aplicaciones móviles (mediante el simulador de captura de pantalla). Katalon Studio también admite objetos capturados de alta iluminación en AUT:

(Katalon Object Spy con soporte de alto brillo para objetos)

● Selenium tiene un complemento de Firefox llamado Selenium IDE para registrar objetos en aplicaciones web. Desafortunadamente, este complemento ya no se mantiene y es compatible. Obtenga más información sobre "Por qué Katalon Studio se convierte en un reemplazo completo de Selenium IDE ".

● Appium proporciona una herramienta complementaria de espionaje de objetos móviles que es útil, pero no tiene una función de iluminación.

GESTIÓN DE DATOS DE PRUEBA

· Katalon Studio proporciona un objeto de archivo de datos que puede consultar datos de fuentes externas: archivo CSV, archivo de Excel, base de datos relacional. Katalon Studio también admite pruebas basadas en datos en un objeto de archivo de datos. Por ejemplo, al probar la función de inicio de sesión, puede especificar 100 cuentas predefinidas en una hoja de cálculo de Excel o una base de datos.

· Selenium y Appium: los evaluadores tienen que codificar los datos de prueba directamente en el código. Cualquier soporte para fuentes de datos externas requiere un considerable esfuerzo de programación.

GRABACIÓN DE PRUEBAS

La grabación de prueba es la mejor manera de ayudar a los usuarios a aprender y adaptarse rápidamente a la automatización de pruebas. Ayuda a un verificador de automatización a realizar dos tareas principales: capturar objetos (durante la grabación) y generar pasos de prueba con acciones o palabras clave adecuadas, lo que permite ahorrar al menos un 50-60% de tiempo en la redacción de casos de prueba.

● Katalon Studio tiene la capacidad de grabar y generar scripts de prueba en aplicaciones web y móviles:

● Al igual que Katalon Studio, Appium admite la grabación y generación de scripts de prueba para aplicaciones móviles.

● Selenium tiene Selenium IDE, ahora designado como obsoleto, para registrar las acciones del usuario y puede exportar a casos de prueba JUnit / TestNG, pero la información de identificación del objeto está codificada directamente en el código generado sin soporte de administración de objetos:

(Prueba de grabación con Selenium IDE)

(Caso de prueba generado por Selenium IDE)

INFORMES Y ANÁLISIS

· Katalon Studio proporciona informes intuitivos con mensajes amigables y legibles y capturas de pantalla capturadas en el momento del error que pueden exportarse a archivos CSV, HTML y PDF

· Katalon Analytics visualiza los resultados de ejecución de pruebas en forma procesable que permite a los equipos para diagnosticar rápidamente y tener una mejor idea o f sus pruebas de automatización.

(Tablero de Katalon Analytics con historial de ejecución visualizado)

· Selenium y Appium no tienen herramientas de informes en sí mismas, pero en función del marco de prueba que se utilice tendrá algunas plantillas de informes simples. Las capacidades sofisticadas de informes y análisis, como las que ofrece Katalon, son probablemente una de las funciones más buscadas para Selenium y Appium.

(TestNG Informe con la programación de stack-trace, sin captura de pantalla de la falla)

INTEGRACIÓN:

● Katalon Studio puede integrarse con varios sistemas de administración de pruebas y sistemas de seguimiento de errores, incluido qTest ( https://www.qasymphony.com ) y JIRA para enviar errores, defectos, registros de prueba y resultados de pruebas. Katalon Studio también se puede integrar con Kobiton, un laboratorio móvil basado en la nube para pruebas móviles basadas en la nube ( https://kobiton.com ).

● Selenium y Appium: sin integración, los usuarios deben construir las capacidades de integración por sí mismos.

INTEGRACIÓN EN FLUJO CI

● Katalon Studio proporciona una interfaz de línea de comando, lo que permite que CI Systems llame y active la ejecución de la prueba.

● Selenium y Appium: los usuarios deben crear y configurar trabajos de ejecución (tareas Ant, objetivos maven, etc.) para activar la ejecución de la prueba.

SOPORTE Y VERSIONES:

● Los grupos de Selenium y Appium no tienen un plan de liberación claro, y los errores reportados generalmente no se solucionan rápidamente.

● Katalon Studio se lanza mensualmente (los lanzamientos menores para correcciones urgentes a menudo están disponibles dentro de unos días a una semana), y los errores generalmente se corrigen en cuestión de días. Los comentarios de los usuarios son muy apreciados y resueltos rápidamente.