ATENCIÓN: este contenido tiene más de 2 años de antigüedad y, debido a su temática, podría contener información desactualizada o inexacta en la actualidad.
Nota: este artículo es una traducción de "Programming Interview Questions Are Too Hard and Too Short" por Charles Treichler en el blog de la empresa de selección TripleByte, traducido y publicado aquí con su autorización expresa.
TL;DR: las preguntas de entrevistas de trabajo de programación pueden resultar innecesariamente difíciles. A veces realmente lo son. Y esto no sólo es porque hacen que las entrevistas sean demasiado estresantes. Nuestros datos revelan que las preguntas sobre programación más difíciles en realidad empeoran la predicción final sobre la idoneidad de los candidatos que en el caso de las más fáciles.
Programar bajo la presión del tiempo es difícil. Esto es especialmente cierto durante las entrevistas de trabajo. Un ejercicio de programación que parecería simple en circunstancias normales se convierte de alguna manera en un desafío imponente bajo las luces brillantes de una oficina en la que se realizan entrevistas. Las hormonas del estrés nublan el pensamiento durante las entrevistas (aunque, lamentablemente, ni luchar ni huir es una respuesta válida ante un problema de programación amenazante). Y casi puede parecer que las preguntas están diseñadas para ser perversamente difíciles. De hecho, creo que esto es más que un simple presentimiento.
Las preguntas de las entrevistas están diseñadas para ser difíciles. Debido a que el coste de contratar a un mal programador es mucho más alto que el coste de descartar a un buen programador, las empresas se ven incentivadas a establecer un listón alto. Y para la mayoría de las organizaciones esto significa hacer preguntas difíciles. Intuitivamente, esto parece tener sentido porque las preguntas más difíciles parecen dar lugar a un proceso de selección más riguroso. Pero la intuición resulta ser un mal consejero en este caso. Nuestros datos muestran que las preguntas más difíciles son en realidad menos fiables que las que son relativamente más fáciles.
Las preguntas de las entrevistas son demasiado difíciles
Las preguntas difíciles sí filtran a los malos profesionales, pero también filtran a los buenos (es decir, tienen una alta tasa de falsos negativos). Por el contrario, las preguntas fáciles producen menos falsos negativos pero más falsos positivos (ya que más programadores aciertan). Equilibrar estas dos variables es el problema principal al que te enfrentas al seleccionar el nivel de dificultad óptimo para las preguntas de la entrevista. Las empresas que buscan evitar falsos positivos a toda costa tienden a inclinarse hacia el extremo más difícil de este espectro.
Sin embargo, el hecho de que un candidato responda o no correctamente a una pregunta no es la única fuente de información en el transcurso de una entrevista. También se pueden evaluar los procesos de los candidatos, por ejemplo, observando cuánto tiempo tardan en terminar, cuán limpio es el código y cuánto les cuesta encontrar una solución. Nuestro análisis muestra que esta segunda fuente de información (los procesos) es casi tan predictiva como la primera (los aciertos).
Pero en este punto hay una concesión más. Las preguntas que transmiten la mayor parte de la información sobre los procesos son mucho más fáciles que las preguntas que transmiten la mayor parte de la información sobre los aciertos. Esto se explica con claridad cuando se analizan los procesos hasta el punto de determinar hasta qué punto un candidato se esfuerza mientras encuentra una solución (el aspecto del proceso más directamente relacionado con la dificultad de la pregunta). Si una pregunta es lo suficientemente difícil como para transmitir mucho valor al acierto, entonces todos los candidatos tendrán dificultades con ella (incluso aquellos que a la larga la terminen acertando). Por lo tanto, el nivel de esfuerzo no trasladará mucha información sobre el candidato.
Por el contrario, las preguntas que transmiten información sobre los procesos serán lo suficientemente fáciles para que la mayoría de los candidatos las respondan correctamente, por lo que tendrán poco que ofrecer en términos de información sobre el candidato cuando lo evaluamos en función de si la respuesta es correcta o no. Una pregunta óptimamente difícil es aquella que equilibra "proceso" y "acierto" para extraer la información máxima de la combinación de estos dos factores (y que no tiene que ser la información de 10 sobre 10 para ninguno de los dos).
Hemos entrevistado a miles de ingenieros y evaluado sus respuestas a lo largo de múltiples dimensiones, incluyendo el proceso y el acierto, y hemos comparado estas puntuaciones con el rendimiento posterior. Y, después del análisis de regresión (considerando tanto los indicadores de proceso como los de acierto), nuestros datos mostraron que las preguntas más predictivas eran en realidad mucho más fáciles de lo que esperábamos (y más fáciles que las preguntas que hacen muchas de las empresas).
En última instancia, las preguntas más difíciles descartan a demasiados candidatos capacitados para ser óptimos. Por lo tanto, si quieres que tu proceso de contratación sea más preciso, probablemente deberías hacer preguntas más fáciles.
Quiero dejar claro, sin embargo, que esto no significa que debas bajar el listón y pasar a más gente. Hacer preguntas más fáciles no implica necesariamente que las entrevistas sean más fáciles. El nivel de dificultad de las preguntas que se hacen y dónde se establece el umbral de corte son decisiones independientes. Se puede implementar un proceso de contratación extremadamente riguroso haciendo preguntas relativamente fáciles y evaluándolas de manera exigente. Nuestro hallazgo es sencillamente que las preguntas más fáciles proporcionan más información. Pero lo que se haga con esa información depende de cada empresa.
Las preguntas más fáciles de responder también son menos estresantes, lo cual es una ventaja importante. El estrés causa que los candidatos tengan un desempeño inferior. Sin embargo, cuando los candidatos se sienten más cómodos, dan lo mejor de sí mismos, lo que en realidad hace que las entrevistas sean más reveladoras. Creo que los entrevistadores tienden a subestimar los efectos del estrés en los candidatos y a sobreestimar sus propias habilidades. Cuando eres tú quien hace las preguntas, es fácil olvidar lo difícil que es conseguir una programación real en 30-60 minutos. Para contrarrestar este sesgo, hemos adoptado una regla en Triplebyte que establece que los entrevistadores tienen que dar a los candidatos 3 veces más tiempo para responder a una pregunta de lo que piensan que les llevaría resolverla a ellos mismos. Por lo general, esta simple norma resulta dar con el tiempo adecuado para contrarrestar los efectos del estrés y los nervios.
Las preguntas en las entrevistas se hacen cortas
Las preguntas fáciles también son beneficiosas por otra razón importante. Te permiten incluir más contenido en tus entrevistas. Esto significa que se pueden utilizar problemas más largos, con varias partes, que tienen beneficios adicionales en términos de pronosticar la valía de los candidatos. Uno puede hacer preguntas que aumenten en dificultad a medida que pasa el tiempo, y estas preguntas más largas y reales son más reveladoras que las de sus parientes más cortas y más difíciles <sup>*</sup>.
<sup>*</sup> "El mejor predictor acerca del desempeño de alguien en un trabajo es un ejercicio de ejemplo de trabajo real (29%). Esto conlleva darle a los candidatos un trabajo de prueba, similar a lo que van a hacer en el puesto, y evaluar su desempeño en éste" - Wired Magazine
Esto se debe en parte a que las preguntas más largas ofrecen una mejor aproximación a cómo sería la programación del candidato en un entorno de trabajo real. Una programación productiva requiere trabajar con una base de código relativamente grande durante un largo período de tiempo, y las preguntas más largas simplemente logran una mejor aproximación a esta realidad.
Además, las preguntas más largas permiten dar pistas cuando un candidato se atasca. Creo que esto es vital porque incluso los mejores ingenieros pueden tropezar durante un problema con el código. Hacer preguntas más largas da a los candidatos la oportunidad de reponerse de los errores y mostrar sus habilidades durante el ejercicio. Un solo paso en falso no debería arruinar toda una entrevista. Finalmente, el hecho de poder ofrecer ayuda hace que las entrevistas sean menos estresantes, lo que, una vez más, resulta en resultados más fiables a la hora de evaluar a los candidatos.
Conclusión
Las empresas pueden quedar atrapadas en un círculo vicioso a la hora de fijar la dificultad de una prueba. Comienzan haciendo preguntas que de por sí son demasiado duras y cortas, lo que les lleva a tomar malas decisiones de contratación basadas en indicadores difusos. Cuando experimentan resultados deficientes, pueden intentar corregirlos haciendo de su proceso una experiencia aún más rigurosa (lo que generalmente significa hacer preguntas aún más difíciles). Pero esto sólo hace que sus entrevistas sean menos precisas. Y así sucesivamente. Tanto las empresas como los candidatos se ven afectados por este ciclo. En mi opinión, las empresas pierden talento y los candidatos pierden puestos de trabajo, y todos se estresan más de lo necesario.
Espero que los entrevistadores acepten estos hallazgos descritos. Esto no solamente puede hacer que el trabajo sea más conciso, sino también más fácil. Es mucho menos intensivo en términos de tiempo encontrar problemas sencillos y con múltiples pasos que los retos cortos y sumamente difíciles.
Así que, aquí está nuestro consejo, si realmente quieres hacer que tus entrevistas sean más precisas, probablemente necesites empezar a hacer preguntas de programación más fáciles. Esto no significa bajar el listón. Sólo significa obtener mejores indicadores para poder contratar a las personas adecuadas.
Fecha de publicación: