Espacios. Vol. 35 (Nº 13) Año 2014. Pág. 10

Método Delphi - Propuesta para el cálculo del número de expertos en un estudio Delphi sobre empaques biodegradables al 2032

Delphi Method - Proposal to calculate the number of experts in a Delphi study on biodegradable packaging to 2032

Jhon Wilder ZARTHA Sossa 1; Juan Manuel MONTES Hincapié 2; Iván Darío TORO Jaramillo 3; Hector Samuel VILLADA 4

Recibido: 21/08/14 • Aprobado: 02/10/14

Contenido

1. Introducción

2. Marco teórico

3. Metodología

4. Resultados

5. Análisis de resultados

6. Conclusiones

7. Agradecimientos

8. Referencias

1. Introducción

La prospectiva se ha constituido en una de las funciones clave dentro del proceso de la administración de la tecnología Erosa (2007), su alineamiento en empresas, regiones y sectores a través de proyectos específicos, ha mostrado resultados concretos en cuanto a la reducción de la incertidumbre en la toma de decisiones.

Dentro de las escuelas de prospectiva se encuentra la perspectiva anglosajona, dentro de la cual el método Delphi constituye su herramienta medular, y presenta sus propias características que lo diferencian de otras escuelas, como la francesa con énfasis en escenarios y la australiana que está más relacionada con la perspectiva social.

El método Delphi ha tenido aplicaciones en muchos sectores alrededor del mundo, con un énfasis marcado hacia los estudios de futuro en tecnología e innovación; sin embargo, desde sus inicios en los años 40 ha presentado cambios en su metodología hasta tal punto que las aplicaciones que se presentan en los últimos años corresponden más a un "Delphi modificado" que se diferencia en las características de anonimato, presentación de alternativas diferentes a los consensos y número menor de rondas, entre otros aspectos.

Este artículo ofrece elementos que permiten establecer la influencia del número de expertos en la elección de temas, tecnologías o variables presentes en las aplicaciones del método Delphi. Para tal fin, se evaluó un estudio Delphi realizado en el periodo de 2014, específicamente lo que se busca es brindar elementos para la toma de decisiones en cuanto al número adecuado de expertos y si un número reducido de expertos es suficiente para realizar un estudio Delphi. Adicional a esto el artículo presenta una aplicación del coeficiente de competencia experta "k", su interpretación y la relación del grupo con coeficiente "k" más alto con los temas presentados como resultados del estudio con el número total de expertos.

Antecedentes

El término Delphi hace referencia a un pueblo en la antigua Grecia en el que las predicciones del Dios Apolo fueron transmitidas a los futurólogos en la tierra; como resultado el Delphi siempre ha sido asociado al pronóstico (Landeta 2006; Wakefield y Watson 2013).

Nielsen y Thangadurai (2007), mencionan que el método Delphi tuvo sus inicios entre 1940 y 1960. De acuerdo con (Landeta 2006; Dalkey y Helmer 1963), se atribuye su origen en la RAND (Research and Development) Corporation, a finales de los años 40, en Santa Mónica (Estados Unidos). El método se originó con un estudio de la guerra fría para identificar posibles objetivos industriales estadounidenses y su vulnerabilidad a las municiones soviéticas (Fletcher y Marchildon 2014; Rowe y Wright 1999; Linstone y Turoff 1975). De acuerdo con Castelló y Callejo (2000), el Delphi es un método que ha sido utilizado en ejercicios nacionales de prospectiva tecnológica, empezó siendo utilizado por Japón en sus ejercicios quinquenales de prospectiva con el objetivo de definir la dirección de crecimiento a largo plazo del país.

(McKinnon et al. 2001, citado por Wakefield y Watson 2013), afirman que el método tiene varias acepciones, siendo una herramienta usada por los encargados de formular políticas para pronosticar y hacer planes de futuro. Es un método sistemático e interactivo que depende de un panel de expertos independientes, usando una serie de opiniones de expertos en comunicación anónima con retroalimentación; es una herramienta flexible para enriquecer consensos en la cual los juicios son resumidos y enviados de nuevo con el fin de refinar el problema en un amplio rango de campos. Helmer y Rescher (1959).

Por otra parte, (León y Montero 2004, citados por Cabero 2013, pág 117), definen el método como "técnica de recogida de datos que se utiliza para poner de acuerdo a un grupo de expertos dispersos geográficamente sobre un tema de interés para el investigador". El Delphi implica completar un cuestionario en varias ocasiones, y ha sido propuesto para suscitar decisiones óptimas en un problema donde la toma de decisiones no es simple (Fitch, Bernstein, Aguilar et al. 2001; Jones y Hunter 1995; citados por Debin, Souty, Turbelin et al. 2013).

Para Castelló y Callejo (2000), el método consiste en una consulta a un gran número de expertos de los sectores o temas específicos elegidos para el ejercicio, sobre la base de un cuestionario, preparado por paneles o comisiones de expertos, que se responde anónimamente y en dos o más rondas. Según Rowe y Wright (1999), el Delphi tiene cuatro características clave: anonimato, iteración, retroalimentación controlada y agregación estadística de un grupo de respuestas. Martino (1993), le suma otra característica relacionada con el equipo monitor, quienes producen un cuestionario estructurado desde los puntos de vista, opiniones y juicios de los panelistas, las cuales pueden ser suscitadas de una manera cuantitativa en rondas posteriores. 

2. Marco teórico

Para que un procedimiento sea definido como "Delphi", se deben tener en cuenta cuatro aspectos  generales: anonimato, iteración, retroalimentación controlada y el análisis estadístico de la respuesta grupal.

Comparación entre aplicaciones del Método Delphi:

Internacionalmente se han realizado aplicaciones del método Delphi en diversos sectores; a continuación se presenta en el cuadro 1, el análisis de las aplicaciones realizadas por 15 autores de publicaciones científicas:

Cuadro 1. Aplicaciones del Método Delphi en diversos sectores.

Fuente: Elaboración propia

En el cuadro anterior se puede observar que no existe consenso sobre el número de expertos que contestan las rondas Delphi; algunos autores realizaron sus estudios con valores altos, tales como: 30, 32, 37, 39, 57, 65, 67, 68 y 123 expertos, mientras que otros autores presentan como número adecuado de expertos cifras como: 7, 9, 10, 11, 12, 14, 15, 18, 20 o 24, este tipo de vacíos relacionados con el número de panelistas continúa, ya que incluso para algunos investigadores no hay evidencia de que incrementando el tamaño del panel mejore la precisión, algunos autores argumentan que un rango entre 5 y 20 personas es suficiente, Rowe y Wright (2001).

Coeficiente de competencia experta "K"

El cálculo del «Coeficiente de competencia experta» se efectúa a partir de la opinión mostrada por el experto sobre su nivel de conocimiento acerca del problema de investigación, así como de las fuentes que le permiten argumentar el criterio establecido. Cabero, Barroso (2013)

El coeficiente se obtiene mediante la aplicación de la siguiente fórmula:

K = ½ (Kc + Ka)

Dónde:

Kc= Es el «Coeficiente de conocimiento» o información que tiene el experto acerca del tema o problema planteado. Es calculado a partir de la valoración que realiza el propio experto en la escala del 0 al 10, multiplicado por 0,1.

Ka= Es el denominado «Coeficiente de argumentación» o fundamentación de los criterios de los expertos. Este coeficiente se obtiene a partir de la asignación de una serie de puntuaciones a las distintas fuentes de argumentación que ha podido esgrimir el experto. En el cuadro 2, se ofrecen las puntuaciones usualmente utilizadas para la valoración de las fuentes de argumentación. (Oñate 1990 y López 2008 citados por Romero et al. 2011)

Con los valores finales obtenidos se clasifican los expertos en tres grandes grupos:

Si K es mayor a 0,8, mayor o menor o igual a 1: entonces hay influencia alta de todas las fuentes.

Si K es mayor o igual que 0,7, mayor o menor o igual a 0,8: entonces hay influencia media de todas las fuentes.

Si K es mayor o igual a 0,5, mayor o menor o igual a 0,7 entonces hay influencia baja de todas las fuentes. Cabero, Barroso (2013).

También es importante mencionar de acuerdo con los lineamientos de (Oñate, 2001; García y Fernández, 2008; López, 2008; Blasco et al., 2010; Mengual, 2011, citados por Cabero, Barroso 2013), los expertos con valores inferiores a 0,8 no son contemplados en el estudio y por lo tanto son rechazados.

3. Metodología

Fase 1. Se revisaron artículos científicos en bases de datos científicas, tesis doctorales y bases específicas de universidades líderes en el método Delphi, patentes en bases de datos así como documentos técnicos relacionados con el método, esta revisión hace parte de un proyecto Doctoral relacionado con la generación y aplicación de un método Delphi modificado como estrategia para impulsar el desarrollo de la gestión de la innovación en organizaciones, con el fin de fomentar el desarrollo de la innovación en el sector piscícola del Departamento del Cauca – Colombia.

Se identificó el problema a tratar, en este caso el relacionado con el número de expertos que contestan una ronda Delphi, este aspecto es importante ya que diversos estudios llevados a cabo en los últimos años presentan el problema de la consecución de un alto número de expertos, y aunque las invitaciones se hacen a un número aproximado de 100 expertos, solo un pequeño porcentaje de estos contestan las rondas. Zartha y Orozco 2008; Zartha et al. 2011; Zartha et al. 2013; Zartha et al. 2014.

Se establecieron las cantidades de expertos que fueron utilizados en los casos presentados en los papers y se seleccionaron algunas de esas cifras relacionadas con los valores más bajos, en este caso: 9, 15, 22 no se eligió la cantidad de 7 expertos para el análisis ya que con este número se presentaban varios valores de moda para el mismo tema, tecnología o variable.

Fase II. Se evaluó un estudio Delphi realizado en 2014 sobre temas, tecnologías y variables prioritarias al 2032 en empaques biodegradables.

En cuanto a la elección de temas, tecnologías y variables prioritarias se mantuvieron constantes los criterios, los cuales consisten en el cálculo de la moda, frecuencia modal y porcentaje de consenso, sobre estos datos se determinó el promedio de los porcentajes de consenso para cada agrupador, con base en esta información se estableció el siguiente criterio:

Tema, tecnología, variable prioritaria: Consenso por encima del promedio del agrupador y moda 4 o 5, la escala era de 0 a 5 donde el orden de priorización fue el siguiente:

0 = Ninguna prioridad

1 = Muy baja

2 = Baja

3 = Media

4 = Alta

5 = Muy alta

N = No sabe/No responde

Para el estudio se tuvieron en cuenta los siguientes agrupadores:

Innovaciones tecnológicas, Materias primas para la Producción de Polímeros Biodegradables, Materias Primas para la Obtención de Empaques Biodegradables, Aditivos y tecnologías, a los que se aplicaron los análisis en diferentes cortes o número de expertos: 9, 15, 22 y 24.

Fase III. Se establecieron porcentajes de temas o tecnologías comunes en cada uno de los cortes: 9. 15, 22 y 24, con el fin de evidenciar si efectivamente los temas o tecnologías permanecían constantes o cambiaban cuando el número de expertos era más alto.

Fase IV. Para brindar un elemento adicional para el valor adecuado del número de expertos, se calculó el coeficiente de competencia experta "K", el cual es considerado como una medida del nivel de competencia de los componentes de panel de expertos, y en este sentido puede ser de utilidad la obtención del coeficiente de competencia propuesto por Oñate 1990 y López 2008 citados por Romero et al. 2011.

La metodología para el cálculo del coeficiente comprende el cálculo de otros dos coeficientes: kc y ka, donde kc es el "coeficiente de conocimiento" o información del propio experto sobre el problema o tema planteado; es una autovaloración en una escala de cierre gráfico (0-10) y multiplicado por 0.1. El valor "0" representa el conocimiento nulo mientras que el "10" el pleno conocimiento de la problemática tratada; ka por su parte es el "coeficiente de argumentación" o fundamentación de los criterios del experto, obtenido a partir de la suma de la puntuación alcanzada en una serie de parámetros. Romero et al. 2011.

En el cuadro 2, se presenta la forma de Valoración de las fuentes de argumentación para la obtención de «Coeficiente de Argumentación» (Ka), necesarias para hallar el coeficiente de competencia experta "k"

Cuadro 2. Valoración de las fuentes de argumentación para la obtención de «Coeficiente de Argumentación» (Ka)

Fuente: Cabero, Barroso (2013)

Para finalizar, se compararon los temas y tecnologías que habían sido mostrados como resultado final del estudio Delphi, es decir, con el número total de expertos, con los temas y tecnologías que hubieran sido prioritarios para el grupo de coeficiente k superior a 0.8.

4. Resultados

Se realizó una consulta estructurada, anónima y reiterativa a expertos de Colombia y otros países como Francia, España, México, Italia y Argentina, sobre innovaciones tecnológicas, materias primas para la producción de polímeros biodegradables, materias primas para la obtención de empaques biodegradables, aditivos y tecnologías prioritarias al año 2032 a través de un cuestionario digital de198 ítems clasificados en 5 agrupadores, la encuesta fue contestada por 24 expertos.

En la tabla 1, se muestran los temas prioritarios obtenidos en el agrupador "INNOVACIONES TECNOLÓGICAS", se puede observar que existe un núcleo común de 5 temas que se repiten en los 4 grupos de respuestas.

Tabla 1. Innovaciones tecnológicas

En la tabla 2, se muestran los temas prioritarios obtenidos en el agrupador "MATERIAS PRIMAS PARA LA PRODUCCIÓN DE POLÍMEROS BIODEGRADABLES", se puede observar que existe un núcleo común de 6 temas que se repiten en los 4 grupos de respuestas.

Tabla 2. Materias Primas para la Producción de Polímeros Biodegradables

En la tabla 3, se muestran los temas prioritarios obtenidos en el agrupador "MATERIAS PRIMAS PARA LA OBTENCIÓN DE EMPAQUES BIODEGRADABLES", se puede observar que existe un núcleo común de 7 temas que se repiten en los 4 grupos de respuestas.

Tabla 3. Materias Primas para la Obtención de Empaques Biodegradables

En la tabla 4, se muestran los temas prioritarios obtenidos en el agrupador "ADITIVOS", se puede observar que existe un núcleo común de 1 tema que se repite en los 4 grupos de respuestas.

Tabla 4. Aditivos

En la tabla 5, se muestran los temas prioritarios obtenidos en el agrupador "TECNOLOGÍAS", se puede observar que existe un núcleo común de 6 temas que se repiten en los 4 grupos de respuestas.

Tabla 5. Tecnologías

Coeficiente de competencia experta "k":

A continuación se presenta el cuadro 3, el cálculo del coeficiente "k" para los expertos del estudio Delphi de empaques biodegradables, esta información fue obtenida a partir de la información solicitada a cada experto sobre su autovaloración en cuanto a grado de conocimiento en el tema y grado de argumentación.

Cuadro 3. Coeficiente de competencia experta "k" Delphi Empaques Biodegradables

De acuerdo con el cálculo del coeficiente "k", 16 expertos obtuvieron un valor mayor a 0.8, con esta información se procedió a analizar los resultados obtenidos por este nuevo grupo de expertos.

En el cuadro 4, se muestran los resultados en cuanto a temas prioritarios para tres grupos de expertos, en la primera columna están los resultados finales con 24 expertos que se presentaron a los grupos de interés del proyecto, en la segunda columna se presentan los resultados obtenidos con el grupo de expertos con coeficiente "k" mayor a 0.8, es decir 16 expertos, y en la tercera columna se presentan los resultados si se hubieran tomado solo las respuestas de los expertos con coeficiente menor a 0.8, en teoría, los menos expertos.

Cuadro 4. Resultados temas prioritarios para tres grupos de expertos. Delphi Empaques Biodegradables

5. Análisis de resultados:

En el grupo de Innovaciones Tecnológicas, con 9 respuestas se obtuvo un Núcleo común de 5 temas + 5 temas diferentes con relación a 24 expertos, además, con 15 respuestas se obtuvo un Núcleo común de 5 temas + 2 temas diferentes con relación a 24 expertos y con 22 respuestas se obtuvo un Núcleo común de 5 temas + 0 temas diferentes con relación a 24 expertos, en este caso los resultados con menos variación se obtuvieron con 15 y 22 expertos.

En el grupo de Materias Primas para la Producción de Polímeros Biodegradables, con 9 respuestas se obtuvo un Núcleo común de 6 temas + 2 temas diferentes con relación a 24 expertos, además, con 15 respuestas se obtuvo un Núcleo común de 6 temas + 1 tema diferente con relación a 24 expertos y con 22 respuestas se obtuvo un Núcleo común de 6 temas + 1 tema diferente con relación a 24 expertos, de nuevo se obtuvo una menor variación con 15 y 22 expertos.

En el grupo de Materias Primas para la Obtención de Empaques Biodegradables, con 9 respuestas se obtuvo un Núcleo común de 7 temas + 5 temas diferentes con relación a 24 expertos, además, con 15 respuestas se obtuvo un Núcleo común de 7 temas + 2 temas diferentes con relación a 24 expertos y con 22 respuestas se obtuvo un Núcleo común de 7 temas + 3 temas diferentes con relación a 24 expertos, nuevamente se evidenció una menor variación con 15 y 22 expertos.

En el grupo de Aditivos, con 9 respuestas se obtuvo un Núcleo común de 1 tema + 2 temas diferentes con relación a 24 expertos, además, con 15 respuestas se obtuvo un Núcleo común de 1 tema + 0 temas diferentes con relación a 24 expertos, y con 22 respuestas se obtuvo un Núcleo común de 1 tema + 0 temas diferentes con relación a 24 expertos, en este grupo se evidenció una menor variación con 15 y 22 expertos.

En el grupo de Tecnologías, con 9 respuestas se obtuvo un Núcleo común de 6 temas + 0 temas diferentes con relación a 24 expertos, además, con 15 respuestas se obtuvo un Núcleo común de 6 temas + 1 tema diferente con relación a 24 expertos y con 22 respuestas se obtuvo un Núcleo común de 1 tema + 0 temas diferentes con relación a 24 expertos, en este caso, se obtuvieron se obtuvieron las menores variaciones con 9 y 22 expertos.

Resultados obtenidos con el coeficiente de competencia experta "k":

Los resultados sobre el número adecuado de expertos se complementaron con el cálculo del coeficiente "k", para el estudio de empaques biodegradables, los resultados obtenidos con los 16 expertos con coeficiente "k" mayor a 0.8 tienen mayor porcentaje de coincidencia con los resultados finales, mientras que los resultados o respuestas dadas por los expertos con coeficiente "k" más bajo presentan mayores variaciones frente a los resultados finales, adicionalmente estos "menos expertos" suben a la categoría de "prioritarios" varios temas que en los resultados finales solo llegaron al nivel de temas en "discusión", si este estudio se hubiera realizado con los 16 expertos de "k" más alto, es decir con los "más expertos" se hubieran obtenido prácticamente los mismos resultados que con los 24 expertos finales.

A continuación se presentan los resultados de porcentajes de coincidencias:

Tabla 6. Resultados sobre el número adecuado de expertos que complementaron
el cálculo del coeficiente "k" grupo Innovaciones Tecnológicas.

Se observa en la tabla 6, como los expertos con coeficiente "k" más bajo, presentan como prioritarios temas que el total de expertos habían determinado como "discusión", es decir, en comparación con los resultados finales aumentan en un 63.63 % los temas prioritarios, frente a solo 9.09 % de cambios que reportaron los expertos con coeficiente "k" más alto.

Tabla 7. Resultados sobre el número adecuado de expertos que complementaron el cálculo
del coeficiente "k" grupo Materias Primas Para La Producción De Polímeros Biodegradables

En este grupo, los expertos con coeficiente "k" más bajo aumentan en un 100 % los temas prioritarios, frente a 22 % de cambios que reportaron los expertos con coeficiente "k" más alto. (Ver tabla 7)

Tabla 8. Resultados sobre el número adecuado de expertos que complementaron el cálculo del coeficiente "k"
grupo Materias Primas Para La Obtención de Empaques Biodegradables

En este caso, como se puede ver en la tabla 8, los expertos con coeficiente "k" más bajo aumentan en un 80 % los temas prioritarios, frente a 40 % de cambios que reportaron los expertos con coeficiente "k" más alto.

Tabla 9. Resultados sobre el número adecuado de expertos que complementaron el cálculo del coeficiente "k" grupo Aditivos

Para este grupo, los expertos con coeficiente "k" más bajo aumentan en un 120 % los temas prioritarios, frente a un 0 % de cambios que reportaron los expertos con coeficiente "k" más alto. (Ver Tabla 9)

Tabla 10. Resultados sobre el número adecuado de expertos que complementaron el cálculo del coeficiente "k" grupo Tecnologías

Finalmente, en la tabla 10, para el agrupador TECNOLOGÍAS, los expertos con coeficiente "k" más bajo, aumentan en un 46.67 % los temas prioritarios, frente a 0 % de cambios que reportaron los expertos con coeficiente "k" más alto.

6. Conclusiones

De acuerdo con los resultados obtenidos en los dos estudios, se observa independientemente del número de expertos, se presenta un núcleo común de temas, bajo esta perspectiva aunque el estudio se hubiera terminado con un número reducido de expertos, se hubieran obtenido temas ganadores medulares.

La incertidumbre sobre el número adecuado de expertos y sobre la conveniencia de aumentar el número de los mismos, puede verse reducida ya que no hay suficiente evidencia de que al aumentar el número de expertos se obtengan resultados diferentes a los obtenidos con 15 o 22 expertos.

La mayor variación de temas se observó cunado se utilizaron 9 expertos.

En cuanto al coeficiente de competencia experta "k" los resultados obtenidos con los 16 expertos con coeficiente "k" mayor o igual a 0.8, en cuatro de los cinco agrupadores se obtuvieron porcentajes altos de coincidencia con el núcleo común de temas prioritarios, mientras que los expertos con coeficiente "k" menor a 0.8 en los cinco agrupadores presentaron porcentajes de variación altos teniendo en cuenta el mismo núcleo común de temas, es decir, los menos expertos resaltan otros temas que no eran prioritarios para el grupo de los expertos y para el núcleo común, de acuerdo con este estudio, es mejor trabajar con un número reducido de expertos con coeficiente "k" alto.

Es importante realizar el análisis con un mayor número de estudios Delphi y verificar si efectivamente en otras aplicaciones del método se presenta un núcleo común de temas que no cambian cuando aumenta el número de expertos y si este conjunto común de temas es el mismo que el mencionado por el grupo de expertos con coeficiente k más alto.

7. Agradecimientos

Los autores expresan sus agradecimientos al Departamento Nacional de Planeación, el sistema general de regalías de Colombia, la Gobernación del Cauca, la Universidad del Cauca  y los grupos de investigación CYTBIA, ASUBAGROIN, GRAIN y Grupo de Ciencia, Tecnología, Innovación y Emprendimiento (CITIE).

8. Referencias

Artículos

1. CABERO, J. Formación del profesorado universitario en tic. Aplicación del método Delphi para la selección de los contenidos formativos. 2013.
2. CABERO, J., BARROSO, J. La Utilización del Juicio de Experto para la Evaluación de Tic: El Coeficiente de Competencia Experta. Bordón 65 (2), 25-38, ISSN: 0210-5934. 2013.    
3. CANCELO, M., NEYRO, J., BAQUERO, J. Tratamiento adyuvante de la vaginitis con probióticos. Grado de acuerdo basado en el método Delphi. 2014.
4. CASTELLÓ, M., CALLEJO, J. La prospectiva tecnológica y sus métodos. 2000.
5. CODURAS, A., SEÑARÍS, J. Análisis Prospectivo Delphi Sobre el Futuro de la Prestación Farmacéutica. 2009.
6. CREANGE, A., CAREYRON, A. The diagnosis of chronic inflammatory demyelinating polyneuropathy: A Delphi-method approach. 2013.
7. DALKEY, N., HELMER, O. An experimental application of the Delphi method to the use of experts. Management Science, 9(3), 458–467. 1963.
8. DEBIN, M., SOUTY, C., TURBELIN, T., BLANCHON, T., BOËLLE, P., HANSLIK, T., HEJBLUM, G., LE STRAT, Y., QUINTUS, F., FALCHI, A. Determination of French influenza outbreaks periods between 1985 and 2011 through a web-based Delphi method. 2013.
9. EROSA, V. Administración de la tecnología. Nueva fuente de creación de valor para las organizaciones. Limusa Noriega editores. México. 2007.
10. FLETCHER, A., MARCHILDON, G. Using the Delphi Method for Qualitative, Participatory Action Research in Health Leadership. 2014.
11. GORDON, T., PEASE, A. RT Delphi: An efficient, bround-lessQ almost real time Delphi methodi. 2006.
12. GRAHAM, B., REGEHR, G., WRIGHT, J. Delphi as a method to establish consensus for diagnostic criteria. 2003.
13. HELMER, O., RESCHER, N. On the epistemology of the inexact science, Management Science, Vol. 6, No. 1, pp. 5-52. 1959.
14. KAUKO, K., PALMROOS, P. The Delphi method in forecasting financial markets—An experimental study. 2014.
15. LANDETA, J. Current validity of the Delphi method in social sciences. 2006.
16. LIIMATAINEN, H., KALLIONPÄÄ, E., PÖLLÄNEN, M., STENHOLM, P., TAPIO, P., MCKINNON, A., Decarbonizing road freight in the future — Detailed scenarios of the carbón emissions of Finnish road freight transport in 2030 using a Delphi method approach. 2014.
17. LINSTONE, H., TUROFF, M. Introduction. In H. A. Linstone & M. Turoff (Eds.), The Delphi method: techniques and application (pp. 3-16). London: Addison-Wesley. 1975.
18. MARTINO, J. Technological forecasting for decision making. 1993.
19. NIELSEN, C., THANGADURAI, M. Janus and the Delphi oracle: Entering the new world of international business research. Journal of International Management, 13, 147-163. 2007.
20. OKOLI, C., PAWLOWSKI, S. The Delphi method as a research tool: An example, design considerations and applications. 2004.
21. ROMERO, R., CABERO, J., LLORENTE, M., VÁZQUEZ, A. El método Delphi y la formación del profesorado en TIC. Universidad de Sevilla. 2011.
22. ROWE, G., WRIGHT, G. Expert opinions in forecasting: the role of the Delphi technique. In J. Armstrong (Ed.), Principles of forecasting (pp. 125–144). Boston: Kluwer Academic. 2001.
23. ROWE, G., WRIGHT, G. The Delphi technique as a forecasting tool: issues and analysis. 1999.
24. WAKEFIELD, R., WATSON, T. Delphi 2.0: A reappraisal of Delphi method for public relations research. 2013.
25. ZARTHA, J., ARANGO, B., VÉLEZ, F., J., COY, D., MÉNDEZ, K., OROZCO, G., ÁVALOS, A., DURÁN, J., BELTRÁN, M., RIOS, L. Estudio de Prospectiva de la Ingeniería Industrial al 2025 en Algunos Países Miembros de la OEA. Latin American and Caribbean Journal of Engineering Education. Vol. 7 (1). 2013.
26. ZARTHA, J., OROZCO, G. Estudio de Prospectiva Académica de la Facultad de Ingeniería Agroindustrial de la Universidad Pontificia Bolivariana al año 2020. Facultad de Ciencias Agropecuarias Vol. 6 No. 2. pág. 67 – 75. 2008.
27. ZARTHA, J., HERRERA, J., BEDOYA, S. Identification of Priority Themes in Management of Technology to 2020. Espacios. Vol. 35 (N°2) 2014.

Tesis

1. MOORE, A. A Modified Delphi Study of Leadership Profiles of the New Product Development Process Stages. 2001.
2. ZEEDICK, D. The Modified Delphi Method to Analyze the Application of Instructional Design Theory to Online Graduate Education. 2012.

Libro

1. ZARTHA, J., BEDOYA, S., HERRERA, J. Prospectiva en Gestión Tecnológica. Ed. Académica Española. ISBN 3845487062, 9783845487069. 156 pág. 2011.

1. Universidad Pontificia Bolivariana. Colombia. jhon.zartha@upb.edu.co
2. Universidad de Medellín. Colombia. jmontes@udem.edu.co

3. Universidad de Medellín. Colombia. idtoro@udem.edu.co

4. Universidad del Cauca. Colombia. samuel.villada@unicauca.edu.co