Proceso de consenso en modelos mentales y aplicación al desarrollo de software ágil en bioinformática

 

ARTÍCULO ORIGINAL

 

Proceso de consenso en modelos mentales y aplicación al desarrollo de software ágil en bioinformática

 

Consensus process in mental models and its application to agile software development in bioinformatics

 

 

MSc. Karina Pérez Teruel, Dr. Maikel Yelandi Leyva Vázquez, Dra. Vivian Estrada Sentí

Universidad de las Ciencias Informáticas (UCI), La Habana, Cuba.

 

 


RESUMEN

Los mapas cognitivos difusos han resultado útiles para la representación de modelos mentales tanto individuales como colectivos. Para problemas tales como el análisis de sistemas complejos y la toma de decisiones usualmente resulta útil realizar un proceso de consenso que permita lograr en el grupo un estado de acuerdo mutuo entre sus miembros. En el presente trabajo se desarrolla un modelo para procesos de consenso en modelos mentales con el uso de mapas cognitivos difusos y de la computación con palabras mediante el modelo de representación lingüística basada en 2-tuplas. El modelo se presenta de forma gráfica y se describen sus principales actividades. Se presenta un caso de estudio aplicado al desarrollo de software para la bioinformática.

Palabras clave: consenso, modelos mentales, mapas cognitivos difusos, computación con palabras, bioinformática.


ABSTRACT

Fuzzy cognitive maps have proven useful to represent both individual and group mental models. When dealing with problems such as the analysis of complex systems or decision making, it is usually advisable to perform a consensus process allowing to achieve mutual agreement between the members of the team. In this paper a model is developed for consensus processes in mental models with the use of fuzzy cognitive maps and computing with words, based on the 2-tuple linguistic representation model. The model is shown graphically and a description is provided of its main activities. A study case is presented which has to do with software development for bioinformatics.

Key words: consensus, mental models, fuzzy cognitive maps, computing with words, bioinformatics.


 

INTRODUCCIÓN

El consenso se ha definido como el estado de acuerdo mutuo entre los miembros de un grupo donde todas las opiniones son escuchadas y se logra una satisfacción de todos los miembros.1 El proceso de logro de consenso (PLC) es un área de investigación activa en el campo de la toma de decisiones en grupo (TDG).1-3 Este tipo de problema puede ser definido como aquellas situaciones donde dos o más expertos tratan de lograr una solución común a un problema teniendo en cuenta sus opiniones y preferencias. Usualmente los problemas de TDG son resueltos a través de un proceso de selección de estas alternativas a partir de las preferencias expresadas por los expertos. No obstante ocurre que pueden existir expectativas no tomadas en consideración usando este enfoque y expertos no satisfechos con la solución encontrada. Para evitar esta situación es recomendable efectuar un PLC previo a la TDG.3

Los mapas cognitivos difusos (MCD) son una técnica de la inteligencia artificial que tiene sus raíces en el mapeo cognitivo y de conceptos.4 Específicamente hace uso de la lógica difusa para establecer las relaciones causales entre conceptos de determinado dominio. Han sido usados como representación externa de los modelos metales internos de los expertos y como herramienta de apoyo a la TDG por su capacidad de ser agregados.

En trabajos identificados en la literatura científica dedicados a la TDG, se reporta el uso de métodos de consenso en MCD.5-8 Fundamentalmente se hace uso del método Delphi y del método propuesto por Bryson y otros.9,10 La motivación de la propuesta tiene su base en las insuficiencias detectadas en estos métodos que a continuación se describen:

  • No se incluye una propuesta para la búsqueda de las áreas de conflicto en los MCD.

  • No se incluye una propuesta para la generación de recomendaciones que muestren a los individuos con diferentes grados de desacuerdo una propuesta de variación en sus MCD.

Teniendo en cuenta el contexto de la toma de decisiones en general, y en específico la ayuda a la toma de decisiones con el uso de MCD, se toma la fiabilidad, relacionada con la capacidad para incluir adecuadamente las preferencias del decisor, tener en cuenta de forma apropiada múltiples criterios11 y dar respuestas cercanas a las que daría un experto o grupo de expertos,12 o las conocidas en la práctica,11-13 como una propiedad fundamental que deben cumplir los modelos.14,15

El objetivo del presente trabajo es desarrollar un proceso de consenso en modelos mentales con el uso de MCD como forma de representación del conocimiento causal y el método de 2-tuplas lingüísticas para representar la incertidumbre y realizar los procesos de computación con palabras (CWW),16 incluyendo mecanismos automáticos de búsqueda de las áreas en conflicto y de recomendación a los expertos para acercar sus preferencias al MCD colectivo.

El trabajo continúa de la siguiente forma: se presentan los conceptos básicos relacionados con los modelos mentales y su representación haciendo uso de los MCD así como del funcionamiento de un PLC. Posteriormente se presenta el modelo de PLC propuesto y su aplicación a un estudio de caso relativo al desarrollo de software bioinformático que permite ejemplificar cada uno de sus pasos. El artículo finaliza con las conclusiones y recomendaciones de trabajos futuros.

 

MODELOS MENTALES Y SU REPRESENTACIÓN MEDIANTE MAPAS COGNITIVOS DIFUSOS

Los modelos mentales son representaciones individuales de la realidad externa que las personas usan en las interacciones con el mundo que les rodea. Son desarrollados por los individuos sobre la base de sus experiencias, percepciones y entendimiento del mundo. Los modelos mentales son representaciones incompletas de la realidad,17,18 lo que lleva a la necesidad del trabajo grupal para ampliar el alcance de los modelos mentales individuales incompletos.

Por su parte, los mapas cognitivos desarrollados por Axelrod han sido tratados en la literatura científica como una representación visual de estos modelos mentales. En estos, los nodos representan conceptos o variables de un dominio. Las conexiones indican la dirección de la causalidad acompañada del signo asociado que puede ser positivo o negativo. No obstante de modo natural ocurre que generalmente las relaciones entre causa y efecto son caracterizadas por su imprecisión.20

Los MCD fueron desarrollados por Kosko a mediados de la década de los 80 como una extensión de los mapas cognitivos.21 Los mejoran al describir la fortaleza de la relación mediante el empleo de valores difusos pertenecientes al intervalo [-1,1]. Entre sus fortalezas se encuentra la posibilidad de representar retroalimentación y su usabilidad en la ingeniería del conocimiento.22

Una de las ventajas de los MCD es la relativa facilidad que ofrecen para la agregación de MCD individuales.23 Esto permite integrar conocimientos de diferentes expertos con modelos mentales diversos, lo que facilita la toma de decisiones y especialmente la toma de decisiones en grupo.24-26

Para expresar el grado de causalidad entre conceptos se pueden emplear expresiones lingüísticas como "negativamente fuerte", "positivamente fuerte", "negativamente débil", "positivamente débil", etc.27 La CWW es una metodología que permite realizar un proceso de computación y razonamiento utilizando palabras pertenecientes a un lenguaje. Esta metodología facilita crear y enriquecer modelos de decisión en los cuales la información vaga e imprecisa es representada mediante variables lingüísticas.28 El modelo de representación lingüística de 2-tuplas permite realizar procesos de CWW sin pérdida de información.16 Su principal utilidad en área de los MCD es que permite aumentar la interpretabilidad de los modelos causales y de los resultados de las simulaciones sin incurrir en pérdidas de información. Estos hechos resultan de utilidad en la representación y análisis de modelos mentales.29

PROCESO DE LOGRO DEL CONSENSO (PLC)

El consenso es un área importante de investigación con múltiples aplicaciones, entre ellas la toma de decisiones en grupo y el aprendizaje en equipo.2,30 Se define como el estado de acuerdo mutuo entre los miembros de un grupo donde las opiniones de todos sus miembros han sido expresadas y escuchadas logrando la satisfacción común. Un moderador coordina el proceso que tiene como premisa su interactividad y dinamismo e incluye varias rondas en las que los expertos presentan sus puntos de vista. En cada ronda el moderador calcula el consenso entre los expertos de acuerdo a métricas de consenso y ayuda a acercar las preferencias de los expertos según las características del dominio en cuestión.1

En cualquier PLC una de las principales tareas consiste en obtener la preferencia colectiva que refleje la opinión de todos los expertos según la definición usada del término consenso. Esto se logra comúnmente mediante la agregación de las preferencias individuales de los expertos y el cálculo de la desviación de cada individuo a esta preferencia colectiva. En cada ronda el moderador propicia el diálogo aportando información nueva al proceso, con el fin de acercar a los expertos a la preferencia colectiva.10

El moderador juega un rol clave en el PLC. No participa en la TDG ni en las discusiones del PLC, pero conoce los modelos mentales obtenidos de los expertos en cada ronda del proceso. Está a cargo de supervisar y llevar el PLC a feliz término para lograr el máximo posible de acuerdo y reducir el número de expertos fuera del consenso en cada ronda. A continuación se enumeran las diferentes fases por las que trascurre un PLC guiado por un moderador:3

  • Calcular el nivel de acuerdo entre los expertos a partir de sus preferencias en cada ronda.

  • Comparar el nivel de acuerdo alcanzado en la ronda con un grado consenso predeterminado para evaluar si el PLC debe continuar o terminar.

  • En caso de continuar se sugieren los cambios a las preferencias individuales de manera que se mejore el acuerdo en la próxima ronda.

Modelo de PLC propuesto

A continuación se presenta el modelo de PLC propuesto (Fig. 1) y luego la descripción textual de cada una de sus actividades. El modelo utiliza una aproximación de las medidas de consenso propuestas por Palomares y Martínez.31

 

 

Determinación de parámetros

El moderador del PLC determina los nodos que desean ser analizados, los expertos que participarán y la granularidad del conjunto de términos lingüísticos. Determina además los parámetros para el control del consenso. Estos son: umbral de consenso , número máximo de rondas MAXROND e N y el umbral de aceptabilidad .

Obtención de los modelos mentales individuales

Cada experto expresa sus modelos mentales haciendo uso de los términos lingüísticos definidos. El peso de la conexión que va del concepto Ci al concepto Cj dado por el experto k, es representado mediante 2-tuplas lingüísticas del siguiente modo:

(1)

Cálculo del grado de consenso

Determinar grado de consenso: El grado de consenso es determinado en el intervalo [0,1]. Por cada relación causal definida por los expertos, su correspondiente valor b, el cual denotaremos como , es calculado de la siguiente forma:

(2)

donde es la función de transformación mostrada en (2).

Por cada par de expertos, ekj, et, (k < t), se calcula una matriz de similaridad . de la siguiente forma:

(3)

La matriz de consenso , que representa la similaridad entre todas las relaciones causales dadas por los expertos y contiene la información a partir de la cual se va a calcular el grado de consenso, es obtenida de la siguiente forma:

(4)

donde es un operador de agregación , representa la similaridad en las opiniones de los expertos con respecto a la relación causal existente entre (Ci, Cj) y cmij, y es el grado de consenso alcanzado por el grupo de expertos con respecto a la relación causal existente entre (Ci, Cj).

El grado de consenso cni con respecto a la influencia que ejerce el nodo Ci (en caso de no permitirse la autoconexión) es calculado de la siguiente forma:

(5)

Finalmente el grado de consenso general es calculado:

(6)

Control del PLC

El grado de consenso general es comparado con el umbral de consenso (µ). Si c g µ el proceso de consenso finaliza. Si no es así indica que se requiere mayor discusión adicional. El parámetro MAXROND también limita el número máximo de rondas de discusión posible.

Producción de recomendaciones

En esta fase se emplea un mecanismo automático capaz de realizar el asesoramiento a los expertos con el fin de ayudarles a cambiar sus preferencias en la dirección adecuada. Se inicia calculando las medidas de proximidad a partir del MCD colectivo , . Este valor es calculado agregando los MCD individuales:

(7)

donde y es un operador de agregación sobre 2-tuplas lingüísticas. Posteriormente se calcula la matriz de proximidad , entre cada uno de ek expertos y Wc. Los valores de proximidad son calculados de la siguiente forma:

(8)

donde identifica las relaciones causales a cambiar (CC). Para esto se identifican las relaciones en los conceptos y cuyo grado de consenso sea menor al umbral definido (µ):

(9)

Una vez determinadas las relaciones que deben ser cambiadas se determinan los expertos que deben actualizar las relaciones. Con este fin se agregan las medidas de proximidad:

(10)

es un operador de agregación sobre 2-tuplas lingüísticas.

A los expertos ek, cuyas se les recomienda cambiar las relaciones causales .

Finalmente se recomienda la dirección en que se debe cambiar la valoración. Para esto se emplea el umbral de aceptabilidad e para evitar generar un excesivo número de recomendaciones innecesarias;

  • DR 1: Si , entonces ek debe variar la etiqueta lingüística Su asignada a la relación Wij causal por otra Sw, de manera que µ < w.

  • DR 2: Si , entonces ek debe variar la etiqueta lingüística Su asignada a la relación Wij causal por otra Sw, de manera que µ < w.

  • DR 3: Si , entonces ek debe crear una conexión con causalidad positiva.

  • DR 4: Si , entonces ek debe crear una conexión con causalidad negativa.

  • DR 5: Si , entonces ek no debe cambiar el valor de la relación causal Wij.

 

ESTUDIO DE CASO

El desarrollo de software para la bioinformática presenta particularidades que hacen adecuado el empleo de métodos ágiles de desarrollo de software. Entre estas se encuentran: la presencia de equipos pequeños multidisciplinarios, la necesidad de una estrecha colaboración entre el equipo de desarrollo y los clientes o especialistas funcionales y los cambios frecuentes de requisitos.32

En esta sección se presenta un estudio de caso con el propósito de demostrar la aplicabilidad de la propuesta y evaluar sus resultados. Se desea llegar a consenso en los modelos mentales asociados a los factores de éxito relacionados con las personas en los proyectos ágiles de desarrollo de software bioinformático (cuadro 1).33 Para este ejemplo ilustrativo se propone el conjunto de términos lingüísticos mostrado en la cuadro 2 para representar las relaciones causales.

 

 

 

Se cuenta con la participación de tres expertos que han desempeñado cargos gerenciales en proyectos de desarrollo de software bioinformático. Los parámetros empleados en el PLC se muestran el cuadro 3. Como operador de agregación a lo largo del proceso se empleó el operador media aritmética para 2-tuplas lingüísticas.34

 

 

PRIMERA RONDA

Los modelos mentales individuales obtenidos en la primera ronda se muestran en la figura 2.

 

 

 

El moderador obtiene la matriz de consenso a partir de la agregación de las matrices de similaridad obtenidas y determina el grado de consenso cg = 0,88.

Como cg = 0,88 < µ = 0,9, el moderador ofrece recomendaciones a los expertos. Se determinan las matrices de proximidad con respecto al MCD colectivo y se identifican las relaciones causales a cambiar tal y como se muestra en la figura 3.

 

 

En rojo se destacan las relaciones causales cuyas etiquetas lingüísticas deben aumentar y en azul aquellas que deben disminuir. En este caso concreto las relaciones causales en rojo correspondientes al experto 1 deben ser incluidas en el modelo.

SEGUNDA RONDA

A partir de las recomendaciones emitidas por el moderador, los expertos 1 y 2 varían las relaciones causales señaladas en sus MCD individuales, como se muestra en la figura 4.

 

 

El moderador obtiene la matriz de consenso a partir de la agregación de las matrices de similaridad obtenidas y determina el grado de consenso cg = 0,91.

Como cg = 0,88 < µ = 0,9, el moderador da por concluido el PLC y se logra un MCD colectivo consensuado, como se muestra en la figura 5, y que constituye la principal entrada para el proceso de TDG posterior.

Para el análisis de la fiabilidad aportada por el proceso de consenso al modelo colectivo usado como entrada de la toma de decisiones subsecuente se tienen en cuenta aspectos estructurales y de comportamiento.

La fiabilidad está relacionada con reflejar la opinión cercana al experto o grupo de expertos. En el aspecto estructural se analiza el error de matriz (EM), definido de la siguiente forma:35

(11)

donde eij es el valor de la relación existente entre los nodos Ci y Cj en el mapa agregado y es el peso de la relación existente entre los nodos Ci y Cj para el experto k-ésimo. N representa el número de conceptos y K el número de expertos.

En el aspecto de comportamiento se mide el error del estado estable (EEE).35 Este tiene en cuenta el promedio de las diferencias entre los valores finales de los conceptos en las simulaciones generadas por el mapa agregado y los valores finales de los conceptos correspondientes generados con los MCD individuales. El error del estado estable es calculado como un promedio sobre experimentos con diferentes vectores iniciales:

(12)

donde Cn (T,p) es el valor del concepto Cn en la iteración T (si el sistema de estabiliza o en caso contrario, el promedio de los valores del concepto Cn en un ciclo completo) en el p-ésimo experimento en el MCD agregado, es el valor del concepto Cn en la iteración (si el sistema de estabiliza o en caso contrario, el promedio de los valores del concepto Cn en un ciclo completo) en el p-ésimo experimento en el MCD obtenido a partir del experto k-ésimo, P es el número de simulaciones a partir de diferentes estados iniciales, es el número máximo de iteraciones, es el número de conceptos, y el número de expertos. En este caso se obtienen tantos experimentos como nodos existen en el modelo, lo que garantiza que todos los nodos del modelo sean estimulados por vectores de entrada.

Con el uso de la transformación del valor numérico equivalente de 2-tupla a un valor numérico en el intervalo [-1,1] propuesta por los autores,29 se obtienen los valores de EM y EEE previos y posteriores a la aplicación del modelo propuesto, como se muestra en el cuadro 4 y en la figura 5.

 

 

 

Los resultados obtenidos apuntan hacia una mejoría tanto en los aspectos estructurales como de comportamiento del modelo colectivo obtenido y, por tanto, una contribución a la fiabilidad del MCD colectivo, entrada del proceso de toma de decisiones subsecuente.

Las principales ventajas que aporta el modelo propuesto son la flexibilidad con la que los expertos expresan sus valoraciones, así como la interpretabilidad del modelo mental resultante. Adicionalmente se brinda apoyo al moderador en el cálculo del nivel de consenso.

 

CONCLUSIONES

Los MCD han resultado útiles para la representación de los MM individuales y colectivos. El PLC previo a la toma de decisiones basada en MCD ha recibido insuficiente tratamiento en la literatura científica. En el presente artículo se presenta un modelo de PLC con el uso de MCD como forma de representación. En el proceso participan un moderador y los expertos seleccionados. El primero determina los parámetros iniciales, controla el proceso y genera las recomendaciones para las rondas sucesivas a partir de la identificación de las áreas en conflicto. Los MM individuales están sujetos a variación a partir de las recomendaciones generadas para acercar sus preferencias al MCD colectivo. El estudio de caso presentado permite mostrar la contribución de la propuesta al aumento de la fiabilidad del modelo obtenido. Como trabajos futuros se encuentran el desarrollo de una herramienta informática que automatice el proceso y el desarrollo de nuevas medidas de consenso.


REFERENCIAS BIBLIOGRÁFICAS

1. Mata F, Martínez L, Herrera-Viedma E. An adaptive consensus support model for group decision-making problems in a multigranular fuzzy linguistic context. Fuzzy Systems, IEEE Transactions on. 2009;17(2):279-90.

2. Mata F. Modelos para sistemas de apoyo al consenso en problemas de toma de decisión en grupo definidos en contextos lingüísticos multigranulares. Jaén, España: Universidad de Jaén. Tesis doctoral; 2006.

3. Mata F, Martínez JC. Consensus reaching with different aggregation techniques. Jaén, Spain: University of Jaén; 2010.

4. Gray S. Fuzzy cognitive maps as representations of mental models and group beliefs. In: Fuzzy cognitive maps for applied sciences and engineering. Springer. 2014:29-48.

5. Salmeron JL. Augmented fuzzy cognitive maps for modelling LMS critical success factors. Knowledge-Based Systems. 2009(22)4:275-8.

6. Salmeron JL. Supporting decision makers with fuzzy cognitive maps. Res Technol Manag. 2009(52)3:53-9.

7. Salmeron JL, Vidal R, Mena A. Ranking fuzzy cognitive map based scenarios with TOPSIS. Exp Syst Applicat. 2012;(39)3:2443-50.

8. Bueno S, Salmeron JL. Benchmarking main activation functions in fuzzy cognitive maps. Expert Systems with Applications. 2009(36)3:5221-9.

9. Linstone HA, Turoff M. The Delphi Method: techniques and applications. Addison-Wesley. 1975:50-2.

10. Bryson N. Generating consensus fuzzy cognitive maps. In: IASTED International Conference on Intelligent Information Systems (IIS '97). Bahamas: Grand Bahama Island, 1997.

11. Singh A. Architecture value mapping: using fuzzy cognitive maps as a reasoning mechanism for multi-criteria conceptual design evaluation. Missouri: University of Science and Technology. PhD Thesis; 2011.

12. Lamy JB. Testing methods for decision support systems. In: Decision Support Systems. Jao CS, ed. InTech; 2010.

13. Chong A, Wong KW. On the fuzzy cognitive map attractor distance. Singapore: IEEE Congress on Evolutionary Computation, CEC 2007; 2008.

14. Iqbal MA. A new requirement prioritization model for market driven products using analytical hierarchical process. In: International Conference on Data Storage and Data Engineering; 2010.

15. Xirogiannis G. Fuzzy cognitive maps in banking business process performance measurement. In: Glykas M. Fuzzy cognitive maps. Springer. 2010:161-200.

16. Pérez-Teruel KA. Linguistic software requirement prioritization model with heterogeneous information. Mazatlán, Mexico: Fourth International Workshop on Knowledge Discovery, Knowledge Management and Decision Support (EUREKA'13); 2013.

17. Senge PM. La quinta disciplina: el arte y la práctica de la organización abierta al aprendizaje: Ediciones Granica SA; 2004.

18. Pérez-Teruel K, Leyva-Vázquez M. Neutrosophic logic for mental model elicitation and analysis. Neutrosophic Sets and Systems. 2012:31-3.

19. Axelrod RM. Structure of decision: the cognitive maps of political elites: Princeton University Press; 1976.

20. Puente Águeda C. Estudio de las relaciones causales. Anal Mecán Electr. 2010(87). p. 54-9.

21. Kosko B. Fuzzy cognitive maps. International Journal of Man-Machine Studies. 1986(24):65-75.

22. Leyva-Vázquez M. Técnicas para la representación del conocimiento causal. Un estudio de caso en Informática Médica. La Habana: Rev Cubana Inf Cienc Salud. 2013 [citado 31 de mayo de 2013];(24)1. Disponible en: http://scielo.sld.cu/scielo.php?pid=S230721132013000100006&script=sci_arttext&tlng=pt   

23. Khan MS, Quaddus M. Group decision support using fuzzy cognitive maps for causal reasoning. Group Decision and Negotiation. 2004(13)5:463-80.

24. Leyva-Vázquez MY. Modelo para el análisis de escenarios basados en mapas cognitivos difusos: estudio de caso en software biomédico. Ingeniería y Universidad. 2013(17)2:375-90.

25. Tapia García JM. Un problema de consenso para problemas de toma de decisiones multicriterio en grupo mediante relaciones de preferencia intervalares difusas lingüísticas. Rev Métod Cuantitat Econom Empr. 2012(14)1:36-53.

26. Leyva-Vázquez M. A model for enterprise architecture scenario analysis based on fuzzy cognitive maps and OWA operators. In: Electronics Communications and Computers (CONIELECOMP). International Conference; 2014:243-7.

27. Sokar IY. KPIs target adjustment based on trade-off evaluation using fuzzy cognitive maps. Austr Jour Bas Appl Scienc. 2011(5)12. p. 2048-53.

28. Herrera F. Computing with words in decision making: foundations, trends and prospects. Fuz Optimiz Decis Mak. 2009(8)4:337-64.

29. Pérez-Teruel K. Computación con palabras en la toma de decisiones mediante mapas cognitivos difusos. Rev Cubana Cienc Informát. 2014(8)2:en prensa.

30. Senge P. La quinta disciplina en la práctica. Ediciones Granica SA; 2005.

31. Palomares I, Martínez L. Attitude-Driven Web Consensus Support System for Large-Scale GDM Problems Based on Fuzzy Linguistic Approach. In: Advances in artificial intelligence. Springer. 2013:91-100.

32. Deutsch M, Gerard HB. A study of normative and informational social influences upon individual judgment. Jour Abnor Soc Psychol. 1955(51)3:629.

33. Chow T, Cao DB. A survey study of critical success factors in agile software projects. Jour Syst Softw. 2008(81)6. p. 961-71.

34. Herrera F, Martínez L. A 2-tuple fuzzy linguistic representation model for computing with words. Fuzzy Systems, IEEE Transactions on. 2000(8)6:746-52.

35. Stach W. Learning and aggregation of fuzzy cognitive maps. An evolutionary approach. University of Alberta: Doctoral Thesis; 2011.

 

 

Recibido: 5 de marzo de 2014.
Aprobado: 21 de mayo de 2014.

 

 

MSc. Karina Pérez Teruel. Universidad de las Ciencias Informátocas (UCI). La Habana, Cuba. Correo electrónico: karinapt@uci.cu

  DOI: http://dx.doi.org/10.36512/rcics.v25i3.605.g411

Copyright (c) 2015 Karina Pérez Teruel, Maikel Leyva Vázquez, Vivian Estrada Sentí

Licencia de Creative Commons
Este obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional.