METODOLOGÍA PARA LA VALORACIÓN DE HALLAZGOS DE AUDITORÍAS DE PRIMERA PARTE

Luis Fernando Galván Gómez1; Diana María Montoya Quintero2; Adriana Xiomara Reyes Gamboa3; Claudia Alejandra Rosero Noguera4;

1M.Sc. en Administración, Profesor, Politécnico Colombiano Jaime Isaza Cadavid, Medellín, Colombia, luisgalvan@elpoli.edu.co

2Ph.D. en Ingeniería de sistemas, Profesora, Instituto Tecnológico Metropolitano – ITM, Medellín, Colombia, dianamontoya@itm.edu.co

3Ph.D. en Ingeniería de sistemas e informática, Profesora, Politécnico Colombiano Jaime Isaza Cadavid, Medellín, Colombia, axreyes@elpoli.edu.co

4M.Sc. en Ingeniería de sistemas, Profesora, Politécnico Colombiano Jaime Isaza Cadavid, Medellín, Colombia, carosero@elpoli.edu.co


RESUMEN

Las auditorías de los sistemas de gestión, es una revisión para evaluar la conformidad con los requisitos definidos en los criterios de auditoría. Existen diferentes tipos de auditorías, dentro de los cuales se encuentran las auditorias de primera parte. Se ha evidenciado un problema al realizar estas auditorías ya que en ocasiones estas son subjetivas y poco precisas al evaluar las evidencias; es por este motivo, que se propone disminuir los riesgos en los informes de auditorías con un método que le permita a los auditores valorar las evidencias de auditorías y realizar una mejor clasificación de los hallazgos de auditorías en sistemas de gestión; unificando criterios objetivos para los resultados de las auditorias y definiendo un método que disminuya la subjetividad y permita obtener un seguimiento cuantitativo.

Palabras claves: auditorias, sistemas de gestión, hallazgos de auditorías, valoración de hallazgos de auditorías

Recibido: 12 de abril de 2023 Aceptado: 19 de Junio de 2023

Received: April 12, 2023Accepted: June 19, 2023


METHODOLOGY FOR THE VALUATION OF FIRST PARTY AUDIT FINDINGS

ABSTRACT

Audits of management systems are a review to assess conformity with some requirements defined in the audit criteria. There are different types of audits, among which are the first part audits. A problem has been evidenced when carrying out these audits since sometimes these are subjective and imprecise when evaluating the evidence; It is for this reason that it is proposed to reduce the risks in audit reports with a method that allows auditors to assess audit evidence and perform a better classification of audit findings in management systems; unifying objective criteria for the results of the audits and defining a method that reduces subjectivity and allows obtaining a quantitative follow-up.

Keywrods: audits, management systems, obtaining audits, evaluation of obtaining Keywords audits.

Cómo citar este artículo: L. Galván, D. Montoya, A. Reyes, C. Rosero. “Metodología para la valoración de hallazgos de auditorías de primera parte”, Revista Politécnica, vol.19, no.38 pp.160-172, 2023. DOI:10.33571/rpolitec.v19n38a10


1. INTRODUCCIÓN



Los sistemas integrados de gestión (SIG) están cobrando gran relevancia en las organizaciones que quieren alcanzar niveles de competencia mundial, para esto se debe promover el equilibrio emocional y cognitivo de la organización desde el liderazgo gerencial; una de las principales estrategias organizacionales para afrontar el tema de la excelencia en gestión administrativa, se puede tomar de las auditorias en sistemas integrados de gestión. [1]. Las auditorias de primera parte, también llamadas auditorías internas, son un componente importante en la generación de estrategias de mejoramiento continuo en las organizaciones. Esta investigación tiene como objeto principal disminuir los riesgos entre los auditores para la valoración (descripción cuantitativa de los hallazgos de auditorías) de las evidencias de auditorías y realizar una mejor validación de hallazgos de auditorías en los sistemas de gestión; unificando criterios objetivos para los resultados de las auditorias.

Para su desarrollo, se aplicó una metodología de extracción de conocimiento humano como un proceso de gestión del conocimiento para hallar una solución de subjetividad a objetividad cumpliendo con la metodología establecida en la norma [2] disminuyendo el riesgo de que un mismo hallazgo tenga diferentes criterios de valoración desde el punto de vista del auditor.

El artículo se encuentra organizado en cuatro secciones, en la primera se presentan los antecedentes que se tienen sobre el área de estudio, la segunda corresponde al método aplicado para el desarrollo de la investigación, en la tercera sección se presentan los resultados y discusión y por último se presentan las conclusiones y referencias.

1.1 Antecedentes

La investigación toma como referencia el trabajo realizado con la metodología CommonKads, que permite el análisis, diseño y arquitectura para crear sistemas basados en conocimiento[3]. En esta investigación se definieron los valores para las evidencias; documentales 50%, física 40% y testimonial 10%.

En la investigación desarrollada por Torres, se establece que un Sistema Integrado de Gestión (SIG), es un sistema que integra todos sus componentes organizacionales en un todo coherente para alcanzar los objetivos estratégicos, su misión, visión y sus metas propuestas. (Torres, Piedrahita, & Palacio, 2016) [4]. Dentro de los sistemas de gestión existen requisitos en común, entre los cuales se menciona el de las auditorías de primera parte o auditorías internas. Sin importar el tipo de sistema de gestión, en su mayoría la implementación de este tipo de sistemas está ligada a una norma cuya certificación está sujeta a una revisión por parte de un ente externo, comúnmente conocido como ente certificador. Es importante resaltar que existen normas ISO que establecen metodológicamente la forma de realizar las auditorias de primera parte como es la ISO 19011:2018. Otro componente importante dentro de esta investigación para el enfoque transdisciplinar es la Estructura de Alto Nivel, el propósito de esta estructura es lograr consistencia y alineamiento de los estándares de sistemas de gestión de la ISO por medio de la unificación de su estructura, textos y vocabulario fundamentales [5].

Esta investigación contempla un enfoque desde la perspectiva de la transdisciplinariedad, es por esto que a continuación se referencian los aportes a la investigación de autores especializados en la temática como [6], quien concluye que la transdisciplinariedad como metodología puede ser adaptada a un modelo para la integralidad de la gestión, partiendo de la similitud entre un sistema, visto desde la complejidad propuesta por Edgar Morin, y una organización, concebida como sistema social. Es decir, las organizaciones pueden ser vistas como sistemas, cuyo principal propósito de gestión lo constituyan los objetivos organizacionales, con un eje integrador que es la metodología para la integralidad, en una única gestión que tenga en cuenta la incidencia de los factores que el entorno y su condición interna le favorezcan para el propósito de su sostenibilidad.


2. MATERIALES Y MÉTODO



La investigación realizada es mixta, debido a que es de tipo descriptiva, ya que se realiza un análisis de toda la información encontrada sobre la integración de los sistemas de gestión y como las auditorias de primera pueden tener un enfoque transdisciplinario, además es de tipo analítico ya que la investigación puede demostrar la relación entre las variables que componen una evidencia de auditoría y la disminución del riesgo en las conclusiones de las auditorias sobre el criterio del auditor [7].

Esta investigación se desarrolló en dos etapas, las cuales son:

Etapa 1: El proyecto de investigación inició con el diseño de un método que permite validar los resultados de auditorías de primera parte.

Actividades Etapa1.

Etapa 2: Se aplicó la metodología en una empresa con un ejercicio de auditoría de primera parte.

Actividades Etapa 2.

Análisis de los resultados de la aplicación de la auditoría de primera parte donde se evaluó el método


3.RESULTADOS


El desarrollo de la investigación parte de la descripción del enfoque transdisciplinario en los sistemas integrados de gestión, para lo cual se toma como base la progresión de relaciones entre disciplinas, des-de el reduccionismo disciplinario hasta el holismo transdisciplinarios, según [8].

En la Tabla 1 se presentan las representaciones gráficas de la disciplinariedad, multidisciplinariedad e interdisciplinariedad y transdisciplinariedad y su relación con el sistema de gestión de acuerdo con las características de la organización.

Tabla 1. Disciplinariedad, multidisciplinariedad, interdisciplinariedad, interdisciplinariedad y transdisciplinariedad y su representación gráfica.

Fuente: [8] y elaboración propia.



Es importante para los procesos de auditorías que se desarrollan en las organizaciones disminuir la incertidumbre sobre los resultados de los hallazgos de auditorías, por este motivo un elemento clave de la investigación es el método para la valoración de la evidencia encontrada en la auditoria, el cual genera un resultado cuantitativo de lo encontrado en el proceso de auditorías, esto le permite al auditor disminuir la incertidumbre sobre el resultado de las evidencias en los procesos auditados; esta metodología se puede aplicar a sistemas disciplinarios como calidad, ambiental, salud ocupacional o cualquier otro sistema de gestión implementado y también se puede aplicar de forma transdisciplinar, donde el resultado encontrado de respuesta a muchos sistemas de una forma integral.

Para la realización de una auditoria objetiva es necesario definir los criterios de auditoría para cada uno de los procesos auditados. Con esta información el equipo auditor elabora su lista de verificación teniendo como referente las actividades descritas en la tabla 2, verificar el proceso de acuerdo al ciclo PHVA.

En la elaboración del plan de auditoría se establecen algunas recomendaciones para el desarrollo de las etapas de la auditoría, en cuanto a las actividades de estas, teniendo en cuenta qué se audita, a quién se debe auditar y el tiempo de duración de cada etapa, es importante aclarar que esta información es a modo de orientación, cada ítem establecido en la tabla 2 es determinado por el equipo auditor.

Tabla 2. Recomendaciones para el desarrollo de las auditorias de primera y segunda parte.

Fuente: Elaboración propia.



En cuanto a la elaboración de la lista de verificación, los miembros del equipo auditor deben recopilar y revisar la información pertinente a las tareas de auditoría asignadas y preparar los documentos de trabajo, según sea necesario, para registro y evidencia de la auditoría. Tales documentos de trabajo pueden incluir lo siguiente: listas de verificación; planes de muestreo de auditoría; formularios para registrar la información, tales como evidencias de apoyo, hallazgos de la auditoría y registros de las reuniones.

El uso de listas de verificación y formularios no restringen la extensión de las actividades de la auditoría, que puedan cambiarse como resultado de la información recopilada durante la auditoría [9].

Tabla 3. Ejemplo de los requisitos de la norma ISO 9001:2015 del numeral 4.4

Fuente: Norma ISO 9001:2015



3.1 Generación de hallazgos de la auditoría

Para las auditorías de primera parte, la evidencia de la auditoría se evalúa frente a los criterios de auditoría para determinar los hallazgos de la auditoría. Los hallazgos de la auditoría pueden indicar el grado de cumplimiento de acuerdo con los criterios de auditoría [9].

A continuación, se muestra el método con el cual el auditor evalúa cualitativa y cuantitativamente la evidencia de auditoría para determinar que los criterios de auditoría cumplen o no cumplen dentro del alcance definido; esta metodología permite disminuir el grado de incertidumbre sobre el criterio del auditor, base fundamental para las auditorías que generan valor a las organizaciones y se realizan con criterios de gestión del riesgo.

3.2 Identificación del tipo de evidencia

El auditor dentro del proceso de auditoría identifica el tipo de evidencia con el cual se va a soportar el cumplimiento del requisito; esta evidencia puede ser documental, física o testimonial [10].

Tabla 4. Tipos de evidencia con el peso relativo a la importancia de la evidencia

Fuente: [10].



Si el auditor no puede recolectar la evidencia que sustente la implementación del requisito, existe un hallazgo de no conformidad. Si el auditor identifica la evidencia se continua con la valoración de la misma.

3.3 Valoración de las características de la evidencia

La evidencia tiene tres características: suficiencia (cantidad de evidencia), relevancia (importancia o impacto de evidencia dentro del contexto de la auditoría) y validez (relación de la evidencia con el objetivo de la auditoría). La evaluación de la suficiencia se muestra en la Tabla 5.

Tabla 5. Nivel de suficiencia de la evidencia en función de la cantidad evaluada

Fuente: Montoya, Lopera, Perdomo, & Giraldo, 2016 [10].



El auditor evalúa la cantidad de evidencia resultado del proceso de auditoría de acuerdo con lo establecido en la Tabla 5, utilizando las técnicas estadísticas acorde al proceso auditado [9].

La evaluación de la relevancia se muestra en la Tabla 6. Es importante anotar que en la relevancia la metodología define un rango y el auditor califica de acuerdo con su criterio el valor exacto dentro del rango.

Tabla 6. Porcentaje de importancia de la evidencia de acuerdo con el contexto de la auditoría

Fuente: [10].



Por último, se evalúa la validez que es la relación entre la evidencia y el objetivo de la auditoría, esta trae solo dos opciones la evidencia está dentro del alcance de la auditoría o no lo está. Esto se muestra en la Tabla 7.

Tabla 7. Calificación de la validez de la evidencia

Fuente: Elaboración propia.



3.4 Valoración de la evidencia

El auditor, de acuerdo con su competencia y la información que le muestra la aplicación en cuanto a suficiencia, relevancia y validez, determina si la evidencia cumple o no cumple con el criterio evaluado, si cumple el hallazgo es conforme y si no cumple el hallazgo es no conforme.

El algoritmo del proceso de valoración de la evidencia de la auditoría consta de las actividades definidas en la Figura 1. El resultado del proceso son los hallazgos de auditorías clasificados como conformes o no conformes.


Figura 1. Algoritmo del proceso de valoración de evidencia


3.5 Preparación de las conclusiones de la auditoría

El auditor antes de la reunión de cierre debe revisar los hallazgos de auditoría y la clasificación dada a cada uno de ellos, si existen, como se muestra en la Tabla 8. En este análisis se tienen en cuanta el número de no conformidades por requisito, lo que le permite al auditor concluir en tiempo real sobre el resultado de la auditoría, además de preparar el informe de auditoría el cual puede ser entregado en la reunión de cierre.

Tabla 8. Resumen de los hallazgos por requisito, proceso y sistema auditado

Nota: RXn son los requisitos de los sistemas auditados

Fuente: Elaboración propia



3.6 Valoración de hallazgos de auditoría

La investigación tiene una función muy importante dentro del proceso de auditoría de primera parte, el cual es la valoración de los hallazgos de auditoría y para disminuir los riesgos de que los auditores, con su criterio personal, emitan un juicio que no corresponda con las evidencias evaluadas y de esta manera generar confianza en las empresas auditadas. Los informes de auditoría deben ser acordes con la realidad de los procesos auditados.

3.7 Resultados de la investigación aplicado en una organización

La Por motivos de confidencialidad de la información, no se suministrará en este informe de investigación nombres que permitan la identificación de la empresa.

De las empresas donde se realizaron auditorias de primera parte se seleccionó una organización con un sistema de gestión de la calidad.

A continuación, se presenta el resumen del resultado de las auditorias del sistema de calidad.

Tabla 9. Resultado de los hallazgos no conformes en la auditoría de calidad ISO 9001:2015

Fuente: Elaboración propia



De acuerdo con el resultado de la auditoría de primera parte se puede concluir que la organización debe implementar un plan de mejora en tres aspectos fundamentales como es la gestión del riesgo (6.1.1), la medición de los procesos (9.1.1) y las acciones correctivas del sistema (10.2.1). Este enfoque sigue siendo disciplinar según la propuesta mostrada en la Tabla 1 presentada por Jantsch, pero el plan de mejora puede generar un enfoque interdisciplinario entre procesos y con un trabajo entre los diferentes sistemas puede llegar a ser transdisciplinar.

Para convertir la evidencia de la auditoría de un análisis cualitativo a uno cuantitativo y establecer el grado con que un auditor determina un hallazgo como no conforme en una auditoría de primera parte, seguiremos el método propuesto en esta investigación con un caso dentro de la auditoría.

Se seleccionó un hallazgo de auditorías del proceso de prestación del servicio.

Tabla 10. Identificación del hallazgo de auditoría

Fuente: Elaboración propia



A continuación, el hallazgo de auditoría que es cualitativo, con la metodología planteada en la investigación lo convertiremos en cuantitativo.

Tabla 11. Identificación del tipo de evidencia que aplica

Fuente: Elaboración propia



En la tabla 11 se establece el tipo de evidencia que aplica al hallazgo de auditoria, para el caso analizado solo aplica la evidencia física y la evidencia testimonial lo que identifica un puntaje de 50 sobre 100.

Tabla 12. Valoración de la suficiencia (cantidad de la evidencia)

Fuente: Elaboración propia



En la tabla 12 se cuantifica la cantidad de la evidencia de la auditoría. Debido a que el auditor solo entrevistó a un funcionario el porcentaje es 10%. Esto demuestra que el muestreo es muy importante para los resultados en la valoración de los hallazgos de una auditoría.

Tabla 13. Valoración de la relevancia (importancia / impacto de la evidencia dentro del contexto de la auditoría)

Fuente: Elaboración propia



En la tabla 13 se valora la relevancia, ósea, la importancia del hallazgo dentro del concepto de la modelo de gestión evaluado. El auditor con su criterio determina la valoración cualitativa y determina el valor dentro del rango establecido. Para el hallazgo analizado se establece la relevancia en un puntaje de 80.

Tabla 14. Valoración de la validez (relación de la evidencia con el objetivo de la auditoría)

Fuente: Elaboración propia



En la tabla 14 se valora la validez de la evidencia, en este punto se verifica si la evidencia está dentro del alcance de la auditoria, si la evidencia hace parte del objetivo de la auditoría. La calificación es 100 si cumple o 0 si no cumple. Para el caso de análisis se identifica que la evidencia está dentro del alcance de la auditoría y cumple con el objetivo de la auditoría por eso su valoración es 100.

En la metodología propuesta en esta investigación la suficiencia, relevancia y validez tienen el mismo valor por consiguiente se promedia la valoración de cada una de las variables.

Tabla 15. Valoración de la evidencia de la auditoría

Fuente: Elaboración propia



El paso siguiente es multiplicar el valor de la evidencia con la fracción del tipo de evidencia

Tabla 16. Valor de la evidencia de la auditoría multiplicada por la fracción del tipo de evidencia.

Fuente: Elaboración propia



Se puede concluir que el auditor determina que existe una no conformidad y que con la muestra seleccionada su conclusión de auditoria sobre el hallazgo encontrado es del 32%. Pero este valor es para el auditor y de esta metodología propuesta en esta investigación se pueden generar muchas investigaciones que generen cambios significativos en los modelos de auditorías que se utilizan en los sistemas de gestión.

4. DISCUSIÓN

Para la realización de una adecuada auditoría que aporte valor o confiabilidad, es necesario definir los criterios de auditoría para cada uno de los procesos auditados; a partir de esos criterios los miembros del equipo auditor deben recopilar y revisar la información pertinente a las tareas de auditoría asignada y preparar los documentos de trabajo, según sea necesario, para el registro de las evidencias de la auditoría; es importante que estas tengan tres características: suficiencia, relevancia y validez. Los documentos de trabajo pueden incluir listas de verificación; planes de muestreo de auditoría; formularios para registrar la información, entre otros.

En el desarrollo de esta investigación se puede concluir que las auditorias se pueden realizar con un enfoque transdisciplinar a medida que las organizaciones implementen sus modelos de forma integral y con un pensamiento transdisciplinar ya que los sistemas en la actualidad son disciplinares.

La implementación del método de auditoría genera más confianza entre los resultados de las auditorías y las evidencias evaluadas, dando como resultado la evaluación cuantitativa del método implementado, lo que disminuye los riesgos en las conclusiones de la auditoría.


5. REFERENCIAS BIBLIOGRÁFICAS

Articulos:

[1] Torres, E., Gustavo, P., & Palacio, A. (2016). Estrategia organizacional para afrontar auditorias en sistemas de gestión integrados. Revista de Ciencias Sociales (RCS), 92-100.

[2] ICONTEC. (04 de 04 de 2016). Reglamento de la certificación ICONTEC de sistemas de gestión. Bogotá, Colombia.

[3] Giraldo, J., Perdomo, W., Lopera, J., & Montoya, D. (2016). Método para Auditorias de Sistemas de Gestión de Calidad Aplicando. Ingenierías USBMed, 54-60.

[4] Torres, P., Piedrahita, E., & Palacio, A. (2016). Estrategia organizacional para afrontar auditorias en sistemas de gestión integrados. Revista de Ciencias Sociales, 92-110

[5] Álvarez, R. (2014). Estructura de alto nivel de la ISO y su impacto en las normas de sistemas de gestión. CEGESTI.

[6] Valois, N. (2015). Integralidad de la gestión desde la transdisciplinariedad. SIGNOS, 15-30.

[7] Rojas, M. (2015). Tipos de investigación científica: Una simplificación de la complicada, incoherente nomenclatura y clasificación. REDVET, 1-14.

[8] Jantsch, E. (s.f.).

[9] ICONTEC. (17 de 10 de 2018). GTC ISO 19011:2018. Directices para la auditoria de los sitemas de gestión. Bogotá, Colombia.

[10] Montoya, D., Lopera, J., Perdomo, W., & Giraldo, J. (2016). Método para Auditorias de Sistemas de Gestión de Calidad Aplicando a gestión del conocimiento. Ingenierías USBMed.

[11] Bench, T. (1990). Knowledge Representation: An approach to Artificial Intelligence. Academic Press, 221.

[12] Cálad, & Henao, M. (2001). CommonKADS-RT: Una Metodología para el Desarrollo de Sistemas Basados en el Conocimiento de Tiempo Real. En Cálad, & M. Henao, CommonKADS-RT: Una Metodología para el Desarrollo de Sistemas Basados en el Conocimiento de Tiempo Real. Medellin.

[13] Cèsari, & Matilde. (2012). dharma. Obtenido de http://dharma.frm.utn.edu.ar/cursos/ia/2012/material/APUNTES-FILMINAS/U2/SEapuntesCesari.pdf

[14] Cuena, J., & Molina, M. (1996). Building Knowledge Models Using KSM. Banff, Canada.

[15] D.Fensel, E. R. (2000). cs.vu.nl. Obtenido de www.cs.vu.nl.html

[16] D.Fensel, R. B. (1999). In Proceeding of the International Joint Conference on AI(IJCAI). UPML A Framework for knowledge System Reuse. Stockholm, Sweden.

[17] Domingue, J. (s.f.). VITAL Workbench. Obtenido de Knowledge Media Instittute U.K: http://kmi.open.ac.uk/publications/

[18] fayad, A. (9 de feb de 2013). A. corporation. Obtenido de www.itm.edu.co

[19] Foundational Issues, Methodological Variations, and System Approaches. (1994). IIIA - Institut d'Investigació en Intel.ligència Artificial. Retrieved from http://www.iiia.csic.es/People/enric/AICom.html

[20] Guzman, J. (1996). Tesis Maestria. Modelo Integrado Hiepermedia y Basado en conocimiento de apoyo al desarrollo de aplicaciones Informaticas. Medellin, Colombia: Universidad Nacional de Colombia.

[21] hal.inria.fr. (1996). Retrieved from http://hal.inria.fr/docs/00/18/96/52/PDF/Auroux.Blum.pdf

[22] Hart, A. (1992). Knowledge Acquisition for Expert Systens. McGraw-Hill.

[23] ICONTEC. (17 de 08 de 2015). ISO/IEC 17021-1. Evalaución de la conformidad. Requisitos para los organsmos que realizan la uditoria y la certificación d elos sistemas. Bogotá.

[24] IOS PRESS. (1994). Case-Based Reasoning: Foundational Issues, Methodological Variations, and System Approaches (Vol. 7). (C. &. Sciences, Ed.)

[25] Juan, D. (2010). Obtenido de http://antoniopantoja.wanadooadsl.net/recursos/varios/cons_cono.pdf

[26] Molina, J. (1995). Knowledge oriented Design an Object Oriented design. Canada.

[27] Montoya, D. (2010). el mensaje de entrenamiento. En D. Montoya, LA CHOCOLATA (pág. 600). Medellin: Publicaciones las mejores.

[28] Motta, E., & Hara, N. (1996). Solving VT in VITAL. Human-computer Studies., 34.

[29] Newell, A. (1982). The Knowledge Level. . Artificial Intelligence, 18.

[30] Ortiz, Y. (2018). El Impacto de los sistemas integrados de gestión HSEQ en las organizaciones de America Latina. Revista Chilena de economía y sociedad, 76-93.

[31] Priece, J. (1993). Human Factors in Computing. The united States of America: Addison-Wesley.

[32] R.Edmunds. (1988). The Prentice Hall Guide to Expert System. New Jersy.

[33] Shisong Zhu1, 2. L. (2011). Knowledge Management Method for Expert System Based on Cognitive Model. International Conference of Information Technology, Computer Engineering and Management Sciences.

[34] Steels, L. (1990). Components of Expertise. AI Magazine, 29-49.

[35] Tenorio, J., Isabel, S., & Maria, P. (2014). Compromiso y flexibilidad en. INNOVAR, 24, 7-32.