Post on 21-Oct-2015
Evaluación Sistemas Informáticos
Septiembre, 2013
Asignatura: Evaluación Sistemas Informáticos
Aldemaro MadridCel: 0414 – 3862212
Correo: aldemaro.madrid.r@gmail.com
Evaluación Sistemas Informáticos
1.- Expectativas respecto a la materia
2.- Contenido
3.- Importancia de la materia
4.- Nivelación de información
Simulación
Teoría de colas
Estadística (media, varianza,
ANOVA, Intervalos de confianza, etc.
INTRODUCCION
Evaluación Sistemas Informáticos
CONTENIDO
El contenido cubre tres bloques claramente definidos:
Proceso de desarrollo de una evaluación.
Certificación de la calidad de los datos
Técnicas de auditoría.
Evaluación Sistemas Informáticos
SINOPSIS
En esta asignatura se tratan los siguientes tópicos:
Técnicas de Evaluación
Métricas de desempeño
Técnicas y herramientas de medición
Técnicas para procesar las mediciones
Elementos de Simulación y Modelos de Colas
Diseño y Análisis de Experimento
Evaluación Sistemas Informáticos
OBJETIVOS
Al finalizar el curso los estudiantes tendrán el conocimiento básico sobre las
principales técnicas usadas en la evaluación del desempeño de sistemas de
computación
Ofrecer una visión global de los métodos y técnicas necesarios para
desarrollar un proceso de evaluación a un sistema de información, que
permita identificar fallas de control y producir recomendaciones.
Presentar herramientas de validación de datos que permiten certificar la
calidad de los resultados obtenidos, antes de que éstos se conviertan en la
base para la toma de decisiones.
Evaluación Sistemas Informáticos
Art of Computer Systems Performance Analysis Techniques For Experimental Design
Measurements Simulation And Modeling
by Raj Jain
Evaluación y Modelado del Rendimiento de los Sistemas Informáticos
Xavier Molero
Carlos Ruiz
Miguel Rodeño
Capacity Planning and Performance Modeling
Daniel Menascé. Virgilio Almeida. Larry W. Dowdy. Prentice Hall
Measuring Computer Performance
David Lilja. Cambridge University Press.
Tópicos Especiales en Evaluación de Desempeño
Mariela J. Curiel H.
BIBLIOGRAFIA
Evaluación Sistemas Informáticos
Perfil del egresado: el Ingeniero Informático
Los alumnos inscritos en la Escuela de Ingeniería Informática recibirán unasólida formación científica y técnica, de manera que estén preparados para elejercicio profesional de una manera integral, con conocimientos generales yfundamentales en el área de las Ciencias de la Computación, la Ingeniería delSoftware, la Telemática, acompañadas de formación en el área gerencial, queles permita trabajar en las diferentes vertientes y con la capacidad deseleccionar cualquiera de esas áreas para continuar con su aprendizaje haciauna especialización.El ingeniero en informática requiere de un nivel de inteligencia superior alpromedio, con elevada aptitud para el razonamiento numérico abstracto yespacial; una adecuada capacidad de atención, concentración, análisis ycomprensión de sistemas; igualmente, es indispensable la capacidadorganizativa y de trabajo en equipo.Se espera del ingeniero en informática que logre desarrollar condiciones deliderazgo, con una expresión fluida y correcta, e interesado por realizarestudios, proyectos, construcciones, inspecciones, operaciones demantenimiento de obras, instalaciones, máquinas y/o equipos.
Evaluación Sistemas Informáticos
AutodeterminaciónCapacidad de las personas de decidir de manera autónoma susacciones. Se tiene el control de lo que se hace y dice y por lotanto asumen responsabilidad personal por sus actos.
Orientación al LogroConjunto de pensamientos y afectos relacionados con eldesarrollo personal, mediante el uso exigente de las capacidadespara alcanzar metas. Exigirse al máximo para alcanzar lograr laexcelencia en lo que se proponen.
Fortaleza InteriorCapacidad para superar positivamente las adversidades y vivirlos triunfos. Se necesita fortaleza para no dejarse derrumbarante el fracaso y también para no dejarse arrastrar y seducir porel éxito.
AsertividadSer firme en los puntos de vista sin llegar a ser rígido y terco. Eshacerse respetar sin irrespetar o invadir a otro usandoargumentos firmes y convincentes. No callar por temor aequivocarse o molestar a otro.
Ingeniero Informático. competencias
Evaluación Sistemas Informáticos
EVALUACION
Semana Fecha Tipo evaluación Ponderación
7 5/11/13 Examen parcial I 30
- Según cronograma Exposición 20
12 12/12/13 Examen parcial II (*) 30
- Según cronograma Exposiciones final 20
(*) Teórico, Practico
Evaluación Sistemas Informáticos
Evaluación de Sistemas Informáticos. Introducción
Que pensamos?
Evaluación
Sistema Informático
Rendimiento
Evaluación Sistemas Informáticos
En que etapa está involucrada la Evaluación de Sistemas Informáticos?
Evaluación Sistemas Informáticos
Objetivos
Evaluación
Medición
Procesos y
estadísticas
Evaluación de Sistemas Informáticos. Introducción
Modelos
Técnicas
Herramientas
TECNOLOGÍA VERDE
Evaluación Sistemas Informáticos
Evaluación del rendimiento y ciclo de vida.
A lo largo de las distintas fases del ciclo de vida de un sistema informático es
necesario llevar a cabo una evaluación objetiva de las prestaciones de éste en las
etapas de:
Diseño: Por que es necesario saber, a priori, cuales van a ser las prestaciones que
se requerirán al sistema.
Desarrollo e implantación: Será necesario evaluar cuál es la configuración
necesaria, y elegir entre varias posibles.
Explotación y ampliación de un sistema: hay que examinar cuáles son los
problemas que se presentan y solucionarlos sobre la marcha, qué componentes del
sistema es necesario cambiar para maximizar el aumento de prestaciones.
Evaluación de Sistemas Informáticos. Introducción
Evaluación Sistemas Informáticos
Evaluación de Sistemas Informáticos. Introducción
El rendimiento es un criterio clave en el diseño, adquisición y uso de
sistemas informáticos.
El objetivo de ingenieros informáticos, científicos, analistas y usuarios
es conseguir el mayor rendimiento a un costo determinado.
Para lograr ese objetivo, los profesionales de sistemas necesitan, al
menos, un conocimiento básico de evaluación de los resultados, la
terminología y las técnicas. Cualquier persona relacionada con los
sistemas informáticos debe ser capaz de indicar los requisitos de
rendimiento de sus sistemas y también de comparar las diferentes
opciones para encontrar la que mejor se adapte a sus necesidades
Para medir el rendimiento de un sistema informático, necesita al
menos dos herramientas: una herramienta para “cargar” el sistema
(generador de carga) y una herramienta de medida para los resultados
(monitor).
Evaluación Sistemas Informáticos
El propósito del curso es explicar la evaluación del desempeño, la
terminología y técnicas.
El objetivo es hacer hincapié en técnicas sencillas que ayudan a resolver
la mayoría de los problemas cotidianos.
Seleccionar las técnicas de evaluación apropiadas, las medidas de
rendimiento y carga de trabajo para un sistema.
Las técnicas que se pueden utilizar para la evaluación son la medición,
simulación y modelado analítico.
La métrica se refiere a los criterios utilizados para evaluar el rendimiento
del sistema. Por ejemplo, el tiempo de respuesta, las transacciones por
segundo (TPS), la carga de trabajo del procesador o un manejador de
BD
Evaluación de Sistemas Informáticos. Introducción
Evaluación Sistemas Informáticos
Desempeño. El factor desempeño evalúa las características dinámicas del
"software", tales como fiabilidad y eficiencia, desde el punto de vista de
operadores y administradores de sistema.
Eficiencia en el consumo de recursos (ineficiente, limitada, aceptable,
sólida, excelente): este sub-factor evalúa el consumo de tiempo y recursos
(espacio de memoria, etc.) en el sistema.
Operación adecuada y su eficacia (descontrolada, limitada, aceptable, bajo
control, excelente): este sub-factor evalúa la operación del sistema, la
posibilidad de controlar y contabilizar sus resultados y la interoperabilidad
del sistema en el ambiente operativo.
Consideraciones sobre fallas en el sistema (una falla se convierte en
desastre, gran cantidad de recursos para recuperarse, se recupera sin
graves penalidades, fácil de recuperar, recuperación automática): este sub-
factor evalúa la confiabilidad y posibilidad de recuperación del sistema.
Evaluación de Sistemas Informáticos. Introducción
Evaluación Sistemas Informáticos
¿Qué medidas de rendimiento debe ser utilizada para comparar los siguientes
sistemas?
• Dos unidades de disco
• Dos sistemas de procesamiento de transacciones
• Dos algoritmos de retransmisión de paquetes
Evaluación de Sistemas Informáticos. Introducción
El número de paquetes perdidos en dos enlaces se midió durante cuatro
tamaños de archivo como se muestra a continuación:
File Size: Link A Link B
1000 5 10
1200 7 3
1300 3 0
50 0 1
Cual es mejor?
Evaluación Sistemas Informáticos
El promedio de tiempo de respuesta de un sistema de base de datos es de 3
segundos. Durante un intervalo de observación de 1 min, el tiempo de
inactividad en el sistema es 1s. Determinar lo siguiente:
• Utilización del sistema
• El promedio de tiempo de servicio por consulta
• Número de consultas realizadas durante el intervalo
• Número promedio de Jobs en el sistema
• P [N º de Jobs en el sistema ]> 10
Evaluación de Sistemas Informáticos. Introducción
Evaluación Sistemas Informáticos
Evaluación de Sistemas Informáticos. Errores habituales
1. No hay objetivos: Los objetivos son una parte importante de todos los
esfuerzos. Cualquier iniciativa sin objetivos está condenada al fracaso. Los
proyectos de evaluación de resultados no son una excepción.
2. Objetivos sesgados: mostrar que “nuestro” sistema es “mejor” que el de
“ellos”
3. Enfoque no sistemático: la selección de parámetros, factores, indicadores,
y cargas de trabajo de manera arbitraria lleva a conclusiones inexactas
4. Análisis sin entender el problema: Un problema bien planteado está
medio resuelto. 40% es la definición del problema, el 60% es buscando las
alternativas, la obtención de resultados, interpretarlos y concluir. Desarrollo
del modelo en sí es una pequeña parte de la resolución de problemas de
proceso.
5. Incorrectas métricas de rendimiento: Comparar Mips para procesadores
de diferente arquitectura.
6. Carga de trabajo no representativa: Las cargas de trabajo tienen un alto
impacto en los resultados. Es frecuente construir una carga de trabajo
favorables para una evaluación
Evaluación Sistemas Informáticos
Evaluación de Sistemas Informáticos. Errores habituales
7. Técnica de evaluación incorrecta:
• Medición
• Simulación
• Modelado Analítico
La gente tiende a elegir lo que saben mejor, en lugar de lo que funciona mejor
para el problema. Las tres técnicas tienen diferentes fortalezas y limitaciones
7. Vista a los parámetros importantes: listar las características de la carga de
trabajo y asegurarse de que no se olvide ninguna característica que podría ser
importante.
8. Ignorar factores importantes: No todos los parámetros tienen el mismo
efecto sobre el desempeño. Es importante identificar aquellos parámetros cuya
variación genera un significativo impacto en el rendimiento. A menos que haya
motivos para creer lo contrario, estos parámetros deben ser utilizados como
factores en el estudio de rendimiento.
9. Diseño inapropiado: El diseño experimental se refiere al número de la
medición o experimentos de simulación llevados a cabo y los valores de los
parámetros utilizados en cada experimento. Adecuada selección de estos
valores puede dar lugar a más información desde el mismo número de
experimentos. selección incorrecta puede resultar en una pérdida de tiempo
Evaluación Sistemas Informáticos
Evaluación de Sistemas Informáticos. Errores habituales
11. Inapropiado nivel de detalles: el nivel de detalle utilizado en el modelo tiene
un significativo impacto en la formulación del problema. Se debe evitar
formulaciones demasiado estrechas o demasiado amplias. Un modelo
detallado que incorpora las variaciones puede ser más útil que un modelo de
alto nivel. Por otro lado, para comparación de alternativas que son muy
diferentes, modelos simples de alto nivel puede permitir analizar varias
alternativas a con rapidez y a bajo costo. Un error común es tomar el
enfoque detallado cuando un modelo de alto nivel es requerido y viceversa.
12.Sin análisis: el estudio termina con una avalancha de datos, pero sin ningún
tipo de análisis
13.Análisis erróneo: hay algunos errores clásicos como tasas promedio,
simulaciones demasiado cortas etc.
14.No hay análisis de sensibilidad: los analistas en computación pueden
poner demasiado énfasis en el resultado como un hecho y no que en las
pruebas de qué tan fuerte es. Sin un análisis de sensibilidad, no se puede
estar seguro si las conclusiones cambiarían en un ambiente ligeramente
diferente.
Evaluación Sistemas Informáticos
Evaluación de Sistemas Informáticos. Errores habituales
15.Tratamiento inadecuado de los valores atípicos: la decisión sobre qué
valores atípicos son inherentes al sistema y cuáles son no relacionados es muy
difícil. La decisión sobre los valores extremos que se deben ignorar o incluirse
es parte de la técnica de evaluación del desempeño y requiere una
comprensión cuidadosa del sistema que está siendo modelado.
16.Suponer que no hay cambios en el tiempo: es un error suponer que la carga
de trabajo futuro y el comportamiento del sistema es el mismo que el medido.
El futuro puede ser diferente, un buen análisis se debe hacer frente al cambio.
17. Ignorar la variabilidad: Centrarse en la media, máximo o mínimo, es
insuficiente esfuerzo para conseguir la variabilidad bajo control.
18.Análisis demasiados complejos: un análisis simple que lleva a la misma
conclusión, con la misma certeza, es siempre mejor que el complejo.
19. Inadecuada presentación de los resultados: El objetivo final de todos los
estudios de rendimiento es ayudar a la toma de decisiones. Un análisis que no
puede ser comprendido por quienes toman las decisiones es un fracaso. Esto
requiere el uso prudente de las palabras, imágenes y gráficos para explicar los
resultados y el análisis.
Evaluación Sistemas Informáticos
Evaluación de Sistemas Informáticos. Errores habituales
20. Ignorar los aspectos sociales: modelado y análisis son habilidades técnicas.
Escribir y hablar son las habilidades sociales. La aceptación de los resultados
del análisis requiere el desarrollo de una confianza entre los tomadores de
decisiones y el analista, los resultados deben presentarse considerando el
perfil de los tomadores de decisiones
21.La omisión de hipótesis y limitaciones: estos son a menudo omitidos,
debido a que son inconvenientes de explicar. Esto puede llevar a aplicar los
resultados fuera de contexto.