AnlisisinteligentededatosMineradedatosPauloFlixLamasreadeCienciasdaComputacineIntelixencia ArtificialDepartamentodeElectrnicaeComputacinResumenEste seminarioabordalascuestionesmsrelevantesdelanlisisdedatosdesdelaperspectivadelaaplicacindetcnicasdelallamadainteligenciaartificial.Hablaremosdelprocesodedescubrimientodeconocimiento.Unadelasetapasmsrelevantesdeesteprocesoeseldelamineradedatos,muyrelacionadaconlaaplicacindetcnicasdeaprendizajeautomtico.Alolargodelseminarioseintroducirnydiscutirnalgunosdelostemasmsrelevantesenlamineradedatos:estrategias,tareas,entrenamiento,reduccindeladimensin,generalizacin,evaluacin,yalgunosotros.Utilizaremosunatcnicabsicaparaexponeraquellosconceptosfundamentalesdelainduccin:elrboldedecisin,yquetambinsontilesparacomprenderlasdistintasetapasdelprocesodemineradedatos.ndice1. El descubrimiento cientfico2. Lamineradedatos3. Tareas delamineradedatos:predictivas ydescriptivas4. Preparacindelosdatos5. Aprendizaje inductivo6. Aprendizaje enlgica proposicional: rboles dedecisin7. Evaluacin8. Combinacindeclasificadores9. Teoracomputacional delaprendizaje10. BibliografaAlgunascuestionesprevias1. Cmodescribiraseldescubrimiento deconocimiento cientfico?2. Quharas conunconjunto dedatossobreunproblema?3. Cmodefiniraselaprendizaje computacional?4. Qutiposdeaprendizaje conoces?5. Qutcnicasdeaprendizaje conoces?1.EldescubrimientocientficoCharlesS.Peirce (18391914)proponeunmodelodeldescubrimientocientfico,contresformasdistintasderazonamiento:1. ABDUCCIN: Formaderazonamientoqueintentainferirlahiptesisqueconstituyalamejorexplicacinparaunconjuntodeobservaciones.2. DEDUCCIN: Formadeinferenciaquepermiteobtenerprediccionesapartirdelahiptesissugerida.3. INDUCCIN:Formadeinferenciaquevadeloparticularalogeneral.Laformalizacindelalgicadeductivaesanterioralasotrasdos.Laformalizacindeunalgicadelaabduccintodavaesincompleta,yenelcasodelainduccinnoexisteunadefinicindeinduccindeaceptacingeneral.Elrazonamientodeductivopreservalaverdad:todalaverdaddeunaconclusinestablecidamediantededuccinyaestabacontenidaensuspremisas.Losrazonamientosabductivoeinductivonopreservanlaverdad,laamplan,peroalmismotiempo,sonfalibles.1.Eldescubrimientocientfico1.EldescubrimientocientficoRAZONAMIENTODEDUCTIVOREGLA: TodoslospacientesquesufrendisfuncindelmsculopapilarmanifiestandisneaysoploSENTENCIA: ElpacienteFulanosufredisfuncindelmsculopapilarCONCLUSIN: ElpacienteFulanomanifiestadisneaysoploRAZONAMIENTOABDUCTIVOREGLA: TodoslospacientesquesufrendisfuncindelmsculopapilarmanifiestandisneaysoploSENTENCIA: ElpacienteFulanomanifiestadisneaysoploCONCLUSIN: ElpacienteFulanosufredisfuncindelmsculopapilarRAZONAMIENTOINDUCTIVOSENTENCIA: ElpacienteFulanomanifiestadisneaysoplo.SENTENCIA: ElpacienteFulanosufredisfuncindelmsculopapilar.REGLA: Todoslospacientesquesufrendisfuncindelmsculopapilarmanifiestandisneaysoplo2.LamineradedatosVlidos:lospatronesymodelosdebenseraceptablessobredatosnuevos.Novedosos:debenproporcionarunainformacinantesdesconocida.tiles:debencomportaralgntipodepotencialbeneficioparaelusuariofinal.Comprensibles:debenfacilitarsuinterpretacin,revisin,evaluacinyuso.Sesueledefinirlamineradedatoscomolatareadeextraccindepatronesomodelosinteligiblesapartirdelosdatosdisponibles.Lamineradedatosseentiendecomounafasedeldescubrimientodeconocimientoenbasesdedatos,yquesedefinecomoelprocesodeidentificacindepatronesomodelosvlidos,novedosos,potencialmentetilesy,enltimainstancia,comprensiblesapartirdelosdatos.DatosPreparacindelosdatosMineradedatosValidacinyEvaluacinModelosopatronesConocimientoDescubrimientodeConocimientoenBasesdeDatos2.LamineradedatosModelo:entendemospormodelounarepresentacintericaqueproporcionaunresumenglobaldelosdatosenelespaciodecaractersticasdelquehansidoextrados.Ejemplo:laecuacindeunarecta.Patrn:entendemosporpatrnlarepresentacindeunaregularidadenunareginrestringidadelespaciodecaractersticas.Ejemplo:siX>x1entoncesprob(Y>y1)=p1Consideramosladisponibilidaddeunconjuntodedatosenformadeejemplosdeundeterminadofenmenooexperimento.EsosdatostienenlaformadeunvectordondeviAi asignaunvaloraunacaracterstica dedichofenmeno.Larealizacindeunprocesodemineradedatosdalugaradiferentestiposderepresentaciones,deentrelasquepodemosdestacarlosmodelos ylospatrones.3.TareasdelamineradedatosTAREASPREDICTIVAS:Elobjetivodelanlisisespredecirunoomsvaloresparanuevosejemplos.o Clasificacino Categorizacino Ordenacinopriorizacino RegresinTAREASDESCRIPTIVAS:Elanlisisorganizaelconjuntodeejemplos,facilitandosudescripcin.o Agrupamientoo Asociacino DeteccindeanomalasSeaE=A1xA2x...xAn elconjuntodeejemplosdequedisponemosrespectoaundeterminadoproblemaplanteado.Unejemploeesunatupla dondeviAi.Consideramoslastareasdeanlisisdivididasendosgrupos:3.Tareasdelamineradedatostareaspredictivas3.TareasdelamineradedatosCLASIFICACIN:Elconjuntodeatributossedivideendos,demodoquecadaejemplosepuedeexpresarcomo,dondeeE,ydondesS eselvalordeclase,valorquehayquepredecir.ElobjetivoesaprenderunafuncinC:ES,querecibeelnombredeclasificador,ydondeSesunconjuntonominal.CLASIFICACINSUAVE:AdemsdelafuncinCseaprendeotrafuncinZ:ERqueproporcionaungradodecertezaalaprediccin.Estopermiteordenarlosresultadosenunranking depredicciones.ESTIMACINDELAPROBABILIDADDECLASE:Generalizalaclasificacinsuave.Supongamosquetenemosmclases.SetratadeaprendermfuncionesZi:ES.Paracadaejemploseproporcionanmvalorespi.Si0pi1ypi=1hablamosdelaprobabilidaddepertenenciaalaclasei.CATEGORIZACIN:Nosetratadeaprenderunafuncin,sinounacorrespondencia,demodoqueC:ESpuedeasignarvariascategorasaunmismoejemplo.tareaspredictivas3.TareasdelamineradedatosORDENOPRIORIZACIN:Elaprendizajedepreferenciasoprioridadesconsisteendeterminarunordendepreferenciaenunconjuntodeejemplos.Cadaejemploesenrealidadunasecuencia.Elconjuntodeejemploses,portanto,unconjuntodesecuencias.REGRESIN:LadiferenciarespectoalaclasificacinesqueSesunconjuntonumrico,esdecir,laclasificacinasignaunvalorenteroorealacadaunodelosejemplos.Tambinrecibeelnombredeinterpolacin,cuandolaprediccinserealizaentredosejemplosdesalidaconocida,oestimacin,cuandolaprediccinserealizaenunejetemporalyconposterioridadatodoslosejemplosconocidos.tareaspredictivas3.Tareasdelamineradedatostareasdescriptivas3.TareasdelamineradedatosCORRELACIN:SetratadeanalizarsobreelconjuntodeejemplosE,sidosomsatributosAi,,Ak guardanalgunarelacinentreellos,yasealinealodemayorcomplejidad.AGRUPAMIENTO:Setratadedividirelconjuntodeejemplosengrupos,segnalgncriteriodesimilitud.LafuncindeagrupamientosiguesiendoA:ES.PerodesconocemosapriorielnmeroycaractersticasdeS.Avecesrecibeelnombredesumarizacin.ASOCIACIN:Setratadedetectarocurrenciassimultneasdeciertosvaloresdelosatributosdelosejemplos.As,dadoslosejemplosdelconjuntoE=A1xA2x...xAn,unaregladeasociacinnospuededecirqueSiAi=vi Aj=vj Ak=vk entoncesAp=vp Aq=vq Ar=vr.DETECCINDEANOMALAS:Sesueleabordarmediantetcnicasdeagrupamiento,analizandoaquellosvaloresquesealejandelosgruposformados.tareasdescriptivas3.TareasdelamineradedatosTAREASPREDICTIVAS TAREASDESCRIPTIVASCLASIFICACIN REGRESIN AGRUPAMIENTO ASOCIACINRedesNeuronalesArtificiales rbolesdeDecisin RedesBayesianasVecinosmsprximos AlgoritmosGenticosyEvolutivos MquinasdeVectoresSoporte tcnicasdeminera3.TareasdelamineradedatosAPRENDIZAJESUPERVISADO:Semuestraalagenteelproblemaysucorrectaresolucin.Seconsideraquequienproporcionaestasolucinejerceelpapeldesupervisordelaprendizaje.APRENDIZAJENOSUPERVISADO:Elagenteresuelveelproblemadeunmodoautnomo,basndoseencriteriosdeoptimizacindelarepresentacin.APRENDIZAJEPORREFUERZO:Consideradotambincomountipodeaprendizajesupervisado.Elagenterecibealgntipoderecompensaocastigoquecondicionaelaprendizaje.Supongamosqueformulamosunagentecomounartefactoinformticoalquequeremosdotardelacapacidaddeaprendery,portanto,deadaptarsucomportamientoalascondicionescambiantesdelentorno.VariassonlasestrategiasquelaIAhautilizadoparallevaracaboesteaprendizaje:estrategiasdeaprendizaje4.PreparacindelosdatosRaramentelosdatoscontenidosenunabasededatossonapropiadosparasuinmediataincorporacinaalgunatcnicadeaprendizajeautomtico.Algunosdelosproblemasquepresentanson:1. Valores anmalosofaltantes.Losvaloresanmalosmsfrecuentessonaquellosquemuestranunadiscordanciaestadstica.Sueleneliminarse.Porotraparte,haytcnicasdeaprendizajequesonrobustasavaloresfaltantes,mientrasqueotrasexigensueliminacinotratamiento.2. Tipoinadecuadodelosdatos.Enalgunassituacionespuedeserconvenienteconvertirunatributonumricoanominal:discretizacin, oconvertirunatributonominalanumrico:numerizacin.3. Variabilidadenlosrangosdelosdatos.Unbuennmerodetcnicasdeaprendizajeautomticorequierenunanormalizacin delosatributosalmismorango.4. Alta dimensionalidad delosdatos.Frecuentementeelnmerodeatributosdelosdatosesexcesivo,yunbuennmerodeellosesirrelevanteparalatareadeaprendizajedeseada,porloquesellevaacabounaseleccin otransformacin delosatributos.Esimportantedistinguirunvalorerrneo(edad=XL),deunvaloranmalo(edad=108).Elvaloranmalosueleseratpicooextremo,ypuedeinfluirgravementeenelanlisisdelosdatos.Siserealizaunanormalizacinposterior,elvaloranmalopuededesplazarladistribucindelosdatosdeundeterminadoatributo.Para sudeteccinsepuedenutilizarmedidasdedistanciamediadecadaejemploconelresto,oconunnmerodekvecinos.Tambinsepuedenutilizartcnicasdeagrupamiento parareconocerindividuosaislados,otcnicaspredictivasparaindagarquindividuosmuestranuncomportamientoquesealejadeloesperado.Hay tcnicasdemineradedatossensiblesalosdatosanmalos,comoeselcasodelasredesneuronalesartificiales,mientrasotrassonrobustas,comolosrbolesdedecisin.En casodeestarobligadosatratarlosvaloresanmalospodemos:(1)eliminar oreemplazarelatributo;(2)eliminarelejemplo;(3)reemplazarelvaloranmalo,porunvalornulo,oalgnotrodeconveniencia;(4)discretizar elatributo,loquellevaalvaloranmaloaunacategoramuybajoomuyalto.4.PreparacindelosdatosvaloresanmalosLadiscretizacin eselresultadodeconvertirunvalornumricoenunvalornominal(porejemplo,calificacin=5,4calificacin=aprobado).Serealizacuando:(1)elerrorenlasmedidaspuedesermuysignificativo,(2)existenumbralesmuysignificativosenlainterpretacindelosdatos,(3)serealizaunainterpretacinnolinealdelosvalores.Cuando noexisteconocimientoapriorisobrelosumbralesdediscretizacin sesuelenutilizarcriteriosdeseparabilidadyentropaenproblemasdeclasificacin.Lanumerizacin eselproceso inversoaladiscretizacin.Sesueleaplicarpreviaalautilizacindetcnicasquesloadmitenatributosnumricos:regresinlineal,regresinlogstica,anlisisANOVA,discriminantesestadsticos,etc.La tcnicamsextendidaeslanumerizacin 1an:siunatributonominalAi puedetomarnvalores{a1,,an}creamosnvariablenumricas,convalores0o1segnelvalornominalquetomaunejemplodeterminado.Cuando elatributonominalcomportaciertoorden{delgado,normal,obeso}sesuelenutilizarescalasnumricas{0,1,2}4.Preparacindelosdatosdiscretizacin ynumerizacinCiertastcnicasdemineradedatossonsensiblesalasdiferenciasentrelosrangosdevaloresquetomanlosdistintosatributos,(Ai=[0.01,0.09]yAj=[100,200]),enparticularenaquellastcnicasbasadasenelclculodedistancias.Existen distintasformasdenormalizacin.Unamuyfrecuenteeslanormalizacinlinealuniforme,quedevuelvevaloresentre0y1:4.Preparacindelosdatosnormalizacinmin max min vvii='LanormalizacindeStudent introduceunmenorsesgo,yesapropiadacuandolosparmetrosdeladistribucinnosonconocidos:s v vvii='Estasnormalizaciones,yotrasmuchas,sonaplicablesenproblemasinvariantesaescala,dondelorelevanteparasucaracterizacineslaraznentrevalores.Existenmltiplesformasdenormalizacin,algunasdeellasnolinealescomoelescaladosigmoidal,apropiadoparalagestindevaloresanmalos.4.PreparacindelosdatosUnodelosproblemasmsfrecuentesenelanlisisdebasesdedatoseslaelevadadimensindelosdatos,estoes,elelevadonmerodeatributos.Si elnmerodeatributosdelosdatosesdemasiadogranderespectoalnmerodeejemplos,decimosqueelnmerodegradosdelibertadesexcesivo,ycomoconsecuencia seobtienenpatronescaprichososypocorobustos.Encontramosdostiposdetcnicasparareducirladimensindelosdatos:Tcnicasdetransformacindeatributos:entrelasqueestudiaremoselAnlisisdeComponentesPrincipales.Tcnicasdeseleccindeatributos:dondepodemoscitar:tcnicasdefiltrado:comoelAnlisisCorrelacional,ytcnicasbasadasenmodelos:comoelAnlisisdelaVarianza(ANOVA).TambinllamadomtododeKarhunenLoeve,consisteentransformarlosatributosoriginalesx1,x2,,xn delosejemplosenotroconjuntodeatributosy1,y2,,ym,dondeseexigequemn.Lainterpretacingeomtricadeestatransformacinesuncambiodeejesenlarepresentacin,oproyeccin enunosnuevosejes.Queremos quelosnuevosatributosseanindependientesentres,estoes,ortogonales,yadems,queestnordenados demayoramenorrelevancia.Supongamosm=n.Elobjetivoesconvertircadaejemplodadoporunvectordevaloresparalosatributosx1,x2,,xm enotrovectorparay1,y2,,ym.Haremosunasuposicinsimplificadora,losnuevosejesserncombinacinlinealdelosprimeros:x P y =DondePesunamatrizdemxm coeficientes.Lapreguntaes:cmocalcular loscoeficientespij demodoqueexpresemoslarelevanciadelosatributosynospermitaordenarlos?4.PreparacindelosdatosanlisisdecomponentesprincipalesHacemosunanuevasuposicin:lasdireccionesenlasquelosdatosdepartidapresentanunamayorvarianza estnasociadasalascaractersticas(atributos)msrelevantesdelproblema.Repasemos, supongamosdosvectoresdedatosA={a1,a2,,an}yB={b1,b2,,bn}.Susvarianzassedefinencomo:( ) =i2i2Aa a1 n1 ( ) =i2i2Bb b1 n1Sucovarianza sedefinecomo:) b (b ) a (a1 n1iii2AB =LacovarianzamideelgradodelinealidadenlarelacinentreAyB:sivaleceroentoncesAyBnoguardanrelacin,sitieneunvalorpositivosedicequehayunacorrelacinpositiva,siesnegativolacorrelacinesnegativa.Definimosennuestroproblemalasiguientematriz decovarianza:= =n1 iTi i X) x )(x x (x1 n1C4.PreparacindelosdatosanlisisdecomponentesprincipalesCX esunamatrizmxm.Sudiagonalprincipalmidelavarianzadecadaatributo,ylostrminosfueradeestadiagonalsontrminosdecovarianzaentreatributos.Nuestroobjetivoesahora:obtenerunamatrizP,demodoquemultiplicadaporx,obtengamosytalqueCY seaunamatrizdiagonal,estoes,quelostrminosdecovarianzaseannulos,yadems,queladiagonalestordenadademayoramenor.Denotamoslamatrizdecovarianzadeunamaneramssimple:TXXX1 n1C =DondeXesunamatrizmxn.CalculamosasCY deunmodosencillo:TXT T T T T TYP PC P XX1 n1P P PXX1 n1(PX)(PX)1 n1YY1 n1C ==== =SepuededemostrarqueunamatrizsimtricacomoCX sepuedediagonalizarmediantelaoperacinCX=EDET,dondeEesunamatrizdeautovectores ortogonalesdeCX organizadosencolumnas.Recordemosquelosautovectores deunamatrizcuadradasonaquellosvectoresque,multiplicadosporellapermanecen invariantesensudireccin,slocambiandoenmagnitud: v v A =4.PreparacindelosdatosanlisisdecomponentesprincipalesComoPesunamatrizqueelegimosanuestroantojo,definmoslacomounamatrizdondecadafilaseaunautovector deCX,estoes,P=ET,ysabiendoqueunamatrizortogonalsatisfacePT=P1,calculamos:D ) )D(PP (PP DPP PP DP)P P(P )P P(EDE P PC C1 1 T T T T T T TX Y= = = = = = LostrminosdeladiagonaldeDsonlosautovalores deCX (observemosqueCXE=ED),ycontienenlainformacindelavarianza,quepodemosordenardemayoramenor.Porejemplo,sitenemosinicialmente5dimensiones,yhemosobtenidolosautovalores e=(3.65,0.93,0.22,0.13,0.07)podemosobservarlaimportanciarelativadecadaunodelosnuevosatributos. Adems,puestoqueestosvaloressuman5podemosquedarnosconaquellosvaloresquesumanuntantoporcientodelavarianza.Enelejemploanterior,siescogemosel95%nosquedamosconlostresprimerosatributos.Cuandolosatributosestnexpresadosendistintasunidadesesimportantenormalizarlosdatosantesdeiniciarelanlisisdecomponentesprincipales.4.PreparacindelosdatosanlisisdecomponentesprincipalesEnresumen,elAnlisisdeComponentesPrincipalesobtienenuevosatributosquesonunacombinacinlinealdelosatributosoriginales,ordenandosuimportanciarespectoalavarianza.Esimportante comprenderlassuposicionesincluidasenelusodeestatcnica,yaqueencasocontrarioconduciranaconclusioneserrneas:1. Hiptesis delinealidad:yaqueencasodequelarelacinentreatributosseanolinealestatcnicanoresultatil.Supongamosquemuestreamoslaposicindeuncaballodecarrerasenuncircuito.xyxyelnguloesmsadecuado2. Hiptesis devarianza:yaqueencasodequelarelacinsealruidodelosatributosseapobrelavarianzanodeterminaadecuadamentesurelevancia.3. Hiptesis deortogonalidad:yaqueencasodequelosatributosmsrelevantesnoseanortogonalesentres,estatcnicageneraratributoscorrelacionadosentres.4.Preparacindelosdatosanlisisdecomponentesprincipales4.PreparacindelosdatosPrcticamentetodoprocedimientodeobservacinoinferenciarealizadosobreunapoblacin lohaceapartirdeunsubconjuntodelamisma,omuestra.Esdeseablequeunamuestrasealomsrepresentativaposibledelapoblacindelaquesehaextrado.Resultafundamentalparaelloelmtododemuestreoseguido:Muestreoaleatoriosimple:Cualquierejemplotienelamismaprobabilidaddeserincluidoenlamuestra.Todoelementoextradohadeserreinsertado.Muestreoaleatorioestratificado:Elobjetivoesobtenerunamuestradondeestnrepresentadostodoslosestratos,gruposoclasesdelproblema.Paracadaestratoseaplicamuestreoaleatoriosimple.Elnmerodeindividuosencadaestratopuedeserconstanteoproporcionalenlamuestraaldelapoblacin.Muestreoporgrupos:sepuedeelegir(ydescartar)losgrupospresentesenlamuestra,segnladisponibilidaddelosdatosdepartida.Muestreoexhaustivo:Segeneraalazarunamuestraenelespaciodecaractersticasysebuscalamuestrarealmscercana.Elobjetivoescubrircompletamenteelespaciodecaractersticasyevitarincluirejemplosenzonasyamuydensas.muestreodelosdatos5.AprendizajeinductivoDisponemosdeunconjuntodeejemplos representadosenlaforma(vi,f(vi)).Desconocemosf(v)salvoencadaunodelosejemplos.Elcometidodelainduccinesinferirunafuncinh(v)queaproximeaf(v).Decimosqueh(v)esunaconjeturao hiptesis.Analizaremosalgunascuestionescomunesalastcnicasquerespondenalaestrategiadeaprendizajesupervisadoapartirdeejemplos.Sufundamentotericoloencontramosenlaelaboracindemodeloscientficos.(v1,f(v1))h1=av+bEntantoquedeseamosqueh(v)f(v)basamoselaprendizajeenelerror.Decimosqueunahiptesish(v)esconsistente sih(vi)f(vi)50(25,50]s no6 >6no sno1.5>10(1.5,10]Operamos?Si Astigmatismo=noy 2560 No No No S S S NoLosejemplospositivospi sonaquellosXi paralosqueDi=cierto:{X1,X3,X4,X6}Losejemplosnegativosni sonaquellosXi paralosqueDi=falso:{X2,X5,X7,X8}aprendizajederbolesdedecisin6.rbolesdedecisinElconjuntototaldeejemplosutilizadosenelaprendizajerecibeelnombredeconjuntodeentrenamiento.Elproblemaconsisteenencontrarunrboldedecisinconsistenteconelconjuntodeentrenamiento.Existeunasolucintrivial:unrboldedecisinquehacecorresponderacadaejemplounsolocamino.Elproblemadeestasolucinesqueselimitaamemorizar lasobservaciones.Noextraeningnpatrnapartirdelosejemplosy,portanto,noesesperablequeresuelvaningnejemplodistintodeaquellosdelconjuntodeentrenamiento.Lasolucintrivialnocomportaaprendizaje.AplicandoelprincipiodelanavajadeOckham buscamoselrbolmspequeoqueseaconsistenteconlosejemplosyquepermitageneralizar ladecisinanuevosejemplos.Desafortunadamente,obtenerelrbolmspequeoesunproblemaintratable.aprendizajederbolesdedecisin6.rbolesdedecisinUnposiblecriteriopuedeserrealizarelsiguientetestsobreelatributomsrelevante delosquerestan:aqulquediscriminamsclaramentelosejemplos.Confiamosrealizarasunnmeropequeodetests,yreducireltamaodelrbol.Deseamosdisearunalgoritmodeaprendizajesubptimo quepermitaconstruirunrboldedecisinapartirdeejemplos.Dichoalgoritmodeberautilizaralgncriterioparahacerqueloscaminosenelrbolseanlomscortosposible.+:1,3,4,6:2,5,7,8Clientes?+::7+:1,3,6:ningunoalgunos+:4:2,5,8llenono sHambre?+::5,8+:4:2si nono+:1,3,4,6:2,5,7,8Lloviendo?+:4,6:7,8+:1,3:2,5si noatributopocodiscriminanteaprendizajederbolesdedecisin6.rbolesdedecisinLaconstruccindelrbolesunproblemarecursivoconcuatrocasosaconsiderarencadaunodelosnodos:Nosquedanejemplospositivosynegativosporclasificar.Debemoselegirelmejoratributoparasepararlos.Losejemplosquequedansontodospositivos(onegativos).Laclasificacinhafinalizado.Noquedanejemplos.Devolvemoslaclasificacinrealizadaporelnodopadre.Noquedanatributos,perosejemplospositivosynegativos.Estosepuededeberalapresenciaderuido,aqueelconjuntodeatributosnoessuficientepararealizarunadescripcindelproblema,oelproblemamismoesnodeterminista.Unasolucinesutilizarelvotodelamayora.aprendizajederbolesdedecisin6.rbolesdedecisinprocedure aprendizaje(ejemplos,atributos,default)if ejemplos=return defaultelse if todoslosejemplosseclasificanigualreturn clasificacionelse if atributos=return valormayoria(ejemplos)elsemejor elegiratributo(atributos,ejemplos)arbol nuevorbolconnodorazmejorm valormayoria(ejemplos)for all vi demejordoejemplosi {elementosdeejemplosconmejor=vi}subarbol aprendizaje(ejemplosi,atributosmejor,m)aadirsubarbolaarbolconetiquetavireturn arbolunalgoritmodeaprendizaje6.rbolesdedecisin+:1,3,4,6:2,5,7,8Clientes?+::7+:1,3,6:ningunoalgunos+:4:2,5,8llenono sHambre?+::5,8+:4:2snonoViernes/Sbado?+::2+:4:si nono sresultadodelaprendizaje6.rbolesdedecisinQucriterioutilizamosparamedirlarelevanciadeunatributo?Elatributoperfectoesaqulquedivideelconjuntodeentrenamientoenconjuntosconejemplosslopositivosonegativos.Unamedidaadecuadaeslacantidaddeinformacinproporcionadaporunatributo.Segnlateoradelainformacin(Shannon,1949),lacantidaddeinformacinqueproporcionaunenunciadodependedelopredecibledesucontenido.Cuantomspredecibleesste,menosinformacincontiene.Launidaddeinformacineselbit,quecorrespondeaunapreguntaconrespuestas/no.Engeneral,silasrespuestasposiblesvi tienenprobabilidadesP(vi),lacantidaddeinformacinquesuponeresponderalapreguntaplanteadaes:= =n1 ii 2 i n 1)) (P(v )log P(v )) P(v ),..., I(P(vrelevanciadeunatributo6.rbolesdedecisinEjemplo:supongamoslapreguntacaerlamonedadecara?bit 1 )21( log21)21( log21)21,21I(2 2= =Supongamoslamismapreguntaenunamonedatrucadabits 0,08 )10099( log10099)1001( log1001)10099,1001I(2 2= =Unrboldedecisinrespondealapreguntaculesladecisinadoptadaparaundeterminadoejemplo?Culeslacantidaddeinformacinnecesariapararesponderaestapregunta?Sihaypejemplospositivosynejemplosnegativos:)n pn( logn pn)n pp( logn pp)n pn,n ppI(2 2+ ++ + =+ +Ennuestroproblemaejemplop=n=4,luegonecesitamosunbitdeinformacin.Podemosmedircuntainformacinproporcionaunatributocalculandocuntainformacinnecesitaremosdespusderealizarsucorrespondientetest.relevanciadeunatributo6.rbolesdedecisinElsistemaID3(Quinlan,1979)introduceunamedidadelainformacinparalaeleccindelatributomsdiscriminante.UnatributoAdivideelconjuntodeentrenamientoEensubconjuntosE1,,Ev,siendovelnmerodevaloresdistintosdeA.CadasubconjuntoEi tienepi ejemplospositivosyni ejemplosnegativos.Suramacorrespondienteharnecesarialasiguientecantidaddeinformacinadicional:)n p n,n p pI(i iii ii+ +Seaunejemploedelconjuntodeentrenamiento.Suprobabilidaddeque,paraelatributoA,suvalorseai,es:n pn pi i++DespusdehacereltestsobreAnecesitaremoslasiguienteinformacinparaclasificarelejemplo:)n p n,n ppI(n pn pResto(A)i iii iiv1 ii i+ +++==6.rbolesdedecisinDefinimoslagananciadeinformacindelatributoAcomoladiferenciaentrelanecesidaddeinformacinoriginalylanecesidaddeinformacinquerestatrasaplicareltestcorrespondientealatributoA.Resto(A) )n pn,n ppI( ) Ganancia(A + +=Lafuncinelegiratributo(atributos,ejemplos)escogeaquelatributoconmayorganancia.Aplicamoslagananciadeatributosanuestroejemplo:bits 0,5943,41I84I(1,0)83I(0,1)811 lientes) Ganancia(C ~((

|.|

\|+ + =bits 042,42I8442,42I841 lueve) Ganancia(L =((

|.|

\|+|.|

\| =ConloqueconfirmamosformalmentenuestraintuicindequeelatributoClientesesunmejordiscriminantedelconjuntodeejemplos.6.rbolesdedecisinLagananciadeinformacinnoresultauncriterioapropiadoparaseleccionaratributoscuandoalgunodeellostomaunnmeromuyaltodevalores,enocasionessimilaralnmerodeejemplosdisponibles.Ejemplo:supongamoselatributondetarjetadecrditoenunabasededatosdeclientes.Lagananciadeinformacinesmximaparaesteatributo,yaquecadasubconjuntotieneunnicovalorysuclasificacinesnica.Unasolucinesdividirlagananciadeinformacindeunatributoentresucontenidodeinformacinintrnseco,esdecir,lacantidaddeinformacinqueproporcionalarespuestaalapregunta:culeselvalordeesteatributo?=++++ = =v1 ii i2i iv 1)n pn p( logn pn p)) P(E ),..., I(P(E I(A)Obtenemosaselcriterioderazndegananciadelainformacindeunatributo:I(A)) Ganancia(ARGI(A) =6.rbolesdedecisinCriterioscomolagananciadeinformacinolarazndegananciadeinformacinsepuedenutilizarporsmismoscomomtodosdeseleccindecaractersticasenproblemasdemineradedatos,loquepermitereducirladimensindelproblemasintransformarsusatributos.Estosdoscriteriosformanpartedeloquesellamancriteriosdeseleccinmedianteprorrateo,quepermitenordenarelconjuntodeatributos.Tambinsepuedeutilizarlapropiametodologadeinduccinderbolesdedecisinapartirdeejemplospararealizarlaseleccindecaractersticas.Recordemosqueelusodeuncriteriodegananciaseharealizadocomopartedeunaestrategiaavaraenlaseleccindeatributos,paraobtenerrbolesconunaprofundidadreducida.Podemos,encambio,disearunprocedimientodebsquedaqueexploredistintasopcionesenlaseleccindeatributos,distintossubconjuntosdeatributos,dondelacapacidaddiscriminantedelrbolresultantepermiteseleccionarelsubconjuntomsrelevante.seleccindecaractersticas6.rbolesdedecisinCmoadaptamoslosrbolesdedecisinaproblemasenlosquelosatributosdeentradason continuos?Losalgoritmosdeaprendizajebuscanunpuntoderuptura(ej.miopa6)queproporcionelamximagananciadeinformacin.Lasparticionesnumricasadmitidassondelaformaxia,xi>a,dondeaesunaconstantenumrica.Supongamosquedisponemosde6ejemplosconlossiguientesvaloresparaxi:{0.2,0.6,0.8,0.1,0.3,0.4}Ordenamoslosvalores:{0.1,0.2,0.3,0.4,0.6,0.8}.Calculamoselvalormediodecadadosconsecutivos:{0.05,0.15,0.25,0.35,0.5,0.7}Tenemos6particionesposibles:(xi0.05,xi>0.05),(xi0.15,xi>0.15),etc.Laexpresividaddeestasparticionessedenominaexpresividadproposicionalcuadriculada.xi>0.23xi>0.77xi>0.51yi>0.22 yi>0.686.rbolesdedecisinCmoadaptamoslosrbolesdedecisinaproblemasenlosqueexistendatosfaltantes paraalgunosatributos?Paraclasificarunejemploconunatributosinvalorpodemossimularquedichoejemplotomatodoslosvaloresposibles,conunpesoproporcionalalafrecuenciadelosvaloresdetodoslosejemplosenesepuntodelrbol.Modificamoselaprendizajecambiandolasexpresionesdelagananciaparaaquellosejemplosconvaloresfaltantes.Cmoconstruimosunrbolderegresin?Unrbolderegresinasignaacadanodohojaunvalorreal.Podemosasignaracadanodounamediayunavarianza,seleccionandoaquellaparticinqueminimizalavarianza.Otraopcinesutilizarencadanodounafuncinlineal,utilizandoenlaevaluacinelerrorcuadrticomediodelaregresinlinealdelosejemplosquehayancadoencadanodo.7.EvaluacinUnprocesodeaprendizajeesbuenosigeneraunahiptesisquerealizaprediccionescorrectas,estoeshf.Eshabitualseguirunametodologasegnlacualseseparaelconjuntoinicialdeejemplosentresconjuntosdisjuntos:Conjuntodeentrenamiento(R):Elconjuntoquehemosutilizadohastaelmomentoyquepermiteinducirlahiptesis.Conjuntodevalidacin(V):Conjuntoutilizadoparaseleccionarlamejorhiptesisapartirdelosdatosdelconjuntodeentrenamiento.Seutilizaparaoptimizarlosparmetrosdelentrenamiento:ciclos,neuronas,arquitectura,etc.Conjuntodetest (T):Conjuntoutilizadoparacalcularlosresultadosquesepresentandelaevaluacindelahiptesisobtenida.Sesueleseparar2/3deltamaodelconjuntoinicialparaentrenamientoyvalidacin,y1/3paratest,aunquenohayreglasfijas.Lasclasesdebenestarrepresentadasenlaproporcincorrecta enlosdistintosconjuntosdeevaluacin.Nodebemosdistorsionarlaprobabilidadaprioridecadaclase.Siunaclasetieneun20%deejemplosdelconjuntototal,esaproporcinsedebemantenerenelentrenamiento,validacinytest.8.EvaluacinUnfenmenorelativamentefrecuenteesqueelaprendizajeutiliceatributosirrelevantesparahacerdistincionesfalsasentrelosejemplos:Supongamosqueenlatiradadeundadoregistramoseldadelasemanadecadatirada,elcolordeldadoylatemperatura.Nosgustaraqueelaprendizajegeneraraunconjuntodenodoshojaconunaprobabilidadde1/6paracadaconjetura.Seproducesobreajuste cuandolahiptesisvienesesgadaporelconjuntodeentrenamiento,apareciendoregularidadespocosignificativas,ysufriendounamermalacapacidaddegeneralizacindelaprendizaje.Comohemosvisto,lagananciadeinformacinnospermitemedirlarelevanciadeunatributo.Podemosintroducirunmnimoenlagananciaparadeterminarqueunatributoesirrelevante,peroquvalormnimoescogemos?sobreajuste8.EvaluacinUtilizaremosuntestdesignificanciaestadstica:Suponemosquenoexisteningnpatrnenlosdatos(hiptesisnula).Analizamoslosdatosparaestudiarsudesviacinrespectodelaausenciadepatrn.Fijamosunniveldesignificancia(porejemplo,5%)quedeterminalareginderechazodelahiptesisnula;buscamosunestadsticoquesesiteenlareginderechazosilosdatosmuestranunpatrnsignificativo.Ennuestrocaso,lahiptesisnulaesqueelatributoesirrelevanteyque,paraunejemploinfinitamentegrande,sugananciadeinformacinescero.Calculamoslaprobabilidaddequeparalosmvaloresdelatributoelcomportamientodelosejemplossedesvedelcomportamientodelahiptesisnula.Medimosladesviacincomparandoelnmerorealdeejemplospositivospi ynegativosni encadasubconjunto,conlosnmerosesperadosasumiendoirrelevancia:n pn pp pi ii++ =n pn pn ni ii++ =sobreajuste8.EvaluacinUnamedidadeladesviacinpuedeser:( ) ( )i2i iv1 ii2i inn npp pD+==EnC4.5(Quinlan,1987)seintroducendiversasmejorasenlaconstruccinderbolesdedecisin,entrelasquecabecitarlapoda.Bajolahiptesisnula,elvalordeDsedistribuyedeacuerdoconladistribucin2conm1gradosdelibertad.Laprobabilidaddequeunatributoseairrelevantesecalculaconayudadelastablasdela2 estndar.Lapodaevitaqueelrbolcrezcademasiadoenprofundidadensituacionesderuidooatributosirrelevantes.Elrbolcometeunmayorerrorenelaprendizajeperoreducesuerrorenlavalidacinyensuusoposterior.sobreajuste8.EvaluacinUnaconsecuenciadelapodaesque,frecuentemente,losnodosfinalesnotienenejemplosdeunasolaclase,porloquesepuedenetiquetarsegnlaclasemayoritaria.sobreajuste8.EvaluacinElprocedimientodevalidacinanteriorfuncionabienconconjuntosmuyampliosdedatos.Sinembargo,conconjuntospequeos,existeunadependenciadelresultadorespectoalaparticinrealizada.Paraevitarestoseutilizalavalidacincruzada:1. SedivideelconjuntoEdeejemplosenksubconjuntosdisjuntos(k=10o30)deigualtamaoE=E1Ek,EiEj=. Segenerankparejasdeconjuntosdeentrenamientoyvalidacin:V1=E1R1=E2 E3 EkV2=E2R2=E1 E3 EkVk=EkRk=E1 E2 Ek12. Seobtienenaskhiptesish1,,hk.SepuedecalcularunerrorfinalcomomediaaritmticadeloserroresdelaskhiptesisUnaventajadelavalidacincruzadaesqueelresultadofinalrecogelamediadelosexperimentosconksubconjuntosdetestindependientes.8.EvaluacinUnatcnicamuyutilizadaenlaevaluacindelosresultadosdelaclasificacineslaelaboracindematricesdeconfusin,queconstituyen unarepresentacindetalladadeladistribucindeerrores.Siaestamatrizaadimosunamatrizdecostes,C:RealAlta Observacin UCIEstimadoAlta 71 3 1Observacin 8 7 1UCI 4 2 3RealAlta Observacin UCIEstimadoAlta 0 5.000 500.000 Observacin 300 0 50.000 UCI 800 500 0 Podemoscalcularelcostedeunclasificadorcomo:=j i,ij ijm c Coste8.EvaluacinElanlisisROC(ReceiverOperating Characteristic)nospermitecompararentresdistintospredictores oclasificadoresobtenidosparaunmismoproblema.EsteprocedimientofueutilizadoenlaIIGuerraMundialparaevaluarlacapacidaddelosequiposderadarparadistinguirentresealesderuidoylasqueidentificancorrectamenteaunavinenemigo.Supongamosunproblemadeclasificacinbinaria,conejemplospositivospynegativosnrespectoalaclaseproblema.SupongamosquedisponemosdeunclasificadorqueproporcionacomoresultadosSyNrespectoalaclaseproblema.Obtenemoslamatrizdeconfusindenuestroclasificador,sobrelaqueintroduciremosalgunasnociones:Realp nEstimadoS VP FPN FN VNVP=VerdaderosPositivosVN=VerdaderosNegativosFP=FalsosPositivosFN=FalsosNegativosanlisisROC8.EvaluacinDefinimosunconjuntodeindicadoresapartirdelaanteriormatrizdeconfusin:Razndeverdaderospositivos(raz vp)=Sensibilidad =FN VPVP+Razndefalsospositivos(raz fp)=VN FPFP+Especificidad =1 Razndefalsospositivos=VN FPVN+Precisin =Predictividad positiva=FP VPVP+Exactitud =FN FP VN VPVN VP+ + ++Error =FN FP VN VPFN FP+ + ++Realp nEstimadoS VP FPN FN VNanlisisROC8.EvaluacinCadaclasificador,identificadoporsumatrizdeconfusin,serepresentamedianteunpuntoenungrficoROC:(raz fp,raz vp).Algunospuntossingulares:0 0.2 0.4 0.6 0.8 100.20.40.60.81razndefalsospositivosrazndeverdaderospositivosABCDE(0,0):elclasificadornuncaproporcionaunresultadopositivo;(1,1):elclasificadoraceptatodocomoresultadopositivo;(0,1):elclasificadorperfectoD.Ladiagonalprincipal(x=y)representaacualquierclasificadoraleatorioC,quenoposeeinformacinsobrelaclase.Pordebajodeella,cualquierclasificadorEestequivocado,silonegamosobtenemosunclasificadorBcorrectoporencimadeladiagonal.HacialaizquierdaabajolosclasificadoresAsonmsconservadores,haciaarribaderechalosclasificadoresBarriesgan ms.anlisisROC8.EvaluacinSupongamosunclasificadorquerealizaunaestimacindelaprobabilidaddeclase.Eneldiseodeunclasificadoresusualsintonizarsusparmetrosdeclasificacinparaobtenerelmejorclasificador.LascurvasROCnospuedenayudarenladeterminacindesumejorversin.Loveremosconunejemplosencillo:presinocularnmerodepacientes0 10 20 30 40 50sanos glaucomaalgunossonsanos,algunostienenglaucomatodostienenglaucomatodossonsanosnmerodepacientesgrupoglaucomaumbral=20verdaderospositivosfalsosnegativos10%90%presinocularnmerodepacientes0 10 20 30 40 50verdaderosnegativosgruposanos50% 50%falsospositivosanlisisROC8.EvaluacinConstruimosunacurvaROCdibujando,paracadaumbral,elpuntoquerepresentaalclasificador(raz vp,raz fp).0 0.2 0.4 0.6 0.8 100.20.40.60.81razndefalsospositivosrazndeverdaderospositivosfalsospositivosverdaderospositivosverdaderospositivosfalsospositivosumbralconservador(30)umbralarriesgado(20)0 0.2 0.4 0.6 0.8 100.20.40.60.81razndefalsospositivosrazndeverdaderospositivosP1+P2+P3P1+P2P1Sesueleutilizarelreabajolacurva(AUC)comoindicadorquepermitecompararclasificadoresentres.Elumbralptimoparaunapoblacindeterminadadependedelaprevalenciadelacondicinsobrelapoblacin,elcostedelosfalsospositivos,etc.anlisisROC8.EvaluacinN N NEjemplo:undetectordelatidos.HayproblemasenlosquelanocindeVerdaderoNegativonoesintuitiva.Enestoscasossustituimos,enlarepresentacinROC,larazndefalsospositivosporlapredictividad positiva,yaqueambasnospermitenmedirunanocinsimilar,queesladeespecificidad.PeroperdemosunaimportantepropiedaddelanlisisROCoriginal:suindependenciarespectoacambiosenladistribucindelasclases.ElanlisisROCoriginalnocambiaaunquecambielaproporcindeejemplospositivosynegativosenelconjuntodetest,yaqueelclculodecadaunodelosejessloinvolucraaunadelascolumnasdelamatrizdeconfusin.ElanlisisROCoriginalesinsensiblealoscambiosenlasprobabilidadesapriori:porejemplo,cambiosdeprevalencia.anlisisROC8.EvaluacinSeaerror(h)=(FP+FN)/(FP+VP+FN+VN)laproporcindeerrorescometidosenelconjuntodeevaluacin.Sudistribucinesbinomial,aunqueparaconjuntosconN>30podemosaproximarlamedianteladistribucinnormal,yconstruimosaselintervalodeconfianzasiguiente:Nospodemospreguntarporlafiabilidaddelerrorcalculadoenlaclasificacin.Laevaluacinnosproporcionaunerrordemuestraparalahiptesish.Podemosestimarelerrordepoblacindeh?||.|

\|+N error(h)) error(h)(1z error(h) ,N error(h)) error(h)(1z error(h)/2 /2SupongamosqueN=40ylaclasificacincomete10errores,estoes,error(h)=0.25.Podemosdecir,conunaconfianzadel95%(z/2=1.96)queelintervalodeerrores0.250.13,esdecir,parael95%delosconjuntosdeevaluacinextradosconelmismoprocedimientomuestral yN=40,elerrorestardentrodeesteintervalo.8.EvaluacinNodisponemosdeprocedimientosestadsticosquenospermitancontestaraestapregunta.TodosrequierenaplicaralgntipodeseparacinalconjuntoE,yaslasconclusionessonvlidasparauntamaodelconjuntodetestmenorqueeldeE.Algunosdeestosprocedimientossebasanenelcontrastedehiptesis.Enestecaso,lahiptesisnulaes:siendoRunconjuntodeentrenamientoextradoapartirdeunadeterminadapoblacinX,losdosalgoritmosAyBcometernelmismoerrorsobrecualquierconjuntodetestextradodeX.Existenmltiplesestadsticosdecomparacindealgoritmosdeaprendizaje:testMcNemar,testtpareadosobrevalidacincruzada,testsobrediferenciasdeproporciones,etc.SeanAyBdosalgoritmosdeaprendizaje,yEunconjuntoreducido deejemplos,culdelosdosalgoritmospermiteobtenerclasificadoresconunamayorexactitudcuandoambossonentrenadosconconjuntosdelmismotamaoqueEextradosdelamismapoblacin?8.EvaluacinDisponemosdeunconjuntodeentrenamientoRyunodetestT.UtilizamosdosalgoritmosdeentrenamientoAyB,obteniendolosclasificadoresCA yCB.ProbamosCA yCB concadaejemplodeT.Construimosunatabladecontingencia:Construimos unatabladecontingencia:EltestMcNemar evaladosclasificadoresoalgoritmosdeentrenamiento.n00: nmerodeejemplosmalclasificadosporCA yCBn01: nmerodeejemplosmalclasificadosporCA peronoporCBn10: nmerodeejemplosmalclasificadosporCB peronoporCAn11: nmerodeejemploscorrectamenteclasificadosporCA yporCBDonde|T|=n00+n01+n10+n11.Silahiptesisnulaescierta,entoncesn01=n10=(n01+n10)/2.McNemar proponeelsiguienteestadstico,distribuidosegn2:( )10 01210 01n n1 n n+ Silahiptesisnulaescierta,laprobabilidaddequeestevalorseamayorque21,095=3.84esmenorde0.05.8.EvaluacinUnamedidadeestadiferenciamuycomneselerrorcuadrticomedio:Laevaluacindemodelosderegresinsebasaenelclculodeladiferencia decomportamientoentrelahiptesishylafuncinobjetivof.= =N1 i2i i)) f(e ) (h(eN1MSEMSEpuededardemasiadopesoalosmayoreserrores.Siestonoesdeseablepodemosusarelerrorabsolutomedio:= =N1 ii i) f(e ) h(eN1MAESisedeseaqueelerrornoseasensiblealamagnitudy,portanto,sealomismounerrorde101queunode10010,entoncesdebemosusarelerrorcuadrticorelativo:==N1 i2i i2i i)) (e f ) (f(e)) f(e ) (h(eN1RSEdonde==N1 ii) f(eN1f9.CombinacindeclasificadoresLacombinacindehiptesisnospermitereducirelerrordeprediccin.Laraznesqueestacombinacinamplaelespaciodehiptesis,yamenudo,aumentasuexpresividad.Hastaahorahemosconsideradolaobtencindeunahiptesis,apartirdeunespaciodehiptesis.Sinembargo,podemosseleccionarunconjuntodehiptesisycombinarsuspredicciones,porejemplomedianteelvotodelamayora.+_ ++++++++++++__________ ____ ________Elmtodomsutilizadoparacombinarhiptesiseselboosting.Utilizaunconjuntodeentrenamientoenelquecadaejemplollevaasociadounpesowj0.Cuantomayoressuvalor,mayoressuimportanciaenelaprendizajedeunahiptesis.Comenzamosasignandowj=1atodoslosejemplos.Obtenemosmedianteaprendizajelaprimerahiptesish1.9.CombinacindeclasificadoresDisminuimosacontinuacinelvalordelosejemplosquehansidocorrectamenteclasificados.Obtenemosunanuevahiptesish2.GeneramosasunconjuntodeMhiptesis.ObtenemosunahiptesisfinalmediantecombinacinponderadadelasMhiptesis,dondeelpesodecadaunaesfuncindesucalidad.Lasdistintasvariacionesdeboosting utilizanformasdiferentesdeajustarlospesosycombinarlashiptesis.AdaBoost tieneunapropiedadmuyimportante:sipartimosdeunalgoritmodeaprendizajedbil,devuelveunahiptesisqueclasificaperfectamentelosdatosdeentrenamiento paraMsuficientementegrande.Aprendizajedbil:devuelveunahiptesisunpocomejorquelaqueprocededeunasuposicinaleatoria.Esteresultadoesindependientedelespaciodehiptesisoriginalydelacomplejidaddelafuncinquepretendemosaprender.10.TeoracomputacionaldelaprendizajeCmosabemosquelahiptesishestcercadefsinoloconocemos?Lateoracomputacionaldelaprendizajenosdicequesiunahiptesisesconsistenteconunnmeroaltodeejemplosdeentrenamientoentoncesesunaaproximacincorrectaprobable(PAC).Resultafundamentallarelacinentreelconjuntodeentrenamientoyelconjuntodetesto,engeneral,eldominiodeaplicacinreal.Necesitamosunasuposicinestacionaria:Losconjuntosdeentrenamientoyvalidacinsonelegidosalazarydeformaindependientesiguiendounamismadistribucindeprobabilidad.SeaX elconjuntodelosposiblesejemplos.Sea ladistribucinapartirdelaqueseescogenejemplos.SeaH elconjuntodelasposibleshiptesis.SeaNelnmerodeejemplosenelconjuntodeentrenamiento.SupongamosquefperteneceaH.10.TeoracomputacionaldelaprendizajeDefinimoselerrordeunahiptesisconrespectoafcomolaprobabilidaddequehseadiferenteafparaunejemplodado:) mediante obtiene se x | f(x) P(h(x) error(h) = =Unahiptesissediceaproximadamentecorrectasierror(h),donde esunaconstantepequea.HHmalafHbuenaCuntosejemplosnecesitamosparaquelashiptesisconsistentesseanaproximadamentecorrectas?Unamalahiptesishb perteneceaHmala,yerror(hb)>.Laprobabilidaddequehb seaconsistenteconunejemploesdealosumo1.ParaNejemplos:Nb) (1 ejemplos) N con e consistent P(h s10.TeoracomputacionaldelaprendizajeLaprobabilidaddequeHmala contengaunahiptesisconsistentees:N Nmala mala) (1 H ) (1 H e) consistent h una contenga P(H s sQueremosquelaprobabilidaddequeestosucedaseapequea: ) (1 HNs Puestoque1e,ydespejando:|.|

\|+ > H ln1ln1NEsteeselnmerodeejemplosdeentrenamientoquenecesitamosparaqueunahiptesishseaaproximadamentecorrectaconprobabilidad1.Nrecibeelnombredecomplejidaddelamuestra.BibliografaE.Alpaydin,Introduction to MachineLearning.The MITPress,2004.R.Cao,A.Labora,S.Naya,M.Ros,Mtodosestatsticos enumricos.Baa Edicins,2001.T.G.Dietterich,Approximate statistical tests for comparing supervised classificationlearning algorithms.NeuralComputation,10:18951923,1998.T.Fawcett,An introduction to ROCanalysis,Pattern Recognition Letters,27:861874,2006.Y.Freund,R.E.Schapire,Adecisiontheoretic generalization ofonlinelearning andanapplication to boosting.Journal ofComputingandSystem Sciences,55(1):119139,1997.J.Hernndez,M.J.Ramrez,C.Ferri,Introduccinalamineradedatos.Prentice Hall,2004. S.Russell,P.Norvig,InteligenciaArtificial.Unenfoquemoderno.Prentice Hall,2003. J.R.Quinlan,C4.5:programs for machinelearning.MorganKaufmann,1993. J.A.Swets,R.M.Dawes,J.Monahan,Better decisions through science.Scientific American,8287,2000.