Relacion 6- Redes Neuronales PDF

Preview

Summary

Relación de Problemas del Tema de redes Neuronales...

Description

Inteligencia Artificial

2015 - 2016

Relaci´ on 6 - Redes neuronales Cuestiones Cuesti´ on 1. Decir si las siguientes afirmaciones son verdaderas o falsas: (a) Si tomamos la funci´on identidad como funci´on de activaci´on, entonces el perceptr´on simple es capaz de aprender la funci´on booleana binaria fAN D (fAN D (1, 1) = 1, fAN D (0, 1) = 0, fAN D (1, 0) = 0, fAN D (0, 0) = 0). (b) El perceptr´on simple es capaz de representar la f´ormula l´ogica (A ∨ B) ∧ ¬C usando la funci´on umbral como funci´on de activaci´on. Cuesti´ on 2. Dise˜ nar un perceptr´on simple con n valores de entrada y funci´on umbral de activaci´on que sirva para calcular la funci´ on MAYORIA-SIMPLE; esta funci´on recibe n entradas (cada una puede ser un 0 o un 1) y devuelve como salida un 1 si hay estrictamente m´ a s 1s que 0s, o 0 en caso contrario. Cuesti´ on 3. Demostrar geom´etricamente que un perceptr´on simple no puede calcular la funci´on XOR. Construir una red neuronal (con funci´on umbral como funci´ on de activaci´ on) que s´ı la calcule. Indicaci´ on: Tener en cuenta que XOR se puede obtener mediante AND y OR, y que estas dos funciones si pueden ser calculadas por perceptrones. Cuesti´ on 4. La funci´on PARIDAD es aquella que recibiendo n bits, devuelve 1 si hay un n´ umero par de ellos igual a 1, y 0 en caso contrario ¿Se puede calcular la funci´on PARIDAD mediante un perceptr´on simple? ¿Y mediante una red neuronal con una capa oculta y funci´on umbral como funci´ on de activaci´ on? Indicaci´ on: incluir n neuronas en la capa intermedia, donde cada neurona i de la capa intermedia se debe activar con un 1 si hay m´as de i entradas iguales a 1. Cuesti´ on 5. Sea f una funci´on de R × R en {−1, 1} tal que f (−1, 1) = f (0, 0) = 1 y f (−1, 0) = f (0, 1) = −1. Supongamos que con ese conjunto de ejemplos aplicamos el algoritmo de entrenamiento del perceptr´on simple bipolar ¿Ser´ a el algoritmo capaz de encontrar los pesos adecuados para que la unidad bipolar correspondiente calcule correctamente los cuatro ejemplos anteriores? En el caso de usar el algoritmo de entrenamiento de la regla delta para encontrar un perceptr´ on simple con funci´on activaci´on diferenciable, ¿hacia qu´e converge el vector de pesos que va construyendo el algoritmo? Cuesti´ on 6. Supongamos que entrenamos un perceptr´on cuya funci´on de activaci´on es la identidad, usando la regla Delta como algoritmo de entrenamiento. Si el conjunto de entrenamiento es linealmente separable ¿Est´ a garantizado que en alg´ un momento encontraremos unos pesos que hagan que el perceptr´on clasifique correctamente a cada uno de los ejemplos del conjunto de entrenamiento?

Problemas Ejercicio 1. Consideremos un perceptr´on con pesos w0 = w1 = w2 = 0,5, funci´ on sigmoide como funci´on de activaci´on. Sea D el conjunto de entrenamiento D =

{h(1, 0), 1i, h(0, 1), 0,5i}. Se pide calcular la variaci´ on que se produce en el error cuadr´atico cometido sobre el conjunto de entrenamiento D tras un paso del algoritmo de descenso por gradiente (con factor de aprendizaje η = 0,8). Ejercicio 2. Consideremos la siguiente red neuronal

Representaremos por wij el peso asociado a la conexi´on desde la neurona i a la neurona j y por w0j el peso umbral de la neurona j. Consideremos un factor de aprendizaje η = 0,1 y la funci´on sigmoide 1 σ(x) = 1 + e−x como funci´on de activaci´on. Consideraremos todos los pesos iniciales de la red neuronal valen 1.0. ¿Cu´anto vale el peso w06 tras dar un paso del algoritmo de retropropagaci´ on asociado al ejemplo h(1, 1), (1, 1)i? Detallar todos los pasos del algoritmo necesarios para obtener el valor pedido. N´otese que en el ejemplo el valor suministrado a cada neurona de entrada es 1 y cada una de las neurones de salida tienen como salida 1. Ejercicio 3. Consideremos un perceptr´on con pesos w ~ = (w0 , w1 , w2 ), w0 = w1 = w2 = 0,8, la funci´on sigmoide como funci´on de activaci´on y un conjunto de entrenamiento D = {E1 , E2 } con E1 = h(0, 1), 1i y E2 = h(1, 0), 0i. (a) Calcular el error cuadr´atico E( w) ~ que se comete al considerar este perceptr´on sobre ese conjunto de entrenamiento. (b) Devolver el valor del peso w2 tras una actualizaci´ on usando el algoritmo de entrenamiento del perceptr´on por Descenso por el Gradiente, con un factor de aprendizaje η = 0,2. S´ olo hay que dar los c´alculos necesarios para esa actualizaci´ on. Ejercicio 4. Aplica el Descenso por el Gradiente hasta obtener la primera actualizaci´on del peso w2 al problema de aprendizaje del perceptr´on con η = 0,1, la funci´on sigmoide como funci´on de activaci´ on y el conjunto de aprendizaje e1 e2 e3

x1 x2 x3 y 0,7 0,2 0,1 0,3 0,3 0,5 0,2 0,8 0,1 0,1 0,8 0,6

Tomar como pesos iniciales w0 = 0,1, w1 = 0,1, w2 = 0,1 y w3 = 0,1. Ejercicio 5. Consideremos la siguiente red neuronal, un factor de aprendizaje η =0.1 y la funci´on sigmoide como funci´on de activaci´on. Representaremos por

wij el peso asociado a la sinapsis desde la neurona i a la neurona j y por w0j el peso asociado a la entrada virtual de la neurona j. Consideraremos todos los pesos iniciales de la red neuronal valen 1.0. ¿Cu´ anto vale el peso w36 tras dar un paso del algoritmo de retropropagaci´ on asociado al ejemplo h(0,5, 0,5), (0,8, 0,8)i? Detallar todos los pasos del algoritmo. [Nota: Para hacer los c´ alculos tomaremos 4 decimales.] Ejercicio 6. Sea f una funci´on de R × R en {−1, 1}. Consideremos el problema de aprender f mediante un perceptr´on simple bipolar, para ello se tiene el siguiente conjunto de entrenamiento: E1 E2 E3 E4 E5 E6

Entradas (2, 0) (0, 0) (2, 2) (0, 1) (1, 1) (1, 2)

Salida 1 −1 1 −1 1 −1

Aplicar el algoritmo de entrenamiento del perceptr´on simple bipolar con el conjunto de entrenamiento anterior, considerando los ejemplos en el mismo orden en que aparecen, hasta que se clasifiquen correctamente todos los ejemplos. Tomar 0 como valor inicial para los pesos y 0,1 como factor de aprendiza je. Con los pesos aprendidos, ¿qu´e salida se obtiene para las siguientes entradas: (0, 2), (1, 0) y (2, 1)? Ejercicio 7. Consideremos la siguiente red neuronal, que utiliza la funci´on sigmoide σ como funci´on de activaci´on: 1

4

7

2

5

8

3

6

9

Se pide: 1. Calcular, detallando las f´ormulas utilizadas, la salida de la red para la entrada ~x = h1, 0, 0i, suponiendo que todos los pesos de la red son 0,5.

2. Consideremos ahora otro ejemplo ~x = hx1 , x2 , x3 i con salida esperada ~y = h1, 0, 0i. Supongamos que en todas las neuronas de la capa oculta la salida obtenida con ese ejemplo es ai = 0,2, y que para las neuronas de la capa de salida se tiene ai = 0,5. Realizar los c´alculos necesarios siguiendo el algoritmo de retropropagaci´on hasta hallar el valor del error ∆4 . ¿Cu´ales son las f´ormulas para actualizar los pesos w0,4 , w4,7 , w4,8 y w4,9 ? 3. Supongamos que esta red se ha dise˜ nado para clasificar unos datos que se pueden representar mediante vectores ~x ∈ R3 . Supongamos que ya hemos implementado alg´ un algoritmo de aprendizaje usando un conjunto de entrenamiento. Explicar el proceso que hay que seguir para clasificar un ejemplo nuevo ~x = hx1 , x2 , x3 i. Si nos interesase clasificar los ejemplos en s´olo dos categor´ıas ¿Realizar´ıas modificaciones sobre la red? ¿Cu´ales? Ejercicio 8. Sea una red neuronal con la siguiente estructura en la que se usa el sigmoide como funci´on de activaci´on:

Supongamos dado un ejemplo (x1 , x2 , x3 , x4 ) con salida esperada (y7 , y8 ). Supongamos tambi´en que ya hemos calculado la salida ai en cada unidad i = 1, . . . , 8. Seg´ un el algoritmo de retropropagaci´on: ¿cu´ales son las f´ormulas para calcular los errores ∆8 , ∆7 y ∆6 , respectivamente? ¿y las f´ormulas para actualizar los pesos w6,7 y w6,8 , respectivamente? Ejercicio 9. Consid´erese la red neuronal con la siguiente estructura y con la funci´on sigmoide como funci´on de activaci´ on:

Supongamos dado un ejemplo del conjunto de entrenamiento, con entrada (x1 , x2 ) y salida esperada y. Se pide mostrar las f´ormulas que se usan en una iteraci´on del algoritmo de retropropagaci´on correspondiente a este ejemplo, tanto las de la fase de propagaci´on hacia adelante como las la fase de propagaci´ on hacia atr´as, dejando claro en el orden en el que se producen los c´ alculos. ¿Cu´al es el objetivo general del algoritmo de retropropagaci´on? Ejercicio 10. Consideremos la siguiente red neuronal con funci´ on de activaci´on lineal g(x) = x en todas sus unidades:

Sean los ejemplos de entrenamiento ( x~1 , y1 ) = (h0, 0i, 1) y ( x~2 , y2 ) = (h1, 1i, 0). Aplicar una iteraci´on del algoritmo de retropropagaci´ on para cada uno de estos ejemplos, tomando 0,1 como factor de aprendizaje y todos los pesos iniciales iguales a 0,5. Ejercicio 11. Explicar c´omo se usar´ıa una red neuronal para obtener un reconocedor de letras escritas a mano. Describir con precisi´on qu´e estructura de red usar´ıas, qu´e representar´ıan tanto la entrada como la salida de la red, en qu´e consistir´ıa un conjunto de entrenamiento y c´ omo se podr´ıa obtener, y c´omo se buscar´ıan unos pesos adecuados para la red ¿Qu´e entendemos en este contexto por “pesos adecuados”? Ejercicio 12. Una nariz electr´ onica analiza mediante sensores los vapores procedentes de determinadas sustancias y las clasifica a partir de la informaci´on cuantitativa obtenida. Supongamos que utilizamos 16 sensores para identificar cuatro tipos de vino tinto: Cabernet, Merlot, Syraz y Tempranillo. Describir en detalle c´omo podr´ıamos usar una red neuronal para abordar este problema: en que consistir´ıa un conjunto de entrenamiento y c´omo se codificar´ıan los ejemplos,

la estructura de la red, el algoritmo de entrenamiento usado y de qu´e manera se usar´ıa la red una vez entrenada, para identificar un nuevo vino tinto. Ejercicio 13. Supongamos que una empresa de televisi´on por cable quiere dise˜ nar un sistema automatizado para recomendar a sus clientes uno de sus cinco canales tem´ aticos, en funci´on de sus preferencias, que se tratan de adivinar en funci´on de una encuesta con 20 preguntas. ¿C´ omo dise˜ nar´ıas el sistema usando una red neuronal? ¿Qu´e estructura tendr´ıa esta red neuronal? ¿C´omo entrenar´ıas la red y cu´al ser´ıa tu conjunto de entrenamiento? Una vez entrenada, ¿c´omo usar´ıas la red obtenida para recomendar un canal tem´atico a un nuevo cliente? Ejercicio 14. Supongamos que queremos dise˜ nar un sistema de “anuncios personalizados” para los usuarios de un portal web. En este portal web hay veinte secciones tem´aticas y la compa˜ n´ıa maneja cuatro posibles perfiles publicitarios, cada uno de ellos apropiado a un usuario en funci´on de los temas que m´as le interesan. Describir c´omo se usaria una red neuronal para implementar este sistema: estructura de la misma, conjunto de entrenamiento, aprendizaje de los pesos, uso de la red una vez entrenada... Ejercicio 15. Supongamos que queremos dise˜ nar un sistema automatizado para reconocer el estado de a´nimo de la gente observando la expresi´ on de su cara. Por simplificar las cosas, supongamos que consideramos cuatro tipos distintos de estados de a´nimo: alegre, triste, enfadado y neutro. Suponiendo que nuestro sistema dispone de una c´amara que es capaz de obtener im´agenes digitalizadas de la cara de una persona ¿c´omo dise˜ nar´ıas el sistema usando una red neuronal? ¿en qu´e consistir´ıa el aprendizaje de esa red? Ejercicio 16. Supongamos que tenemos un problema de aprendizaje en el que hay que aprender a clasificar elementos de Rn en dos categor´ıas, para cierta dimensi´on n > 0. No se conoce la manera exacta de clasificar, pero s´ı se conoce la clasificaci´on de un conjunto finito de tuplas (es decir, un conjunto de entrenamiento). Dar un ejemplo de una aplicaci´on real en el que se pueda plantear una situaci´on como ´esta. Si el conjunto de entrenamiento no es linealmente separable y el clasificador que se quiere aprender fuera un perceptr´on simple, ¿cu´antas unidades de entrada y cu´ antas de salida tendr´ıa? ¿qu´e funci´on de activaci´on emplear´ıa? Una vez aprendido, ¿c´ omo se usar´ıa para clasificar nuevas instancias? ¿Qu´e algoritmo usar´ıas para aprender los pesos de dicho perceptr´ on? Justificar la respuesta. Para n = 3, calcular un paso del algoritmo anterior correspondiente a un ejemplo positivo (inventando los pesos de partida, el ejemplo y la tasa de aprendizaje). Por simplificar, considerar que la funci´on de activaci´on es la identidad, aunque no sea e´sa la funci´on elegida en el apartado anterior. Supongamos ahora una situaci´on an´aloga a la anterior pero con cuatro categor´ıas de clasificaci´ on.

Dar un ejemplo de una aplicaci´on real en la que se pueda plantear dicha situaci´on. Si el clasificador que se quiere aprender fuera ahora una red multicapa ¿cu´antas unidades tendr´ıa en la capa de entrada y cu´ antas en la de salida? ¿qu´e funci´on de activaci´on usar´ıa? Una vez aprendido, ¿c´ omo se usar´ıa para clasificar nuevas instancias? Considerar en concreto n = 3 y una red con una capa oculta con dos unidades. En dicha situaci´on, y usando el algoritmo de retropropagaci´on para aprender sus pesos, describir las f´ormulas (simb´ olicamente) que reflejan c´omo se actualizan dichos pesos en un paso del algoritmo correspondiente a un ejemplo de la tercera categor´ıa. Se piden tanto las f´ ormulas de la propagaci´ on hacia adelante (en cada unidad) como las de la propagaci´on hacia atr´as (en cada peso)....