Ejemplo perceptron simple PDF

Preview

Summary

Ing. Ivan Mejia Cabrera Ing. Ivan Mejia Cabrera M E En la emulación, •Redes Neuronales T más o menos •Razonamiento Aproximado O tienen inteligente, del son D comportamiento de •Algoritmos Genéticos su origen O los sistemas •Teoría del Caos L biológicos O •Colonias de hormigas G I Problemas A que no ...

Description

Ing. Ivan Mejia Cabrera

Ing. Ivan Mejia Cabrera

•Redes Neuronales •Razonamiento Aproximado

•Algoritmos Genéticos

son

•Teoría del Caos •Colonias de hormigas

M E T O D O L O G I A S

tienen

su origen

En la emulación, más o menos inteligente, del comportamiento de los sistemas biológicos

permiten

Manejar las que imprecisiones e aparecen incertidumbres

Al resolver problemas relacionados con el mundo real

Problemas que no pueden describirse fácilmente con un enfoque algorítmico tradicional

Ing. Ivan Mejia Cabrera

REDES NEURONALES ARTIFICIALES Basados en el comportamiento del sistema nerviosa las neuronas poseen características que las diferencian de las otras células, tal como su capacidad de comunicarse

En todo el sistema nervioso central del ser humano hay alrededor de 1011 neuronas y existen alrededor de 1015 conexiones. Ing. Ivan Mejia Cabrera

Neurona biológica La teoría y modelado de redes neuronales artificiales está inspirada en la estructura y funcionamiento del sistema nervioso, donde la neurona es el elemento fundamental. Las neuronas poseen características que las diferencian de las otras células, tal como su capacidad de comunicarse. Por lo general una neurona recibe información de miles de otras neuronas y, a su vez, envía información a miles de neuronas más. Ing. Ivan Mejia Cabrera

Ramón y Cajal, Santiago (1852-1934) Cajal argumentaba convincentemente que las neuritas de las diferentes neuronas no tienen continuidad unas con otras y que es preciso que se comuniquen por contacto y no por continuidad. Esta idea de que la neurona cumplía la teoría celular empezó a conocerse con el nombre de doctrina neuronal. Cajal en 1906 recibe el Premio Nóbel. http://cajal.unizar.es

Ing. Ivan Mejia Cabrera

Comunicación neuronal

Dendritas

Cuerpo celular

Axón

Sinapsis

Recibir señales de entrada

Combina, integra y emite señales de salida

Transporta las señales a los terminales axónicos

Punto de conexión con otra neurona

Naturaleza de las señales neuronales Eléctricas

Impulsos eléctricos generados por la neurona y transportados a lo largo del axón

Señales Neuronales

Químicas

Sustancias químicas – neurotransmisores – que fluyen a través de un contacto especial llamado sinapsis y contribuyen a transmitir los impulsos nerviosos de una neurona a otra

DEFINICIÓN DE RED NEURONAL ARTIFICIAL En general son modelos que intentan reproducir el COMPORTAMIENTO del cerebro •Una nueva forma de computación, inspirada en modelos biológicos. •Un modelo matemático compuesto por un gran número de elementos procesales organizados en niveles. •Redes neuronales artificiales son redes interconectadas masivamente en paralelo de elementos simples ( usualmente adaptativos) y con organización jerárquica, las cuales intentan interactuar con los objetos del mundo real del mismo modo que lo hace el sistema nervioso biológico. Ing. Ivan Mejia Cabrera

McCulloch Warren – Pitts Walter (1943) Los primeros teóricos que concibieron los fundamentos de la computación neuronal fueron Warren McCulloch, un neurofisiólogo, y Walter Pitts, un matemático, quienes, en 1943, lanzaron una teoría acerca de la forma de trabajar de las neuronas. Ellos modelaron una red neuronal simple mediante circuitos eléctricos

Ing. Ivan Mejia Cabrera

Rosenblatt, Frank (1957) En 1957, comenzó el desarrollo del Perceptron.El Perceptron es la más antigua red neuronal, y se usa hoy en día de varias formas para la aplicación como reconocedor de patrones.

Ing. Ivan Mejia Cabrera

Hopfield, John (1982) En 1982, coincidieron numerosos eventos que hicieron resurgir el interés por las redes neuronales. John Hopfield, físico, presentó su trabajo sobre redes neuronales en la Academia Nacional de las Ciencias . En el trabajo describe con claridad y rigor matemático una red a la que ha dado su nombre Ing. Ivan Mejia Cabrera

NEURONA ARTIFICIAL

CAPAS DE UNA RED NEURONAL ARTIFICIAL

Estructura de una red neuronal

Unidad U j

Unidad U i

F(aj(t),Netj)

W ji Yi

Net j

= a j(t+1)

fj (aj (t+1) = Yj

Entrada total

Función o regla de activación

Función de salida o transferencia

Salida yj

n

Net j =

w

ji

yi

i

a j (t+1) = F ( a i (t), Net i ) generalmente F es la identidad Y j (t +1) = f ( Net j )

MECANISMOS DE APRENDIZAJE

Mecanismos de aprendizaje de la red

Proceso por el cual una red modifica sus pesos en respuesta a una información de entrada

Reglas o algoritmos

A. por corrección de error Regla del Perceptron

Regla delta o de Widrow - Hoff

Aprendizaje supervisado

Aprendizaje no supervisado

A. por refuerzo

A. estocástico

Regla delta generalizada o Backpropagation

Ing. Ivan Mejia Cabrera

EL PERCEPTRON Primer modelo de red neuronal desarrollado por Rosenblatt – 1958.  Está formada por varias neuronas lineales para recibir las entradas a la red y una neurona de salida entrada.  Despertó gran interés en los años 60 por su capacidad de reconocer patrones sencillos.  Es capaz de decidir cuándo una entrada presentada a la red pertenece a una de las dos clases que es capaz de reconocer. 

Ing. Ivan Mejia Cabrera

EL PERCEPTRON – n ENTRADAS

f (x)

x1 w1

y = f [ (w

x2 . .

1 n

w2

i 1

i

x i )

x

] -1

wn

. xn

Ing. Ivan Mejia Cabrera

EL PERCEPTRON – 2 ENTRADAS X0=1

x1

x1 w1

f (x)

W0= - 

1

y = f ( w1 x1 + w2 x2 -  ) x2

x2

x

w2

•La neurona de salida del Perceptron realiza la suma ponderada de las entradas, resta el umbral y pasa el resultado a la función de transferencia de tipo escalón. •Si la repuesta es +1, el patrón presentado pertenece a la clase A y si la respuesta es -1, el patrón pertenece a la clase B.

-1

x2 A A

A A

B B x1

B

B B

Ing. Ivan Mejia Cabrera

REGLA DE APRENDIZAJE DEL PERCEPTRON El algoritmo de aprendizaje es de tipo supervisado.  En el proceso de entrenamiento, el Perceptron se expone a un conjunto de patrones de entrada, y los pesos de la red son ajustados de forma que al final del entrenamiento se obtenga las salidas esperadas para cada uno de esos patrones de entrada.  A continuación el algoritmo de ajuste de pesos para realizar el aprendizaje de un Perceptron ( aprendizaje por corrección de error ). 

Ing. Ivan Mejia Cabrera



Inicialización de los pesos y del umbral ◦ Inicialmente se asignan valores aleatorios a cada uno de los pesos wi de las conexiones y al umbral ( -w0 =  ).



Presentación de un nuevo par (Entrada, salida esperada) ◦ Patrón de entrada Xp = ( x1, x2, x3, …, xn), salida esperada d (t).



Cálculo de salida actual n

y (t) = f [ 



 (w i 1

i

x i ) ]

siendo f la función de transferencia escalón. Adaptación de los pesos w i (t+1) = w i (t) +  [ d(t) – y (t) ] xi (t)  es un factor de ganancia en el rango 0 a 1. Volver al paso 2 Ing. Ivan Mejia Cabrera

EJEMPLO

PRIMERA CORRIDA Pesos elegidos aleatoriamente: w1=0.5, w2=1.5, w0 = 1.5, 2. Tomar uno a uno los cuatro patrones de entrada y se aplica el método explicado. Patrón de entrada: 00 1.

Valores deseados de la función OR

X1 X2

X1X2

0

0

0

0

1

1

1

0

1

1

1

1

Conjunto de patrones { 00, 01, 10, 11 }

=1

◦ ◦ ◦ ◦ ◦ ◦ ◦

Entradas: x1=0, x2=0, x0=1 Pesos: w0 = 1.5, w1=0.5, w2=1.5 Neti: 0(0.5) + 0(1.5) + 1(1.5) = 1.5 Salida producida por f: 1 ( Neti >=0) Salida deseada: 0 Error: 0 – 1 = -1 Pesos modificados:   

w0(t + 1) = 1.5 + (-1)1 = 0.5 w1(t + 1) = 0.5 + (-1)0 = 0.5 w2(t + 1) = 1.5 + (-1)0 = 1.5 Ing. Ivan Mejia Cabrera

PRIMERA CORRIDA Patrón de entrada: 10

Patrón de entrada: 01 ◦ ◦ ◦

◦ ◦ ◦ ◦ ◦

Entradas: x1=0, x2=1, x0=1 Pesos: w1 = 0.5, w2=1.5, w0=0.5 Neti: 0(0.5) + 1(1.5) + 1(0.5) = 2 Salida producida por f: 1 ( Neti >=0) Salida deseada: 1 Error: 1 – 1 = 0 Los pesos no se modifican: wi (t + 1) = wi ( t )

◦ La salida es igual a la deseada, por lo que no varían los pesos.

Patrón de entrada: 11 ◦ La salida es igual a la deseada, por lo que no varían los pesos. 

¡¡ Existe un patrón de entrada, 00, para el cual el error cometido no es cero, por lo tanto se repite el proceso a partir de 2 !!

Ing. Ivan Mejia Cabrera

SEGUNDA CORRIDA 3. Se toman de nuevo los cuatro patrones de entrada.

Patrón de entrada: 00 ◦ ◦ ◦ ◦ ◦ ◦ ◦

Entradas: x1=0, x2=0, x0=1 Pesos: w1 = 0.5, w2=1.5, w0=0.5 Neti: 0(0.5) + 0(1.5) + 1(0.5) = 0.5 Salida producida por f: 1 Salida deseada: 0 Error: 0 – 1 = -1 Pesos modificados:  w0(t + 1) = 0.5 + (-1)1 = -0.5  w1(t + 1) = 0.5 + (-1)0 = 0.5  w2(t + 1) = 0.5 + (-1)0 = 1.5

Patrón de entrada: 01 ◦ Entradas: x1=0, x2=1, x0=1 ◦ Pesos: w1 = 0.5, w1=1.5, w0= 0.5 ◦ Neti: 0(0.5) + 1(1.5) + 1(-0.5) = 1 ◦ Salida producida por f: 1 ◦ Salida deseada: 1 ◦ Error: 1 – 1 = 0 ◦ Los pesos no se modifican: wi (t + 1) = wi ( t )

Patrón de entrada: 10 ◦ La salida es igual a la deseada, por lo que no varían los pesos.

Patrón de entrada: 11 ◦ La salida es igual a la deseada, por lo que no varían los pesos. Ing. Ivan Mejia Cabrera

TERCERA CORRIDA 

Patrón de entrada: 10

Se toman de nuevo los cuatro patrones.

◦ La salida es igual a la deseada, por lo que no varían los pesos.

Patrón de entrada: 00 ◦ Entradas: x1=0, x2=0, x0=1 ◦ Pesos: w1 = 0.5, w2=1.5, w0= 0.5 ◦ Neti: 0(0.5) + 0(1.5) + 1(-0.5) = - 0.5 ◦ Salida producida por f: 0 ◦ Salida deseada: 0 ◦ Error: 0 – 0 = 0 ◦ No varían los pesos wi (t + 1) = wi ( t )

Patrón de entrada: 11 ◦ La salida es igual a la deseada, por lo que no varían los pesos. 

¡¡ Con estos nuevos pesos los patrones de entrada coinciden con las salidas, ya no se comete ningún error y por lo tanto la etapa de aprendizaje concluye !!. FIN

Ing. Ivan Mejia Cabrera

i

x1

x2 d (t) w1(t) w2(t) w0(t)

y

1

0

0

0

0.5

1.5

1.5

1

-1

0.5

1.5

0.5

0

1

1

0.5

1.5

0.5

1

0

0.5

1.5

0.5

1

0

1

0.5

1.5

0.5

1

0

0.5

1.5

0.5

1

1

1

0.5

1.5

0.5

1

0

0.5

1.5

0.5

0

0

0

0.5

1.5

0.5

1

-1

0.5

1.5

-0.5

0

1

1

0.5

1.5

-0.5

1

0

0.5

1.5

-0.5

1

0

1

0.5

1.5

-0.5

1

0

0.5

1.5

-0.5

1

1

1

0.5

1.5

-0.5

1

0

0.5

1.5

-0.5

0

0

0

0.5

1.5

-0.5

0

0

0.5

1.5

-0.5

0

1

1

0.5

1.5

-0.5

1

0

0.5

1.5

-0.5

1

0

1

0.5

1.5

-0.5

1

0

0.5

1.5

-0.5

1

1

1

0.5

1.5

-0.5

1

0

0.5

1.5

-0.5

2

3

error w1(t+1)

w2(t+1) w0(t+1)

INTRODUCCION A LA PROGRAMACIÓN LOGICA CON PROLOG

Muchos procesos naturales y curvas de aprendizaje de sistemas complejos muestran una progresión temporal desde unos niveles bajos al inicio, La función sigmoide permite describir esta evolución.

e = número de Euler o constante de Napier e\, ≈ 2,71828 18284 59045 23536 02874 71352 66249 77572 47093 69995...

ARIMETICA EN PROLOG

X=Y X \= Y XY X = Y

X e Y ocupan el lugar del mismo número X e Y ocupan el lugar de distintos números X es menor que Y X es mayor que Y X es menor o igual que Y X es mayor o igual que Y

X+Y X–Y X*Y X/Y X mod Y

La suma de X e Y La resta de X e Y El producto de X e Y El cociente de X dividido por Y El resto de X dividido por Y...