project_ml_NN.md

@@ -19,17 +19,13 @@ De la biologie, nous savons que le cerveau est constitué par neurons et leurs c
 
 Avec ce projet on apprendra le fonctionnement de un modèle très simplifié de cerveau.
 
-Le premier element est le neuron; le modèle le plus simple de neuron que on y a est le [*perceptron*](https://en.wikipedia.org/wiki/Perceptron). On commence avec une fonction mathematique que prends des arguments en input, fait une combination lineaire avec poids des inputs, et donne un valeur de output:
+Le premier element est le neuron; le modèle le plus simple de neuron que on y a est le [*perceptron*](https://en.wikipedia.org/wiki/Perceptron). On commence avec une fonction mathematique que prends des arguments en input, fait une combination lineaire avec poids des inputs, et donne un valeur de output. Pour un neuron génerique *n*, 
 
+$`y_n = \sum_i w_{i,n} x_{i,n}`$
 
- Le problème c'est que une combination lineaire avec poids est une fonction lineaire, dont on ne peut pas apprendre a approximer fonctions plus complexes avec ça; on deverait avoir un élement de non-linearité. 
+ Le problème c'est que une combination lineaire avec poids est une fonction lineaire, dont on ne peut pas apprendre a approximer fonctions plus complexes avec ça; on deverait avoir un élement de non-linearité. On fait ça  en faisant la multiplication du output du neuron fois une "fonction de activation" $`f_{act}`$; le neuron est activé (i.e. donne un output different de zero) seulement si le valeur de $`f_{act}(y_n)`$ est different de zero.
+Si la fonction de activation est une fonction non-lineaire, nous avons obtenu ce que nous voulous; un neuron que fait la combination des inputs de manière non-lineaire. Vous aurais utiliser deux fonctions de activation: la [ReLU](https://en.wikipedia.org/wiki/Rectifier_(neural_networks)) et la [sigmoid](https://en.wikipedia.org/wiki/Sigmoid_function) pour ce travail.
 
-In this project you will learn how a (very) simplified model of the brain works. The first element you need is a model of neuron. The simplest model of neuron is a mathematical function that takes some arguments in, combines them by giving each of them a different weight, and gives as an output one value.
-
-$`y = \sum_i w_i x_i`$
-
-The weighted sum is by itself a linear function, and cannot therefore approximate any given function; in order for a network to be able to mimic very complex functions, we need to insert an element of non-linearity. We do so by deciding that each neuron gets "activated" only if its output passes a certain dynamical threshold described by a non-linear function, the "activation function":
-$example and figure$
 
 Now that you have a simple model of neuron, you can connect it to other neurons; while the brain has very complex connections and feedbacks, the simplest way of connecting neurons is to connect them in layers:
 $figure layered network$.