Machines
Can Learn

Un blog consacré aux technologies liées aux réseaux de neurones,
créé par un développeur, pour les développeurs.

Ce blog utilise de nombreuses expressions mathématiques (la librairie MathJax est utilisée pour effectuer leur rendu). Cette page les recense et les explique afin de vous permettre de mieux les comprendre.

À noter que cette page est vivante : elle évoluera en fonction des articles qui seront publiés.

Notations générales

  • Le produit scalaire entre vecteurs et/ou matrices est noté par un point \cdot (par exemple WXW \cdot X) ; le même signe est aussi parfois utilisé pour marquer la multiplication ou pour indiquer l'opération logique "ET" (AND ; voir ci-dessous).
    • Le produit de deux vecteurs est soit un produit scalaire, soit une multiplication matricielle. Lorsqu'on voudra insister sur la multiplication matricielle, on utilisera la notation A𝖳BA^\mathsf{T} \cdot B ou AB𝖳A \cdot B^\mathsf{T}, ou A𝖳A^\mathsf{T} est le vecteur transposé de AA : [x1...xn]𝖳=[x1xn]\begin{equation} \begin{bmatrix} x_1 ... x_n \end{bmatrix}^\mathsf{T} = \begin{bmatrix} x_1 \\ \vdots \\ x_n \end{bmatrix} \end{equation} [x1xn]𝖳=[x1...xn]\begin{equation} \begin{bmatrix} x_1 \\ \vdots \\ x_n \end{bmatrix}^\mathsf{T} = \begin{bmatrix} x_1 ... x_n \end{bmatrix} \end{equation}
  • Le symbole \odot est celui du produit de Hademard. Ce produit est une fonction de n×m×n×mn×m\mathbb{R}^{n \times m} \times \mathbb{R}^{n \times m} \mapsto \mathbb{R}^{n \times m} telle que pour X,A,Bn×mX, A, B \in \mathbb{R}^{n \times m} on a : X=ABi{1n},j{1m}xi,j=ai,j×bi,j\begin{equation} X = A \odot B \implies \forall i \in \{ 1 \ldots n \}, \forall j \in \{ 1 \ldots m \} \quad x_{i,j} = a_{i,j} \times b_{i,j} \end{equation} Lorsque AA et BB sont des vecteurs, AB=[a1×b1an×bn]\begin{equation} A \odot B = \begin{bmatrix} a_1 \times b_1 \\ \vdots \\ a_n \times b_n \end{bmatrix} \end{equation}
  • La dérivée par rapport à xx d'une fonction f(x)f(x) est notée df(x)dx\frac{df(x)}{dx} ou, de manière plus compacte dfdx\frac{df}{dx}. La nièmen^{ième} dérivée de f(x)f(x) est notée dnfdxn\frac{d^nf}{dx^n}.

  • Le "delta de progression" d'une fonction f(x)f(x) est noté Δf(x)\Delta f(x). Il est défini par Δf(x)=f(x+Δx)f(xΔx)2\begin{equation} \Delta f(x) = \frac{f(x + \Delta x) - f(x - \Delta x)}{2} \end{equation} On notera que, de par la définition de la dérivée, limΔx0Δf(x)Δx=dfdx\begin{equation} \lim_{\Delta x \rightarrow 0} \frac{\Delta f(x)}{\Delta x} = \frac{df}{dx} \end{equation}
  • La dérive partielle par rapport à xix_i, i{0,,n}i \in \{ 0, \ldots, n \} d'une fonction f(x1,...,xn)f(x_1,...,x_n) est notée fxi\frac{\partial f}{\partial x_i}. Pour rappel, xi(uv)(x1,,xn)=uvvxi\begin{equation} \frac{\partial}{\partial x_i}(u \circ v)(x_1, \ldots, x_n) = \frac{\partial u}{\partial v} \cdot \frac{\partial v}{\partial x_i} \end{equation}

    La nièmen^{ième} dérivée partielle de ff par rapport à xix_i est notée nfxin\frac{\partial^n f}{\partial x_i^n}.

  • Le gradient d'une fonction f(x1,,xn)f(x_1, \ldots, x_n) de plusieurs variables (x1,,xn)(x_1, \ldots, x_n) est noté f\nabla f. C'est le vecteur dont les composantes sont les dérivées partielles de la fonction par rapport à ces variables. f=[fx1fxn]\begin{equation} \nabla f = \begin{bmatrix} \frac{\partial f}{\partial x_1} \\ \vdots \\ \frac{\partial f}{\partial x_n} \end{bmatrix} \end{equation}
  • Dans le cadre d'une équation logique, les symboles suivants sont utilisés :
    • ++ pour l'opérateur "OU" (OR)
    • Le point \cdot est l'opérateur "ET" (AND)
    • \oplus pour l'opérateur "OU EXCLUSIF" (XOR)
    • a\bar{a} pour l'opérateur unaire "NON"