Google
 
Web www.grundstudium.info
  Home     
    
    Bücher   Links   Impressum

next up previous contents
Nächste Seite: Kernel functions Aufwärts: SVMs (Support Vector Machines) Vorherige Seite: Linear separierbare Probleme   Inhalt

Feature Space

Was aber tun, wenn das Problem nicht linear separierbar ist? Wir betten das Problem in einen hochdimensionalen Feature-Space ein. Dies tun wir mit einer Funktion $\phi$:

\begin{displaymath}\phi:G\rightarrow F\end{displaymath}


\begin{displaymath}\phi:\mathbb{R}^{N}\rightarrow \mathbb{R}^{M}\end{displaymath}

Die Dimension $M$ des Feature Space ist sehr hoch:

\begin{displaymath}M=\frac{(N+d-1)!}{d!(N-1)!}\end{displaymath}

wobei $d$ die Ordnung und $N$ die Dimension des Eingangsraumes. Bei $d=5$ und $N=256$ beispielsweise $M\approx 10^{10}$.

Problem ist nun, dass wir die großen Skalarprodukte, die nun entstehen gar nicht berechnen können:

\begin{displaymath}D(\vec{\alpha})=\sum^{l}_{i=1}\alpha_{i}-\frac{1}{2}\sum^{l}_... ...phi(\vec{x}_{i})\cdot\phi(\vec{x}_{j})}_{\mbox{Skalarprodukt}})\end{displaymath}


\begin{displaymath}f(\vec{z})=sgn\left(\sum^{l}_{i=1}\alpha_{i}y_{i}(\underbrace... ...ec{z})\cdot\phi(\vec{x}_{i})}_{\mbox{Skalarprodukt}})+b \right)\end{displaymath}