Escudo de la República de Colombia
Sistema Nacional de Biliotecas - Repositorio Institucional Universidad Nacional de Colombia Biblioteca Digital - Repositorio Institucional UN Sistema Nacional de Bibliotecas UN

Kernel-based Enhancement of General Stochastic Network for Supervised Learning

Collazos Huertas, Diego Fabián (2016) Kernel-based Enhancement of General Stochastic Network for Supervised Learning. Maestría thesis, Universidad Nacional de Colombia - Sede Manizales.

Texto completo

[img]
Vista previa
PDF - Versión Aceptada
Available under License Creative Commons Attribution Non-commercial No Derivatives.

2MB

Resumen

En los últimos años, han tenido lugar avances significativos en el análisis de datos de alta dimensión que permiten soportar una amplia cantidad de aplicaciones en sistemas de aprendizaje automático y procesamiento de señales entre otros. Sin embargo, es difícil de interpretar la información disponible debido a su complejidad y a la gran cantidad de características obtenidas. Los algoritmos de Aprendizaje Profundo o Deep Learning surgen como una herramienta que se ocupa de este tipo de problemas mediante la extracción de representaciones (abstracciones) a partir de los datos. Las redes neuronales artificiales basadas en algoritmos de aprendizaje profundo, es decir, las Redes Neuronales Profundas o Deep Neural Networks (DNN) emplean un enfoque de jerarquía de característica que aumenta la complejidad y la abstracción. Lo anterior hace a las DNNs capaces de manejar conjuntos de datos muy grandes, de alta dimensión con miles de millones de parámetros que pasan a través de funciones no lineales. Además, esto proporciona una mejor representación de los datos, lo que permite un aprendizaje más rápido y una clasificación más precisa. Sin embargo, las DNNs, así como la mayoría de las redes neuronales artificiales, siguen siendo vulnerables a sufrir un over-fitting o exceso de ajuste. Con respecto a esto, las funciones Kernel aparecen como un enfoque alternativo que, en primer lugar, ayuda al análisis de datos de alta dimensión permitiendo mejorar la representación y la interpretación de los datos para el apoyo a sistemas de procesamiento de señales y de aprendizaje automático. Por otra parte, los métodos basados en Kernel desarrollan soluciones que ofrecen mejores resultados mediante la adaptación del Kernel a un problema dado, el cual, permite combatir el problema de over-fitting presente en la etapa de aprendizaje de las redes neuronales profundas. En este estudio, proponemos un marco de representación de datos basado en funciones Kernel para mejorar el rendimiento de una especie de red neuronal profunda, llamada Red Estocástica General o Red Estocástica Generativa de aprendizaje supervisado. En concreto, el marco propuesto se divide en dos metodologías basadas en Kernel, que tienen por objeto mejorar el ajuste de parámetros de la red de acuerdo con las relaciones entre los datos. En primer lugar, se desarrolla un criterio de selección automática de la arquitectura de la red basado en funciones Kernel, que permita cuantificar el tamaño óptimo de la capa preservando la información de conjunta entrada-salida. Por lo tanto, el tamaño de la capa oculta resultante se destaca con el objetivo de favorecer el aprendizaje de las etapas de entrenamiento en la clasificación y tareas de reconocimiento de objetos. Este enfoque llamado Joint Spectrum permite la explotación de la similitud de datos conjunta para un conjunto de muestras de entrada dado. En segundo lugar, se introduce un enfoque pre-entrenamiento supervisado de la red que resalta la relación entre los estados ocultos y la información objetivo. Por lo tanto, se introduce un enfoque pre-entrenamiento supervisado basado en una función Kernel CKA para aprender una matriz de proyección, la cual codifica la información discriminante de los datos para obtener una representación oculta adecuada. Por lo tanto, buscamos un método de pre-entrenamiento que capta las variaciones principales de la distribución de entrada para apoyar la etapa de aprendizaje. Por último, una red estocástica generativa mejorada fue desarrollada para apoyar las tareas de aprendizaje supervisado. La propuesta considera las dos estrategias de sintonización de parámetros de la red basadas en funciones Kernel antes mencionadas, explotando sus principales propiedades. La red resultante destaca dependencias de los datos relevantes y el conocimiento previo del usuario (información supervisada). Por lo tanto, se construye una red generalizable capaz de capturar una gran cantidad de información a partir de la distribución de datos de entrada y codificar patrones discriminantes. A lo largo de este estudio, el mejoramiento de red propuesto usando un marco basado en el Kernel se aplica a los datos de imagen como una alternativa para apoyar los sistemas de clasificación y análisis de objetos basado en la imagen. De hecho, el marco basado en funciones Kernel introducido mejora, en la mayoría de los casos, el rendimiento en tareas de aprendizaje supervisado, apoyando el análisis de una gran cantidad de datos utilizando arquitecturas de aprendizaje profundo, Abstract : In recent years, significant developments have been taking place in high-dimensional data analysis allowing to support a wide amount of applications in machine learning systems and signal processing among others. However, it is difficult to interpret the available information due to its complexity and a large amount of obtained features. Deep learning algorithms arise as a tool that deals this kind of issue by the extraction of representations (abstractions) from the data. Artificial neural networks based on deep learning algorithms, i.e., Deep Neural Networks (DNN) employ a feature hierarchy approach that increases complexity and abstraction. It makes DNN capable of handling very large, high-dimensional data sets with billions of parameters that pass through nonlinear functions. Besides, this provides a better representation, allowing faster learning and more accurate classification. However, DNNs as well as most of the artificial neural networks, are still vulnerable to Over-fitting. With respect to this, kernel functions appear as an alternative approach that in the first place, helps to high dimensional data analysis allowing enhancing representation and data interpretation, for supporting signal processing and machine learning systems. Moreover, kernel-based methods develop better-performing solutions by adapting the kernel to a given problem, which, allows dealing with over-fitting problem present in deep neural networks learning stage. In this study, we propose a data representation framework based on kernel functions to enhance the performance of a kind of Deep Neural Networks, called General Stochastic Networks in supervised learning systems. Namely, the proposed framework is divided in two kernel-based methodologies, which aim to enhance network parameter setting according to data relationships. First, we develop an automatic architecture selection criterion based on kernel functions, that allows quantifying the optimal layer size preserving the joint input-output information. Thus, resulting hidden layer size are highlighted aiming to favor learning training stages in classification and object recognition tasks. This approach named Joint spectrum allows exploiting the joint data similarity for a given input sample set. Second, we introduce a supervised network Pre-training approach that highlights the relationship between hidden states and target information. Thus, a supervised pre-training approach based on a CKA-based function is introduced to learn a projection matrix, which encodes discriminate information from data to get a suitably hidden representation. So, we seek a pre-training method that captures main variations from the input distribution to support learning stage. Finally, an enhanced General Stochastic Network was developed to support supervised learning tasks. The proposal considers two strategies network parameter setting based on kernel functions, above mentioned, exploiting its main properties. The resulting network highlights relevant data dependencies and the user prior knowledge (supervised information). Thus, a generalizable network able to capture a lot of information from input data distribution and encode discriminant patterns is built. Along this study, the proposed network improvement using a kernel-based framework is applied to image data as an alternative to support classification systems and image-based object analysis. In fact, the introduced kernel-based framework improve, in most of the cases, supervised learning performances, supporting the analysis of a large amount of data using deep learning architectures

Tipo de documento:Tesis/trabajos de grado - Thesis (Maestría)
Colaborador / Asesor:Castellanos Domínguez, César Germán and Álvarez Meza, Andrés Marino
Información adicional:Disertación presentada como requisito parcial para recibir el grado de: Maestría en Ingeniería - Automatización Industrial. -- Solicitud de Tesis Meritoria.
Palabras clave:Red estocástica general, Aprendizaje basado en Kernel, Selección de la arquitectura, Pre-entrenamiento de la red, Aprendizaje supervisado, General stochastic network, Kernel-based learning, Architecture selection, Network pre-training, Supervised learning
Temática:0 Generalidades / Computer science, information & general works
6 Tecnología (ciencias aplicadas) / Technology > 62 Ingeniería y operaciones afines / Engineering
Unidad administrativa:Sede Manizales > Facultad de Ingeniería y Arquitectura > Departamento de Ingeniería Eléctrica, Electrónica y Computación > Ingeniería Electrónica
Código ID:52406
Enviado por : Diego Fabian Collazos Huertas
Enviado el día :13 Junio 2016 16:18
Ultima modificación:13 Junio 2016 16:18
Ultima modificación:13 Junio 2016 16:18
Exportar:Clic aquí
Estadísticas:Clic aquí
Compartir:

Solamente administradores del repositorio: página de control del ítem

Vicerrectoría de Investigación: Número uno en investigación
Indexado por:
Indexado por Scholar Google WorldCat DRIVER Registry of Open Access Repositories OpenDOAR Metabiblioteca BDCOL OAIster Red de repositorios latinoamericanos DSpace BASE Open archives La referencia Colombiae Open Access Theses and Dissertations Tesis latinoamericanas CLACSO
Este sitio web se ve mejor en Firefox