Nota: El siguiente artículo te ayudará con: Este marco de aprendizaje automático colabora con tareas heterogéneas de procesamiento de lenguaje natural a través del aprendizaje federado
Uno de los elementos clave en el éxito significativo de los grandes modelos de aprendizaje automático en varias aplicaciones de procesamiento de lenguaje natural (NLP) es aprender de la enorme cantidad de datos. Sin embargo, las crecientes preocupaciones de privacidad del público y el endurecimiento de las leyes de protección de datos crean barreras entre los propietarios de datos, lo que dificulta (y, a menudo, incluso prohíbe) recopilar y conservar datos privados para entrenar modelos de forma centralizada. Se ha sugerido el aprendizaje federado (FL) para entrenar modelos de forma cooperativa utilizando datos descentralizados de una manera que preserve la privacidad, ganando rápidamente atractivo en la academia y los negocios. FL está motivado por tales preocupaciones de protección de la privacidad.
La metodología descrita por FEDAVG se usa en gran medida en investigaciones anteriores sobre la adopción de aprendizaje federado para aplicaciones NLP: los clientes entrenan el modelo en función de los datos locales por separado y comunican los cambios de su modelo a un servidor para la agregación federada. El uso de un marco FL de este tipo tiene varios inconvenientes para las aplicaciones prácticas de PNL. Primero, solo los participantes con el mismo propósito de aprendizaje pueden inscribirse en un curso de FL para entrenar modelos de forma colaborativa para el aprendizaje federado. En segundo lugar, es posible que el marco no sea adecuado para aquellos que desean mantener privado su propósito de aprendizaje debido a problemas de privacidad o conflictos de intereses. Es necesario lograr un acuerdo sobre los objetivos de aprendizaje entre los participantes de antemano en este marco.
Estas restricciones restringen en gran medida la adopción de FL en las aplicaciones de NLP, ya que el aprendizaje federado tiene como objetivo conectar islas de datos dispares en lugar de simplemente coordinar a los participantes con el mismo objetivo de aprendizaje. El marco FL ASSIGN-THEN-CONTRAST (abreviado como ATC), que permite a los participantes con objetivos de aprendizaje heterogéneos o privados aprender de la información compartida a través del aprendizaje federado, es la solución que sugieren en esta investigación para abordar estas restricciones.
El marco sugerido propone un paradigma de capacitación en dos etapas para los cursos de LE incorporados, que incluye:
(i) ASIGNAR: En esta fase, el servidor entrega a los clientes tareas unificadas para la capacitación local y la difusión de los modelos globales más recientes. Para aprender de los datos locales sin utilizar sus objetivos de aprendizaje, los clientes pueden realizar una capacitación local utilizando las tareas que se les asignan.
(ii) CONTRASTE: para compartir información importante, los clientes optimizan una pérdida de contraste mientras realizan capacitación local según sus objetivos de aprendizaje particulares. Para usar de manera efectiva estas actualizaciones de modelos, el servidor las combina estratégicamente en función de las distancias calculadas entre los clientes. Proporcionan análisis empíricos de una variedad de tareas de comprensión del lenguaje natural (NLU) y creación del lenguaje natural (NLG) en seis conjuntos de datos de uso común, que incluyen categorización de texto, respuesta a preguntas, resumen de texto abstracto y generación de preguntas.
Los hallazgos experimentales muestran qué tan bien funciona ATC para ayudar a los clientes con objetivos de aprendizaje diversos o privados a participar y beneficiarse de un curso de FL. La creación de cursos FL utilizando el marco ATC sugerido da como resultado ganancias notables para los clientes con varios objetivos de aprendizaje en comparación con numerosas metodologías de referencia. Uno puede probar la plataforma en Google Colab. La implementación del código está disponible gratuitamente en GitHub.
