COMBINING DEEP LEARNING MODEL COMPRESSION TECHNIQUES
Abstract : In this article, we evaluate the performance ofcombining several model compression techniques. The techni-ques assessed were dark knowledge distillation, pruning, andquantization. We use the classification of chest x-rays as ascenario of experimentation. From this scenario, we found thatthe combination of these three techniques yielded a new modelcapable of aggregating the individual advantages of each one. In the experiments we used a combination of deep modelswith95.05%accuracy, a value higher than that reported insome related works but lower than the state of the art, whoseaccuracy is96.39% The accuracy of the compressed model inturn was90.86%, a small loss compared to the gain obtainedfrom the reduction, in bytes, in relation to the size of the originalmodel.The size has been reduced from841MBto40KB, whichopens up the possibility for using the compressed model in edgecomputing applications.
? A maioria das estratégias de poda deriva doalgoritmo proposto por . Nesse algoritmo, é feito umtreinamento inicial do modelo. Em seguida, cada parâmetroda rede recebe um score, e a rede é podada de acordo comele. Depois, um novo treinamento é realizado para ajustar omodelo (devido à perda de acurácia que pode ocorrer com ouso da poda), o processo de poda e reajuste pode ser repetidovárias vezes
? Os testes iniciais dos modelos propostos foram feitos coma base de dadosChest X-Ray Images(Pneumonia) [12]. Estabase de dados possui três classes: imagens de raio X do tóraxde pessoas saudáveis, de pessoas com pneumonia bacteriana ede pessoas com pneumonia viral
? Observamos, portanto, asvantagens próprias que cada uma destas técnicas isoladamentepossui e verificamos também que seu uso combinado pro-duz uma vantagem cumulativa, abrindo possibilidade para oemprego do modelo comprimido em computação na borda.Por fim, embora os nossos experimentos tenham utilizadosomente a base de dados Chest x-ray images (Pneumonia),a abordagem empregada é genérica o suficiente e tambémpode ser aplicada à outros problemas.
? Em nossos experimentos agrupa-mos as duas classes de pneumonia (bacteriana e viral) em umasó, de modo que o problema passou a ser uma classificaçãobinária
? Existem várias maneiras de realizar a poda em uma redeneural, isto é, diferentes critérios usados para remover ospesos. Alguns métodos podam os parâmetros individualmente(unstructured pruning), essa abordagem cria uma rede neuralesparsa, o que possibilita o uso de recursos de hardware esoftware otimizados para operações com matrizes desse tipo.Outros métodos consideram parâmetros em grupos (structuredpruning), removendo neurônios inteiros, filtros ou canais, essaabordagem equivale a remover blocos inteiros das matrizesde pesos
? We use the classification of chest x-rays as ascenario of experimentation. From this scenario, we found thatthe combination of these three techniques yielded a new modelcapable of aggregating the individual advantages of each one.In the experiments we used a combination of deep modelswith95.05%accuracy, a value higher than that reported insome related works but lower than the state of the art, whoseaccuracy is96.39%.
|