O que é NPU e por que tantos laptops têm esse componente?

NPUs são usados para acelerar inferências

Poucos usuários sabem, mas os laptops modernos estão equipados com NPUs, ou Unidades de Processamento Neural, que aceleram tarefas de inteligência artificial (IA). Esses chips são projetados especificamente para executar operações matemáticas complexas, como multiplicação de matrizes e funções de ativação não lineares, de forma mais eficiente do que CPUs ou GPUs.

Um exemplo é o uso de desfoque de fundo em chamadas de vídeo. Normalmente, essa função é realizada por CPUs ou GPUs, mas isso consome muita energia, gerando calor e consumindo bateria. Um NPU pode realizar a mesma tarefa usando apenas uma fração da energia, permitindo que essas funcionalidades continuem funcionando sem esgotar a bateria ou acionar ventiladores.

Limitações e uso atual dos NPUs

NPUs não são adequados para treinar modelos de IA ou executar grandes LLMs locais. Eles também não são necessários para serviços como ChatGPT, pois esses operam em infraestruturas fornecedoras. Até agora, seu principal uso é em casos de uso sempre online e de baixo consumo de energia, como efeitos de webcams, supressão de ruído, tradução em tempo real e indexação local de buscas.