Hoje, na GTC Taipei e na Computex, a NVIDIA Corp. revelou diversas habilidades e ferramentas-de IA física de código aberto para ajudar desenvolvedores de robótica, veículos autônomos, IA visual e gêmeos digitais industriais. A empresa afirmou que eles podem ajudar a reduzir os custos, o tempo e a complexidade da construção de fluxos de trabalho físicos de IA em grande escala.
Disponível como parte doKit de ferramentas do agente NVIDIA, as novas habilidades permitirão que os agentes de IA acelerem a geração de dados, simulação, treinamento, avaliação e pipelines de implantação por trás de robôs, veículos autônomos (AVs), fábricas e laboratórios, disse a empresa.
“Os agentes de IA estão revolucionando o desenvolvimento de software, e essa mudança está chegando agora à IA física, estendendo-se aos sistemas que transformarão o transporte, a fabricação, a saúde e a robótica”, disse Jensen Huang, fundador e CEO da NVIDIA, no GTC Taipei. “Quando os agentes puderem usar diretamente as bibliotecas, modelos e estruturas da NVIDIA, o desenvolvimento físico da IA será mais rápido, permitindo que os desenvolvedores construam robôs, veículos autônomos e sistemas industriais do futuro em um ritmo incrível.”
“A IA física requer grandes quantidades de dados de treinamento em diversos ambientes”, observou Rev Lebaredian, vice-presidente de simulação de IA física da NVIDIA. "Dados de teleoperação, simulação e escala de internet- levam a modelos de base mundial para uma diversidade infinita de casos de uso."
NVIDIA prepara agente de pilha de IA física-
A NVIDIA disse que está otimizando toda a sua pilha física de IA para agentes, transformando bibliotecas, modelos e estruturas em ferramentas que podem ser chamadas por agentes.{0}}. Isso inclui:
Cosmos NVIDIA3 modelos de base mundial para raciocínio e geração do mundo físico
NVIDIA Omniversobibliotecas para simulação e gêmeos digitais
NVIDIA Isaacpara simulação robótica e aprendizagem de robôs
Metrópole NVIDIApara IA de visão
NVIDIA Alpamayoparacondução autônoma
NVIDIA Jetsonplataforma para desenvolvimento de IA de ponta
“Cosmos 3 é o modelo de base de fronteira para IA física”, disse Lebaredian. "Ele entende vídeos e textos e pode sinalizar o que importa. O Cosmos é uma simulação fisicamente precisa e é capaz de prever o que acontece a seguir e gerar ações."
Para ajudar a aplicar essas ferramentas, a NVIDIA está lançandonovas habilidadespara transformar processos físicos de desenvolvimento de IA em instruções repetíveis que os agentes de codificação podem seguir. Isso inclui quais ferramentas chamar, quais resultados produzir e como os desenvolvedores podem validar os resultados.
Os desenvolvedores também podem construir e implantar agentes autônomos com segurança usando essas habilidades com oNVIDIA NemoClawprojeto e oNVIDIA OpenShellruntime, que fornece segurança-baseada em políticas e governança de privacidade em hardware local ou em nuvem. Os agentes funcionarão no limite no Jetson e já demonstraram melhorias no tempo de atividade, disse Lebaredian.
A NVIDIA afirmou que suas habilidades e ferramentas físicas de IA estão acelerando o desenvolvimento da agência em:
Robótica e IA de ponta:Os desenvolvedores de robôs podem usar habilidades para acelerar todo o pipeline de desenvolvimento robótico, desde a geração de dados de treinamento de percepção e mobilidade até a simulação, automatizando o treinamento de navegação, avançando no aprendizado do robô e ajustando sistemas de borda-baseados em Jetson para implantação.
Veículos autônomos:Para desenvolvedores de AV, as habilidades podem direcionar os agentes para reconstruir dados capturados por frotas em ambientes de simulação, gerar cenários de direção fotorrealistas em escala e executar aprendizado de reforço de circuito-fechado para expandir a cobertura de treinamento e avaliação.
Agentes-de IA de visão em tempo real:Para inspeção automatizada e inteligência de vídeo, a NVIDIA disse que as habilidades de seus agentes podem ajudar as equipes a gerar dados de treinamento sintéticos, ajustar-modelos, automatizar a rotulagem e criar agentes de IA de vídeo que pesquisam, resumem e analisam vídeos ao vivo ou gravados.
IA industrial:Os desenvolvedores de software industrial podem usar essas habilidades para converter dados de engenharia em ativos de-design auxiliado por computador (CAD) para simulação de gêmeos digitais, otimizando grandes cenas OpenUSD com menos configuração manual.
Assistência médica:Antes de implantar a automação em ambientes clínicos, as equipes de saúde podem orientar os agentes na criação de gêmeos digitais de ambientes hospitalares, geração de dados-simulados-reais e testes de política de software-no--loop.
As habilidades podem ser combinadas e integradas em sistemas agentes maiores, de acordo com a NVIDIA. Isso permite que os desenvolvedores orquestrem e automatizem fluxos de trabalho complexos, como geração de dados, simulação, otimização, ajuste de inferência, avaliação contínua e muito mais.
Desenvolvedores de robótica adotam pilha física de IA
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI e Universal Robots estão entre as empresas de robótica que já usam a pilha de IA física-pronta para agente da NVIDIA.
"Com as atualizações de pilha no NVIDIA Isaac GR00T, novos fluxos de trabalho-de ponta a-podem ser configurados em horas, em vez de semanas", disse Lebaredian. "'Omni-modal' significa que funciona com diferentes modos - vídeo, sensores, texto e som para entradas e saídas de ação."
Além disso, a Foxconn e a Compal estão usando o NVIDIA Isaac for Healthcare para acelerar a robótica hospitalar. A Compal está avançando no processo de desenvolvimento de seu robô PolyMedX em direção a uma plataforma de orquestração-em todo o hospital, integrando simulação, IA e operações do mundo-real.
A Foxconn está ampliando o Nurabot em vários hospitais e{0}}ambientes de cuidados de longo prazo, trazendo a robótica{1}}com tecnologia de IA para o atendimento ao paciente, além de apresentar seu novo robô colaborativo para enfermeiras auxiliares para ajudar a otimizar os fluxos de trabalho da sala de cirurgia.
Líderes do setor constroem com tecnologias NVIDIA
Parceiros e clientes da NVIDIA nos setores de manufatura, transporte, saúde e software industrial estão usando suas bibliotecas físicas de IA para avançar no desenvolvimento de sistemas autônomos e IA industrial.
À medida que essas bibliotecas ficam prontas para agentes-, os desenvolvedores podem usar as habilidades da NVIDIA para ajudar os agentes a automatizar a configuração, a execução e a iteração em fluxos de trabalho de IA físicos complexos.
Na fabricação de eletrônicos, a TSMC e a Pegatron estão-ajustando modelos de inspeção visual. A Pegatron supostamente reduziu o tempo de treinamento e implantação do modelo em 67% usando dados sintéticos gerados a partir da habilidade de geração de imagens de defeitos.
A Delta Electronics gerou dados sintéticos de defeitos e usou a habilidade para detectar excesso de solda em barramentos metálicos, melhorando a taxa de detecção em 17%. A Inventec desenvolveu seu pipeline de inspeção visual de Agente de Observação integrando a habilidade de geração de imagens de defeitos, reduzindo em 30% o esforço de coleta de dados de defeitos para fabricação de chassis de laptop.
A Foxconn, trabalhando com a DeepHow, usou a habilidade para melhorar a eficiência da fabricação detectando erros antecipadamente, aumentando o rendimento da primeira passagem em cerca de 3%.
Na IA industrial, Cadence, Dassault Systèmes, Siemens e Synopsys estão usando bibliotecas e habilidades NVIDIA Omniverse para inspeção de dados de engenharia, simulação e gêmeos digitais interativos. PTC, MetAI e Lightwheel estão aproveitando a estrutura NVIDIA Isaac Sim e fluxos de trabalho baseados em OpenUSD-para transformar dados CAD em ativos e ambientes-prontos para simulação.
Como parte de seu roteiro “Autonomous Fab 2030”, a SK hynix está implementando gêmeos digitais fab de semicondutores usando NVIDIA Omniverse. A fabricante de chips também está colaborando com a NVIDIA e a SK Telecom para validar o NVIDIA Agent Toolkit para fabricação de IA física-específica.
Os-desenvolvedores autônomos Li Auto, Afari e DeepRoute.ai estão usando modelos NVIDIA Omniverse NuRec para reconstrução e renderização de cenas neurais. Eles geraram mais de 1.000 reconstruções e mais de 300.000 renderizações e simulações por dia.
Além disso, as empresas AV estão a utilizar o novo repositório de competências dos agentes para acelerar e melhorar o desenvolvimento de sistemas de condução autónoma mais seguros e mais capazes. Foxconn, VinFast, Uber e HUMAIN juntaram-se ao ecossistema NVIDIA DRIVE Hyperion para desenvolver e implantar robotáxis SAE Nível 4.
O Alpamayo 2 Super já foi baixado mais de 500 mil vezes e foi eleito a “Melhor Tecnologia” da Computex, disse Spencer Huang, diretor de produto para robótica da NVIDIA.
Ferramentas de agente físico de IA já estão disponíveis
A NVIDIA disse que suas ferramentas e habilidades de agentes físicos de IA estão disponíveis atravésGitHubehabilidades.shpara uso com qualquer agente de codificação.
Habilidades e ferramentas do agente para geração de dados sintéticos -Reconstrução Neural, Aumento de vídeo, Geração de imagem de defeito- também estão disponíveis no NVIDIA Brev comoLançamentos físicos de IA, ambientes pré-configurados que reúnem habilidades e ferramentas do agente para geração e avaliação mais rápidas de dados sintéticos.
Microsoft,CoreWeave, eNébioestão integrando essas habilidades e ferramentas dos agentes com seus serviços em nuvem para permitir que os desenvolvedores simplifiquem e dimensionem a geração e implantação de dados sintéticos.
Humanóide Unitree a referência para NVIDIA Isaac GR00T
A NVIDIA também anunciou o robô humanóide de referência NVIDIA Isaac GR00T, um design de referência de robô humanóide aberto construído no NVIDIA Jetson Thor e na plataforma de desenvolvimento NVIDIA Isaac GR00T. A empresa disse que isso ajudará a democratizar o acesso a hardware e software avançados sem exigir plataformas proprietárias caras, pois o interesse emHumanóides-de uso geralaumenta.
A NVIDIA combinou um-corpo de robô em tamanho real com manipulação hábil, detecção, controle e computação de IA integrada:
Chassi humanóide Unitree H2,medindo quase 1,8 m (6 pés) de altura e pesando 68 kg (150 lb), com 31 graus de liberdade para testes em escala-humana.
DualOnda Sharpamãos táteis com cinco-dedos,permitindo uma manipulação hábil com 22 graus de liberdade e levando o robô a 75 graus de liberdade em todo o corpo e mãos.
Detecção de-visualização múltipla,incluindo uma câmera estéreo-montada na cabeça com amplo campo de visão (140 graus na horizontal, 102 graus na vertical), câmeras de pulso para manipulação-a curta distância e uma unidade de medição de inércia para rastreamento de movimento.
Controle-de todo o corpo,com torque no braço de até 120 Newton-metros, torque nas pernas de até 360 Newton-metros, carga útil nominal do braço de 7 kg (15,4 lb.) e carga útil máxima de 15 kg (33 lb.), proporcionando levantamento e alcance mais capazes.
Computação integrada NVIDIA Jetson AGX Thor T5000,apresentando uma GPU NVIDIA Blackwell com 2.070 teraflops FP4 de desempenho de IA, uma CPU Arm de 14{7}}núcleos, 128 GB de memória unificada e uma faixa de potência configurável de 40 a 130 watts para processamento de sensores em tempo real e inferência de robôs.
Conectividadeatravés de Ethernet, Wi-Fi 6, Bluetooth 5.2, USB e uma variedade de microfones e alto-falantes para interação por voz.
Bateria para operação prolongada,com 15Ah, capacidade de 0,972 kWh e cerca de três horas de vida.
Na-parada de emergência remotafunção para desengatar rapidamente o robô com segurança.
A plataforma Isaac GR00T inclui:
NVIDIA Isaac Teleoppara capturar dados de demonstração de robôs de alta{0}}qualidade para treinamento e desenvolvimento de políticas.
Modelos de base aberta NVIDIA Isaac GR00Tpara apoiar o raciocínio humanóide, aprendizagem e comportamento multitarefa.
NVIDIA Isaac Sim eLaboratório Isaacpara simular, treinar, testar e avaliar políticas de robôs antes da implantação-real.
Middleware NVIDIA Isaac ROS aceleradopara mover políticas treinadas para robôs.
NVIDIA Jetson Thorpara executar inferência e controle-de robôs em-tempo real.
O sistema foi projetado para ser modular, para que as equipes de robótica possam usar a plataforma completa ou integrar recursos selecionados em pipelines de desenvolvimento existentes, ajudando-as a dimensionar o desenvolvimento humanóide sem reconstruir a mesma infraestrutura para cada robô ou tarefa.
As principais instituições de pesquisa, incluindo Ai2, ETH Zurich, Stanford Robotics Center e o Laboratório Avançado de Robótica e Controles da UC San Diego, planejam usar este projeto de referência para avançar na pesquisa em robótica humanóide.
"Para progredir em direção aos robôs{0}de uso geral, os pesquisadores precisam de plataformas que sejam capazes e amplamente acessíveis", disse Deepak Pathak, co-fundador e CEO da Skild AI. "Um projeto de referência permite que mais pesquisadores participem de pesquisas humanóides de ponta e passem de ideias a experimentos com mais rapidez. Isso ajuda a impulsionar todo o ecossistema de pesquisa robótica."