O que é o App Builder da OpenMind e como ele funciona?

Openmind A empresa está desenvolvendo ferramentas destinadas a reduzir a complexidade do desenvolvimento de software para máquinas autônomas. No centro desse esforço está o OM1, um sistema operacional de código aberto projetado para robôs e outros dispositivos inteligentes. A empresa costuma descrever o OM1 como uma plataforma de robótica no estilo Android, ou seja, um ambiente de execução compartilhado que abstrai as diferenças de hardware, permitindo que os desenvolvedores se concentrem no comportamento e na lógica.

Recentemente, a OpenMind apresentou o Construtor de aplicativos OpenMind, uma ferramenta de configuração visual em seu portal de desenvolvedores que permite aos desenvolvedores criar, modificar e implantar aplicativos de robôs sem escrever código para tarefas comuns. O anúncio, feito através da conta oficial da empresa no Twitter, foi acompanhado por um breve vídeo demonstrativo mostrando o produto em uso.

Este artigo explica o que é o OpenMind App Builder, como ele funciona em nível técnico e onde se encaixa no ecossistema OM1 em geral.

Qual é a missão mais ampla da OpenMind?

O objetivo da OpenMind é viabilizar máquinas autônomas por meio de padrões compartilhados e software modular. O OM1 é licenciado sob a licença MIT e desenvolvido abertamente no GitHub, onde atraiu milhares de estrelas e contribuições da comunidade. O ambiente de execução foi projetado para suportar uma ampla gama de robôs, incluindo humanoides, quadrúpedes como a série Unitree Go e plataformas móveis de pesquisa como o TurtleBot.

O Empresa apoiada pela Pi Network Ventures A Fabric também é uma das principais colaboradoras da Fabric Foundation, uma organização focada em padrões para coordenação de máquinas autônomas e identidade on-chain. A Fabric promove especificações como a ERC 7777, que define como os comportamentos dos robôs podem ser descritos e trocados. O App Builder se posiciona como uma interface prática sobre esses sistemas subjacentes.

O que é o OpenMind App Builder?

O OpenMind App Builder é uma interface visual de pouco ou nenhum código para configurar o comportamento do robô no OM1. O acesso é feito através do portal de desenvolvedores do OpenMind após a criação de uma conta. Em vez de escrever arquivos de configuração manualmente, os desenvolvedores criam aplicativos montando nós visuais que representam os modos do robô e definindo como esses modos se conectam.

Cada aplicação é representada como um fluxograma. Os nós correspondem a estados comportamentais, como saudação, navegação ou mapeamento. As transições entre os nós definem quando e como o robô alterna entre um comportamento e outro. A configuração resultante é salva e pode ser implantada diretamente em hardware compatível através do portal.

O Construtor de Aplicativos não substitui a programação tradicional. Em vez disso, ele se integra ao sistema de configuração do OM1 e exporta arquivos de configuração estruturados que podem ser estendidos ou modificados no código para casos de uso avançados.

Descubra projetos promissores...

Projetos promissores...

(Propaganda)

O artigo continua...

Conceitos e terminologia básicos

Para entender o App Builder, é necessário estar familiarizado com vários conceitos do OM1.

Modos

Um modo é um estado comportamental discreto. Por exemplo, um robô pode ter um modo de boas-vindas, um modo de navegação e um modo de memória. Cada modo define qual modelo de linguagem é usado, quais sensores estão ativos, quais ações são permitidas e o contexto de fundo disponível.

Nós e transições

No editor visual, cada modo aparece como um nó. As transições são ligações direcionais entre os nós. Uma transição inclui condições que determinam quando o robô passa de um modo para outro. Os desenvolvedores podem especificar que um comando de voz acione uma mudança do comportamento ocioso para a navegação.

Entradas, ações e planos de fundo

As entradas representam sensores ou fontes de dados, como microfones, câmeras ou feeds da web. As ações representam saídas, como comandos de movimento, síntese de voz ou gravações na memória. Os planos de fundo fornecem contexto persistente, como localização GPS ou estado de navegação.

Ganchos de ciclo de vida

Cada modo inclui mecanismos de ciclo de vida, incluindo um prompt do sistema para o modelo de linguagem. Isso permite que os desenvolvedores controlem o comportamento do modelo em um determinado modo usando instruções em linguagem natural armazenadas como parte da configuração.

Como funciona o Construtor de Aplicativos na prática?

O vídeo de demonstração publicado juntamente com o anúncio mostra todo o fluxo de trabalho, do início à implementação.

Selecionando um robô

Quando um desenvolvedor abre o Construtor de Aplicativos, o primeiro passo é selecionar uma máquina na barra lateral. Isso associa a configuração a um perfil de robô específico, incluindo seus sensores e ações suportados. O OM1 fornece abstração de hardware por meio de uma camada dedicada, permitindo que a mesma configuração de alto nível seja reutilizada em máquinas semelhantes.

Modos de construção visualmente

Após selecionar um robô, a tela exibe um fluxograma inicial. Os desenvolvedores podem adicionar novos modos clicando no ícone de mais (+). Cada novo modo abre um painel de edição onde os parâmetros são definidos.

Neste painel, o desenvolvedor seleciona um modelo de linguagem em uma lista suspensa. As opções suportadas incluem diversos modelos comerciais e de código aberto. Em seguida, são adicionadas as entradas, como reconhecimento automático de fala para controle por voz ou imagens de câmeras para visualização. Depois, são escolhidas as ações, como navegação ou saída de voz. Também é possível habilitar planos de fundo, como GPS ou contexto de navegação.

Todas as alterações são salvas imediatamente e a tela é atualizada para refletir a configuração atual.

Definindo transições

Uma vez criados os modos, as transições são definidas arrastando um conector de um nó para outro. Isso abre um editor de regras onde as condições são especificadas. As condições podem fazer referência a entradas, estado interno ou outros sinais. Por exemplo, uma regra de transição pode especificar que um comando de voz reconhecido faça com que o robô saia do modo ocioso e entre em um modo de navegação.

Um recurso de formatação automática reorganiza a tela para manter o fluxograma legível à medida que ele cresce.

desenvolvimento

Após a conclusão da configuração, o desenvolvedor pode implantá-la diretamente da interface. A configuração é carregada no robô por meio do portal OpenMind e aplicada sem a necessidade de transferência manual de arquivos. Para equipes que utilizam o OM1 localmente ou em pipelines de produção, a mesma configuração pode ser implantada usando ferramentas de linha de comando ou fluxos de trabalho em contêineres.

Modelos e componentes suportados

Segundo a OpenMind, o App Builder atualmente suporta mais de seis modelos de linguagem, mais de quarenta entradas, trinta ações e mais de dez contextos de fundo. Esses números refletem o design modular do OM1, onde cada componente é implementado como um plugin.

Os modelos de linguagem podem ser trocados sem a necessidade de reescrever a lógica do aplicativo. Entradas e ações são igualmente intercambiáveis, desde que o hardware subjacente as suporte. Essa abordagem permite que os desenvolvedores experimentem diferentes configurações rapidamente, mantendo uma estrutura consistente.

Integração com OM1 e fluxos de trabalho baseados em código

Embora o App Builder enfatize a configuração visual, ele foi projetado para se integrar à base de código do OM1.

Os desenvolvedores podem exportar configurações como arquivos estruturados e armazená-las em um sistema de controle de versão. Usuários avançados podem criar entradas e ações personalizadas adicionando módulos Python aos diretórios apropriados no repositório OM1. Esses componentes personalizados aparecem então na interface do Construtor de Aplicativos para seleção.

Para implantação em larga escala ou em dispositivos de borda, como o hardware Nvidia Jetson, o OM1 oferece suporte a configurações baseadas em contêineres. O App Builder complementa esses fluxos de trabalho, reduzindo o tempo gasto na configuração inicial e na iteração.

Abstração e portabilidade de hardware

Um dos principais objetivos de design do OM1 é a independência de hardware. O Construtor de Aplicativos reflete isso ao expor apenas comportamentos de alto nível, em vez do controle de motores de baixo nível. Por exemplo, um desenvolvedor pode configurar uma ação de navegação sem especificar como as juntas individuais se movem.

Essa abstração é implementada por meio de uma camada de abstração de hardware que conecta as ações do OM1 a kits de desenvolvimento de software específicos para robôs, como o ROS2 ou APIs de fornecedores. Como resultado, a mesma lógica de aplicação pode ser reutilizada em diferentes robôs com alterações mínimas.

Limitações e Considerações

O Construtor de Aplicativos foi projetado para simplificar tarefas comuns, mas não elimina a necessidade de julgamento técnico.

Algumas plataformas de hardware têm suporte limitado, dependendo da capacidade de processamento. O conjunto completo de recursos está disponível atualmente em sistemas mais recentes baseados em placas Nvidia, enquanto plataformas mais antigas podem exigir algumas adaptações. O núcleo do runtime do OM1 também limita o acesso direto à internet por questões de segurança e confiabilidade, o que afeta a forma como as APIs externas são utilizadas.

Para sistemas de autonomia complexos, espera-se que os desenvolvedores combinem configurações do App Builder com simulação, aprendizado por reforço e testes extensivos. A documentação da OpenMind enfatiza a importância de começar com comportamentos simples e validá-los em ambientes simulados antes de implantá-los em máquinas reais.

Conclusão

O OpenMind App Builder é uma ferramenta de configuração visual que funciona em conjunto com o ambiente de execução OM1 e simplifica a criação e a implantação de aplicações para robôs. Ao representar o comportamento do robô como modos, transições e componentes modulares, ele permite que os desenvolvedores criem aplicações funcionais sem precisar escrever código para cada etapa.

Seu valor reside em reduzir a complexidade da configuração, mantendo a compatibilidade com fluxos de trabalho baseados em código. Para equipes que desenvolvem na plataforma OM1, o App Builder oferece uma maneira estruturada de projetar, testar e implantar o comportamento do robô em diferentes plataformas de hardware. Em vez de substituir o desenvolvimento tradicional, ele serve como uma interface que torna o sistema subjacente mais acessível e fácil de entender.

Fontes:

• Postagem XApresentando o OpenMind App Builder 
• Portal do desenvolvedorCrie aplicativos no OpenMind