Engine

Em "Engine" é possível gerenciar os Engines, adicionar storages externos e configurar jobs.

Se você não possui um Engine, é possível solicitar através do botão "Solicitar agora".

Como acessar

1. Você pode acessar de diferentes formas:

• Clicando em "Transforme seus dados" na Studio Home

• Ou acessando diretamente o menu Data Lake

1. Em seguida, clique em "Engine", dentro da seção Data Management.

2. Ao acessar o menu, a seguinte tela será exibida:

Sendo que:

Informações básicas

No primeiro bloco, você pode ler o nome do Engine e a descrição (se houver).

Métricas

Acompanhe as métricas do Engine:

• Memória: porcentagem do consumo de memória da máquina;

• Disco: porcentagem do disco utilizado;

• CPU: porcentagem de CPU utilizada. Este valor pode variar bastante.

• Memória total: quantidade de memória contratada;

• Disco total: quantidade de disco contratado;

• CPU cores: quantidade de núcleos contratados;

• Ver processos: caso tenha algum processo sendo executado (ex.: SQL) ele será mostrado na seguinte listagem: Além disso, também é possível cancelar algum processo.

Armazenamentos externos

Você pode verificar todos os armazenamentos externos cadastrados no Data Engine. Além disso, é possível criar, editar e excluir um armazenamento.

Criar armazenamento externo

Para criar um armazenamento externo, siga os seguintes passos:

1. Clique em "Criar novo armazenamento externo".

2. Escolha o tipo de armazenamento e preencha os campos de acordo com o tipo escolhido. Os tipos de armazenamento são:

AWS S3

Para criar um novo armazenamento externo do tipo AWS S3, preencha os seguintes campos:

• Nome do armazenamento: digite um nome para identificar o armazenamento;

• ID da chave de acesso: insira o ID da chave de acesso da AWS;

• Chave acesso secreta: insira a chave de acesso secreta da AWS;

• Região do armazenamento: selecione a região onde seu bucket S3 está localizado;

• Endpoint (não obrigatório): endpoint customizado para leitura do arquivo dentro do Data Studio.

• Storage URL(não obrigatório): url do storage customizada para conexão com o S3.

Google Cloud Storage

Para criar um novo armazenamento externo do tipo Google Cloud Storage, preencha os seguintes campos:

• Nome do armazenamento: digite um nome para identificar o armazenamento;

• ID da chave de acesso: id de acesso gerado pelo HMAC Key, utilizado na leitura dos arquivos.
• Chave acesso secreta: chave de acesso gerado pelo HMAC Key, utilizado na leitura dos arquivos.
• Service Account: insira a conta de serviço associada

Azure

Para criar um novo armazenamento externo do tipo Azure, preencha os seguintes campos:

• Nome do armazenamento: digite um nome para identificar o armazenamento;

• Tipo de serviço: escolha o tipo de serviço Blob Storage ou Data Lake Storage;

• String de conexão: insira a string de conexão do Azure.

Custom Storage

Para criar um novo armazenamento externo do tipo Custom Storage, preencha os seguintes campos:

• Nome do armazenamento: digite um nome para identificar o armazenamento;

• ID da chave de acesso: insira o ID da chave de acesso;

• Chave acesso secreta: insira a chave de acesso secreta;

• Região do armazenamento: insira a região onde o armazenamento está localizado;

• Endpoint: endpoint utilizado para leitura dos arquivos dentro do Data Studio .

• Storage URL: url do storage utilizada para autenticação .

ℹ️ Armazenamentos externos testados: localstack e clouds2africa.

1. Para finalizar, clique em "Criar".

Editar armazenamento externo

Para editar um armazenamento externo, siga os seguintes passos:

1. Na lista de armazenamento, clique em "Editar" (ícone de lápis) no item que você deseja modificar.

2. Faça as alterações desejadas.

Não é possível alterar o tipo de armazenamento e o nome.

1. Para finalizar, clique em "Salvar alterações".

Excluir armazenamento externo

Para excluir um armazenamento externo, siga os seguintes passos:

1. Na lista de armazenamento, clique em "Excluir" (ícone de lixeira) no item que você deseja deletar.

2. Na janela modal apresentada você deve confirmar a exclusão do armazenamento externo digitando o nome do armazenamento e, em seguida, clicando em "Excluir".

Não é possível desfazer a ação.

Também é possível excluir um armazenamento externo através da opção "Editar".

Consumidores de dados

Ao criar um “template de arquivo”, é preciso configurar quais usuários terão acesso ao endpoint. Esses usuários são chamados de "Consumidores de dados".

Acompanhe, a seguir, como criar, editar e excluir um consumidor de dados:

Criar consumidor

Para criar um consumidor de dados, siga os seguintes passos:

1. Clique em "Criar consumidor"

2. Observe que o usuário será nomedousuário@nomedaengine . Adicione o nome do usuário.

3. Por padrão, o tipo de autenticação é o "Básico".

4. Adicione uma senha.

5. Para finalizar, clique em "Salvar usuário".

Pronto! O consumidor de dados foi criado!

Editar consumidor

Para editar um consumidor de dados, siga os seguintes passos:

1. Em "Consumidores de Dados", clique em "Editar" (ícone de lápis) no nome que você deseja modificar.

2. Faça as alterações desejadas.

Não é possível modificar o nome do usuário.

1. Para finalizar, clique em "Salvar alterações".

Excluir consumidor

Para excluir um consumidor de dados, siga os seguintes passos:

1. Em "Consumidores de Dados", clique em "Excluir" (ícone de lixeira) no nome que você deseja excluir.

2. Na janela modal apresentada você deve confirmar a exclusão do usuário digitando o nome do usuário e, em seguida, clicando em "Excluir".

Não é possível desfazer a ação.

Também é possível excluir um usuário através da opção "Editar".

ODBC

ODBC (Open Database Connectivity) é um padrão para acesso a sistemas gerenciadores de bancos de dados (SGBD). Ele permite que aplicativos acessem diferentes bancos de dados de forma consistente e padronizada.

Pré requisitos para conexão ODBC

Para estabelecer a conexão ODBC, certifique-se de que os seguintes requisitos estão atendidos:

1. As informações do banco de dados devem estar disponíveis. Caso o banco ainda não exista, ele pode ser criado pelo Skyone Studio.

2. O usuário deve pertencer ao mesmo grupo do banco de dados que deseja acessar.

3. O IP utilizado na conexão deve estar liberado na Whitelist.

Ao acessar o ODBC, há duas áreas: Usuários e Whitelist.

A seguir, detalhamos cada uma delas.

Usuários

A seção de “Usuários” permite gerenciar as conexões entre o banco de dados e o Skyone Studio. Ao acessar esta área, você encontra:

• Listagem de Usuários: Visualize todos os usuários cadastrados.

• Busca: Utilize a barra de busca para localizar um consumidor de dados específico.

• Seleção: Selecione um ou mais usuários para exclusão simultânea.

• Edição e Exclusão: Edite ou exclua cada usuário individualmente.

Criar consumidor

Clique em "Criar consumidor” e preencha os seguintes campos:

• Usuário: Escolha o nome de usuário.

• Senha: Defina uma senha.

• Grupos: Selecione um ou mais grupos. Por padrão, o usuário tem acesso ao grupo “Default”.

Tela para adição de usuário

Para finalizar, clique em "Salvar usuário”.

O usuário deve pertencer ao mesmo grupo do banco de dados que deseja acessar. Leia mais sobre Grupos.

Whitelist

A seção de “Whitelist” gerencia as permissões de acesso por endereço IP. Ao acessar esta área, você encontra:

• Listagem de Whitelists: Visualize todas as entradas cadastradas, incluindo nome, endereço IP e status.

• Ativação/Desativação: Ative ou desative individualmente as conexões de uma whitelist.

• Edição e Exclusão: Edite ou exclua cada whitelist de forma independente.

Criar whitelist

Para criar uma whitelist, você deve preencher os seguintes campos:

• Nome: Informe o nome da whitelist.

• Endereço IP: Insira o endereço IP que terá permissão de acesso.

• Status: Defina o status da conexão.

Tela para criação de uma whitelist

Para finalizar, clique em "Salvar”.

O IP pode ser obtido na mensagem de erro. Leia mais.

Utilização com Power BI

Requisitos:

Antes de utilizar o ODBC com o Power BI, siga os passos abaixo:

1. Instale o driver PostgreSQL.

2. Configure o drive, preenchendo os campos necessários.

Passos para conectar:

1. Clique em “Obter Dados” no Power BI.

2. Procure por “ODBC”.

3. Escolha o banco de dados previamente configurado e clique em “OK”.

4. No primeiro acesso, insira a senha.

5. Acesse o navegador do Power BI e conecte-se utilizando a opção adequada.

Opção alternativa: Uso de SQL

1. No Power BI, clique em “Obter Dados”

2. Procure por “ODBC”.

3. Escolha o banco de dados previamente configurado.

4. Clique em “Opções Avançadas” e insira o comando SQL para buscar os dados.

5. Clique em “OK” para visualizar as informações obtidas.

Gerenciando erros de conexão de IP

1. Erro de conexão devido ao IP

Se ocorrer um erro de conexão devido ao IP, siga estas instruções:

1. Verifique a mensagem de erro exibida, que indicará o IP utilizado na tentativa de conexão.

2. Copie esse IP informado.

3. Adicione o IP à Whitelist para liberar o acesso.

Adicionar o IP à Whitelist não libera os recursos automaticamente. Essa ação apenas habilita o acesso às informações necessárias para estabelecer a conexão.

2. Como descobrir o IP

Caso não saiba o IP, siga estas etapas:

1. Tente realizar a conexão ODBC.

2. Na mensagem de erro gerada, localize o IP utilizado na tentativa de conexão.

3. Adicione o IP identificado à Whitelist.