O que é migração de dados?

A migração de dados é o processo de mover dados de um local para outro, de um formato para outro ou de um aplicativo para outro. Geralmente, isso é o resultado da introdução de um novo sistema ou local para os dados. O driver de negócios geralmente é uma migração ou consolidação de aplicativos em que os sistemas legados são substituídos ou aumentados por novos aplicativos que compartilharão o mesmo conjunto de dados. Atualmente, as migrações de dados geralmente são iniciadas à medida que as empresas migram de aplicações e infraestrutura no local para storage baseado na nuvem e aplicativos para otimizar ou transformar sua empresa.

A resposta curta é "gravidade de dados". Embora o conceito de gravidade de dados exista há algum tempo, o desafio está se tornando mais significativo devido às migrações de dados para infraestruturas em nuvem. Em resumo, a gravidade dos dados é uma metáfora que descreve:

• Como os dados atraem outros dados à medida que eles crescem
• Como os dados são integrados a uma empresa
• Como os dados se tornam personalizados ao longo do tempo

Ao dedicar tempo ao início do projeto para classificar complexidades de dados e aplicativos, as empresas podem melhorar o gerenciamento de dados, permitir mobilidade de aplicativos e aprimorar a governança de dados.

A principal questão é que cada aplicativo complica o gerenciamento de dados, introduzindo elementos da lógica da aplicação no nível de gerenciamento de dados, e cada um fica indiferente ao próximo caso de uso de dados. Os processos de negócios usam dados isoladamente e depois produzem seus próprios formatos, deixando a integração para o próximo processo. Portanto, o design de aplicativos, a arquitetura de dados e os processos de negócios devem responder uns aos outros, mas muitas vezes um desses grupos é incapaz ou não está disposto a mudar. Isso força os administradores de aplicativos a evitar fluxos de trabalho ideais e simples, resultando em designs subideais. E, embora a solução alternativa possa ter sido necessária na altura, esta dívida técnica deve eventualmente ser resolvida durante a migração de dados ou projetos de integração.

Dada essa complexidade, considere promover a migração de dados para o status de "arma estratégica" para que ela obtenha o nível certo de conscientização e recursos. Para garantir que o projeto receba a atenção de que precisa, concentre-se no elemento mais provocante da migração – o fato de que o sistema legado será desligado – e você terá a atenção dos principais stakeholders, garantido.

Há inúmeras vantagens comerciais na atualização de sistemas ou na extensão de um data center para a nuvem. Para muitas empresas, esta é uma evolução muito natural. As empresas que usam a nuvem esperam que possam concentrar sua equipe nas prioridades de negócios, impulsionar o crescimento da linha de topo, aumentar a agilidade, reduzir as despesas de capital e pagar apenas pelo que precisam sob demanda. No entanto, o tipo de migração empreendida determinará quanto tempo a equipe de TI pode ser liberada para trabalhar em outros projetos.

Primeiro, vamos definir os tipos de migração:

• Migração de storage. O processo de mover dados de arrays existentes para os mais modernos permite que outros sistemas os acessem. Oferece performance significativamente mais rápida e dimensionamento mais econômico, além de permitir recursos esperados de gerenciamento de dados, como clonagem, snapshots, backup e recuperação de desastres.
• Migração para a nuvem. O processo de mover dados, aplicações ou outros elementos de negócios de um data center local para uma nuvem ou de uma nuvem para outra. Em muitos casos, isso também implica uma migração de storage.

Migração de aplicativos. O processo de mover um programa de aplicação de um ambiente para outro. Pode incluir mover todo o aplicativo de um centro de TI local para uma nuvem, mover entre nuvens ou simplesmente mover os dados subjacentes do aplicativo para uma nova forma do aplicativo hospedado por um fornecedor de software.

A migração de dados envolve 3 etapas básicas:

1. Extrair dados
2. Transformar dados
3. Carregar dados

Mover dados importantes ou confidenciais e desativar sistemas legados pode colocar as partes interessadas na borda. Ter um plano sólido é uma obrigação; no entanto, você não precisa reinventar a roda. Você pode encontrar vários planos de migração de dados de amostra e listas de verificação na Web. Por exemplo, o Data Migration Pro, uma comunidade de especialistas em migração de dados, tem uma lista de verificação abrangente que descreve um processo de 7 fases:

• Planejamento de pré-migração. Avalie os dados que estão sendo movidos para obter estabilidade.
• Iniciação do projeto. Identificar e informar as principais partes interessadas.
• Análise de paisagem. Estabeleça um processo robusto de gerenciamento de regras de qualidade de dados e informe o negócio sobre os objetivos do projeto, incluindo o desligamento de sistemas legados.
• Design da solução. Determine quais dados mover e a qualidade desses dados antes e depois da migração.
• Construir e testar. Codificar a lógica de migração e testar a migração com um espelho do ambiente de produção.
• Executar e validar. Demonstrar que a migração atendeu aos requisitos e que os dados movidos são viáveis para uso comercial.
• Desativação e monitorização. Desligue e elimine os sistemas antigos.

Isso pode parecer uma quantidade esmagadora de trabalho, mas nem todas essas etapas são necessárias para cada migração. Cada situação é única, e cada empresa aborda a tarefa de forma diferente.

Embora a migração de dados seja um componente importante da história da tecnologia da informação e dos processos de digitalização e automação das empresas, ainda existem muitos desafios que as corporações enfrentam com a movimentação de dados. Conheça alguns desses obstáculos: 

1. Não contactar as principais partes interessadas. Não importa o tamanho da migração, há alguém, em algum lugar que se preocupa com os dados que você está migrando. Rastreá-los e explicar a necessidade deste projeto e os impactos sobre eles antes de começar a tarefa. Se você não fizer isso, você certamente vai ouvir deles em algum estágio, e as chances são boas de que eles vão atrapalhar sua linha do tempo.
2. Não se comunicar com o negócio. Depois de explicar o projeto às partes interessadas, certifique-se de mantê-los informados sobre o seu progresso. É melhor fornecer um relatório de status no mesmo dia todas as semanas, especialmente se as coisas saírem do controle. A comunicação regular vai um longo caminho para construir confiança com todos os afetados.
3. Falta de governança de dados. Certifique-se de que você está claro sobre quem tem os direitos de criar, aprovar, editar ou remover dados do sistema de origem e documentar isso por escrito como parte de seu plano de projeto.
4. Falta de conhecimento. Embora essa seja uma tarefa simples, há muita complexidade envolvida na movimentação de dados. Ter um profissional experiente com excelentes referências ajuda o processo a ir sem problemas.
5. Falta de Planejamento. Em média, as famílias passam de 10 a 20 horas planejando férias, enquanto as equipes de TI podem gastar apenas metade desse tempo planejando uma pequena migração de dados. As horas gastas no Planejamento nem sempre garantem o sucesso, mas ter um plano sólido de migração de dados economiza horas quando se trata de realmente mover os dados.
6. Software e habilidades de preparação de dados insuficientes. Se esta é uma grande migração (milhões de Registros ou centenas de tabelas), invista em software de qualidade de dados de primeira classe e considere contratar uma empresa especializada para ajudar. Boas notícias: Uma empresa externa provavelmente vai alugar o software para ajudar a economizar custos.
7. À espera de especificações perfeitas para o alvo. Se a equipe de implementação estiver classificando os critérios de projeto, pressione as etapas 2 e 3. A prontidão do alvo será importante mais tarde no projeto, mas não deixe que ele pare você agora.
8. Metodologia de migração não comprovada. Faça alguma pesquisa para ter certeza de que o procedimento de movimentação de dados funcionou bem para outras empresas como a sua. Resista à tentação de apenas aceitar o procedimento genérico oferecido por um vendedor.
9. Gestão de fornecedores e projetos. Fornecedores e projetos devem ser gerenciados. Se você ainda está fazendo seu trabalho diário também, certifique-se de que você tem o tempo para gerenciar o projeto e quaisquer fornecedores relacionados.
10. Dependências entre objetos. Com a tecnologia e os recursos das ferramentas de gerenciamento de dados disponíveis hoje, ainda é chocante aprender sobre um conjunto de dados dependente que não foi incluído no plano original. Como as dependências entre objetos muitas vezes não são descobertas até muito tarde no processo de migração, certifique-se de criar uma contingência para elas para que toda a sua data de entrega não seja descartada.

Os termos migração de dados e conversão de dados às vezes são usados alternadamente na internet, então vamos esclarecer isso: Eles significam coisas diferentes. Como mencionado anteriormente, a migração de dados é o processo de movimentação de dados entre locais, formatos ou sistemas. A migração de dados inclui o perfil de dados, a limpeza de dados, a validação de dados e o processo contínuo de garantia de qualidade de dados no sistema de destino. Em um cenário típico de migração de dados, a conversão de dados é apenas o primeiro passo em um processo complexo.

O termo conversão de dados refere-se ao processo de transformação de dados de um formato para outro. Isso é necessário ao mover dados de um aplicativo legado para uma versão atualizada do mesmo aplicativo ou um aplicativo totalmente diferente com uma nova estrutura. Para convertê-los, os dados devem ser extraídos da fonte, alterados e carregados no novo sistema de destino com base em um conjunto de requisitos. 

Outro termo que às vezes é confundido com migração de dados é a integração de dados. Integração de dados refere-se ao processo de combinação de dados que residem em diferentes fontes para fornecer aos usuários uma visão unificada de todos os dados. A integração de dados de várias fontes é essencial para a análise de dados. Exemplo de integração de dados incluem data warehouses, como o data Fabric Pools da NetApp, que automatizam a disposição de dados em camadas entre data centers e nuvens no local ou categorizam dados automaticamente entre a armazenagem de bloco do AWS EBS e os armazenamentos de objetos do AWS S3.

Mover para infraestrutura como serviço (IaaS):

• Rehost (elevação e mudança). Reimplante dados e aplicativos em uma IaaS sem fazer alterações.
• Rever (rearquitetar). Modifique ou estenda o código de aplicativo existente para se adequar ao novo ambiente de nuvem.
• Substitua. Desative aplicativos legados hospedados e gerenciados no local com um aplicativo comparável hospedado na nuvem; por exemplo, Office365.

Mover para a plataforma como serviço (PaaS):

• Refatorar. Injete seu código e execute seu aplicativo em cima da nuvem.
• Reconstruir. Descarte o código de uma aplicação existente e arquitete a aplicação na nuvem.

A escolha de um modelo de implantação que se alinhe aos requisitos de negócios é essencial para garantir que qualquer migração de dados seja bem-sucedida, resultando em um maior desempenho, segurança e retorno sobre o investimento (ROI) OI.