Mostrando entradas con la etiqueta GoldenGate. Mostrar todas las entradas
Mostrando entradas con la etiqueta GoldenGate. Mostrar todas las entradas

16 octubre 2020

Migrar la base de datos a Oracle Autonomous Database Cloud

 

Data Pump, SQL Loader, DBMS_CLOUD, GoldenGate

En esta entrada el blog vamos a dar una descripción general de alto nivel de las opciones disponibles para migrar la base de datos de On-Premise a Autonomous Database Cloud.
Primero, echaremos un ojo a las diferentes opciones disponibles para cargar los datos.

Opciones de carga de datos:

Cuando migra la base de datos a la base de datos autónoma, hay dos opciones disponibles para cargar datos:
  • Desde "on-premise": puede cargar directamente sus datos desde su servidor local a la base de datos autónoma.
  • Desde Object Storage Cloud: también puede cargar sus datos en Cloud Object Storage primero y luego migrar a la base de datos autónoma desde Object Storage Cloud. Este es un proceso rápido para la migración de bases de datos.

Diferentes métodos para migrar a la nube de base de datos autónoma:

Ahora, llegando a los diferentes métodos disponibles para migrar la base de datos de On-Premise a Autonomous Database Cloud, existen principalmente cuatro métodos de migración:
  • Usando el paquete DBMS_CLOUD
  • Uso de Data Pump
  • Uso de SQL Loader
  • Uso de Oracle GoldenGate

Usando DBMS_CLOUD:



El paquete DBMS_CLOUD admite la carga desde archivos en los siguientes servicios en la nube: Oracle Cloud Infrastructure Object Storage, Oracle Cloud Infrastructure Object Storage Classic, Azure Blob Storage y Amazon S3. Para cargar datos desde archivos en la nube, primero debe almacenar sus credenciales de almacenamiento de objetos en su Autonomous Data Warehouse y luego usar el procedimiento DBMS_CLOUD.COPY_DATA para cargar los datos.
A continuación se muestra el proceso de migración de alto nivel utilizando DBMS_CLOUD:
  • Copia todos los archivos de datos (datafiles) en Object Storage on Cloud.
  • Almacena sus credenciales de almacenamiento de objetos en su base de datos autónoma (ADB).
  • Copia el archivo de datos en una tabla existente usando:
            DBMS_CLOUD.COPY_DATA
  • Verifica el estado de la operación.

Utilizando Data Pump:

Oracle Data Pump proporciona un movimiento de datos masivo muy rápido entre las bases de datos de Oracle y el almacén de datos autónomo. Con este método, puede importar datos de archivos de Data Pump guardados en:
  • Oracle Cloud Infrastructure Object Storage
  • Microsoft Azure
  • AWS S3
  • Oracle Cloud Infrastructure Object Storage Classic. 
Puede guardar sus datos en su Cloud Object Store y usar Oracle Data Pump para cargar datos en Autonomous Data Warehouse. A continuación se muestra el proceso de migración de alto nivel utilizando Oracle Data Pump:
  • Exporta datos en el modo de esquema.
  • Copia los archivos de volcado en el objeto Storage on Cloud.
  • Almacena las credenciales de almacenamiento de objetos en ADB.
  • Importa utilizando el método impdp.
  • Consulta los archivos de "log" para ver si hay algún problema.

Usando SQL Loader:

Puede utilizar Oracle SQL Loader para cargar datos desde archivos locales en su máquina a Oracle Autonomous Data Warehouse. El uso de SQL Loader es adecuado para cargar pequeñas cantidades de datos, ya que el rendimiento de la carga depende del ancho de banda de la red entre su cliente y Autonomous Data Warehouse. A continuación se muestra el proceso de migración de alto nivel utilizando SQL Loader:

  • Configura el "Wallet"de conexión y las variables.
  • Reúne uno o más archivos de datos.
  • Crea un archivo de control (esto es opcional).
  • Crea una tabla en la base de datos de destino.
  • Carga utilizando SQL Loader.
  • Comprueba los archivos de registro, incorrectos y descartados.

Usando Oracle GoldenGate:

También puede utilizar GoldenGate para replicar datos en Autonomous Data Warehouse utilizando Oracle GoldenGate On-Premises y Oracle GoldenGate Cloud Service. 

Asegúrese de utilizar las versiones 12.3.0.1.2 y posteriores de Oracle GoldenGate On-Premises como fuente, ya que solo estas versiones están certificadas con Oracle Autonomous Data Warehouse Cloud

Otras fuentes pueden ser Oracle Database Cloud Service u Oracle Exadata Cloud Service en Oracle Cloud. Sin embargo, no puede configurar Oracle Autonomous Data Warehouse Cloud Database como una base de datos de origen para Oracle GoldenGate On-Premises y solo las réplicas no integradas son compatibles con Oracle Autonomous Data Warehouse Cloud. A continuación se muestra el proceso de migración de alto nivel utilizando Oracle GoldenGate:

  • Configura la base de datos autónoma para la replicación creando el esquema requerido, las tablas de destino, el nuevo usuario de destino, etc.
  • Obtén las credenciales del cliente de Autonomous Database.
  • Configura Oracle GoldenGate On-Premises para la replicación transfiriendo el archivo zip de las credenciales del cliente, configurando sqlnet.ora y tnsnames.ora, etc.
  • Configura Oracle GoldenGate Manager y las réplicas no integradas para entregar a la base de datos autónoma.

Se trata de la migración a una base de datos autónoma y los métodos disponibles para la misma en pocas palabras.

27 agosto 2017

Nueva versión de Oracle GoldenGate para Big Data 12.3.1.1



En este artículo vamos a ver, Lo que todo el mundo debe saber sobre Oracle GoldenGate Big Data 12.3.1.1 

Las principales características de esta versión incluyen las siguientes novedades
  • Como nuevos objetivos de Oracle GoldenGate 12c se encuentran los siguientes sistemas:
    • Amazon Kinesis
    • API de Integración Kafka o Kafka Connect Confluent.
    • Elasticsearch
  • El Motor de Oracle GoldenGate Core 12.3: soporta los formatos de base de datos Oracle Database 12.2 y más recientes
  • Nuevas Certificaciones:
    • Apache Hadoop 2.8,
    • CDH 5.10, 5.11,
    • Hive 2.x,
    • Kafka 0.10, 0.11,
    • Cassandra 3.11
    • ...
  • Mapeo de plantillas: define plantillas para resolver dinámicamente el nombre de secuencia y la clave de partición en tiempo de ejecución
  • Rendimiento: Rendimiento mejorado hasta el 20% en comparación con la versión anterior.



Oracle GoldenGate ofrece una arquitectura modular diseñada para un rendimiento extremo, tolerancia a fallos y flexibilidad. Oracle GoldenGate para Big Data se basa en la misma arquitectura para permitir soluciones extensibles para los grandes entornos de datos de los clientes.
Oracle GoldenGate captura datos de sistemas fuente heterogéneos incluyendo sistemas de mensajería basados en Java, de forma no invasiva y con gastos indirectos insignificantes. Almacena transacciones de base de datos en archivos planos y lo bombea al marco del Adaptador Java.

Oracle GoldenGate para Big Data incluye controladores para diferentes grandes tecnologías de datos, como HDFS, Hive, HBase, Flume, Kafka, NoSQL, JDBC, etc. También incluye tecnología de formateo conectable que puede usarse para transformar datos en formatos estándar como XML , JSON, Avro, Texto delimitado. Está construido utilizando la arquitectura Java extensible, que le permite entregar fácilmente a otros grandes sistemas de datos y soportar casos de uso específicos para satisfacer sus demandas empresariales.

Con la plataforma de streaming en tiempo real de Oracle GoldenGate, puede capturar desde el sistema de origen una vez y entregar todo o una parte de los datos modificados a múltiples destinos sobre cloud, híbridos e incluso bases de datos, sistemas de mensajería y entornos de datos grandes.



En siguientes entradas de blog haremos un ejemlo de uso de GoldenGate con Big Data.