mvncenter: com.huemulsolutions.bigdata:huemul-bigdatagovernance

huemul-bigdatagovernance_2.12

Enable full data quality and data lineage for BigData Projects. Huemul BigDataGovernance, es una librería que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una **estrategia corporativa de dato único**, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla. Facilita la configuración y lectura de las interfaces de entrada, permitiendo ajustar los parámetros de lectura en esquemas altamente cambientes, crea trazabilidad de las interfaces con las tablas en forma automática, y almacena los diccionarios de datos en un repositorio central. Finalmente, también automatiza la generación de código a partir de las definiciones de las interfaces de entrada, y la creación del código inicial de lógica de negocio.

Files download

File	Operation
huemul-bigdatagovernance_2.12-2.6.3.jar	download
huemul-bigdatagovernance_2.12-2.6.3.pom	download
huemul-bigdatagovernance_2.12-2.6.3-sources.jar	download

Apache Maven

<dependency>
  <groupId>com.huemulsolutions.bigdata</groupId>
  <artifactId>huemul-bigdatagovernance_2.12</artifactId>
  <version>2.6.3</version>
</dependency>

Gradle Groovy

implementation 'com.huemulsolutions.bigdata:huemul-bigdatagovernance_2.12:2.6.3'

Gradle Kotlin

implementation("com.huemulsolutions.bigdata:huemul-bigdatagovernance_2.12:2.6.3")

Scala SBT

libraryDependencies += "com.huemulsolutions.bigdata" % "huemul-bigdatagovernance_2.12" % "2.6.3"

Groovy Grape

@Grapes(
  @Grab(group='com.huemulsolutions.bigdata', module='huemul-bigdatagovernance_2.12', version='2.6.3')
)

Apache Ivy

<dependency org="com.huemulsolutions.bigdata" name="huemul-bigdatagovernance_2.12" rev="2.6.3" />

Leiningen

[com.huemulsolutions.bigdata/huemul-bigdatagovernance_2.12 "2.6.3"]

Apache Buildr

'com.huemulsolutions.bigdata:huemul-bigdatagovernance_2.12:jar:2.6.3'

Dependencies

compile

|-- com.huemulsolutions.bigdata:huemul-sql-decode_${scala.tools.version}:1.0

|-- org.scala-lang:scala-library:2.12.10

|-- org.apache.spark:spark-streaming_${scala.tools.version}:2.4.7

|-- org.apache.hive:hive-jdbc:3.1.2

|-- org.apache.hbase.connectors.spark:hbase-spark:1.0.0

|-- org.apache.hbase:hbase-client:1.1.2

|-- org.apache.hbase:hbase-common:1.1.2

|-- org.apache.hbase:hbase-protocol:1.1.2

|-- org.apache.hbase:hbase-annotations:1.1.2

|-- org.apache.hbase:hbase-hadoop-compat:1.1.2

|-- org.apache.hbase:hbase-hadoop2-compat:1.1.2

|-- com.hortonworks.hive:hive-warehouse-connector_2.11:1.0.0.3.1.0.0-78

|-- org.apache.tika:tika-core:1.23

|-- org.apache.tika:tika-parsers:1.23

|-- org.apache.tika:tika-xmp:1.23

provided

|-- org.apache.spark:spark-core_${scala.tools.version}:2.4.7

|-- org.apache.spark:spark-sql_${scala.tools.version}:2.4.7

system

|-- jdk.tools:jdk.tools:1.8

test

|-- junit:junit:4.13.1

|-- org.specs2:specs2-core_${scala.tools.version}:4.12.3

|-- org.specs2:specs2-junit_${scala.tools.version}:4.12.3

|-- org.scalatest:scalatest_${scala.tools.version}:3.2.9

huemul-bigdatagovernance_2.12

http://www.HuemulSolutions.com

Apache License, Version 2.0

Sebastián Rodríguez Robotham Developer Code Cesar Vidal Christian Sattler