Preguntas con respuestas sobre "avro"

Soy nuevo en el mundo Hadoop. Sé que Hadoop tiene su propio mecanismo de serialización llamado Writables. Y ese AVRO es otra biblioteca de este tipo. Quería saber si podemos escribir trabajos de reducción de mapas utilizando la serialización del búfer del protocolo de Google. En caso afirmativo, alguien puede señalar un buen ejemplo para obtener ...

Soy muy nuevo en Hadoop y tengo que profundizar en su serialización. Sé que Hadoop viene con su propio serializador llamado Writables. Tenía curiosidad por saber si Avro (o protobuf, thrift) reemplaza la interfaz Writables o si Avro solo sirve para serializar los datos del cliente MR pero no los internos...

Estoy usando Apache Avro para un proyecto, pero parece que no puedo entender lo que llama mapas. No he podido encontrar ningún ejemplo de mapas en uso, y el ejemplo de la especificación es bastante simple: ...

Soy bastante nuevo en AVRO, así que disculpe si me falta algo obvio. ...

Creé un Mapper & Reducer que usa AVRO para entrada, salida de mapa y salida reducida. Al crear una prueba de MRUnit, obtengo el siguiente seguimiento de pila: ...

Estoy usando la biblioteca avro de Python. Quiero enviar un archivo avro a través de http, pero en particular no quiero guardar ese archivo en el disco primero, así que pensé en usar StringIO para alojar el contenido del archivo hasta que esté listo para enviarlo. Pero avro.datafile.DataFileWriter cuidadosamente se encarga de cerrar el archivo...

Estoy buscando usar AVRO en hadoop. Pero me preocupa la serialización de grandes estructuras de datos y cómo agregar métodos a las clases (de datos). ...

Tengo una compilación que depende de com.odiago.avro:odiago-avro:jar:1.0.5, que no he podido encontrar preconstruida en ningún repositorio. ...

Estoy bastante confundido sobre el uso de Avro con map reduce y no puedo encontrar buenos tutoriales para seguir. ...

Mientras aprendía Apache Avro del libro de Tom White, Hadoop: The Definitive Guide, recibí un error. ...

Me pregunto si es posible tener una matriz opcional. ...

Estoy tratando de implementar llamadas Avro asíncronas utilizando su implementación NettyServer. Después de excavar el código fuente, encontré un ejemplo sobre cómo usar NettyServer de TestNettyServerWithCallbacks.java ...

Utilizo import avro y etc. para compilar esquemas avro en python. A veces, mi esquema avro se verá así: ...

Intenté cargar varios archivos con AvroStorage en Pig usando una lista separada por comas. La declaración que utilicé es: ...

Parece que no hay forma de agregar datos a un archivo serializado de Avro existente. Me gustaría tener varios procesos escribiendo en un solo archivo avro, pero parece que cada vez que lo abro, empiezo de cero. No quiero leer todos los datos y luego volver a escribirlos. ...

Estoy ejecutando un código Java con Apache Avro. Algunos códigos quedan obsoletos en el archivo java y no estoy seguro de por qué. ...

Me gustaría saber si hay una utilidad 'cat' para el formato de archivo avro binario de Apache. ...

Intenté usar Apache Avro en el proyecto ... y encontré algunas dificultades ...

En mi base de datos tengo varias tablas donde cada tabla es un tipo de entidad diferente. Tengo un esquema Avro que utilizo en hadoop, que es una unión de todos los campos de estos diferentes tipos de entidad, además de que tiene un campo de tipo de entidad. ...

Estoy tratando de usar Avro para los mensajes que se leen / escriben en Kafka. ¿Alguien tiene un ejemplo del uso del codificador binario Avro para codificar / decodificar datos que se colocarán en una cola de mensajes? ...

AFAK, Hadoop Streaming solo admite la entrada de texto, lo que significa que los datos están organizados por líneas. pero el código del mapeador se volverá complicado si queremos compatibilidad con versiones anteriores, admitiendo diferentes versiones de líneas de registro en el mismo programa mapeador escrito en c ++. ...

Escribí dos programas "remitente" y "receptor" en c ++. Quiero enviar un objeto del remitente a ...

Esto es algo así como una oportunidad en la oscuridad en caso de que alguien con experiencia en la implementación de Java de Apache Avro esté leyendo esto. ...

Estoy interesado en generar un encabezado C ++ usando la herramienta de generación de código de Apache Avro (es decir, el script de Python). De acuerdo con la documentación, debería ser bastante fácil de hacer, pero no suelo usar Python, por lo que las cosas me parecen un poco extrañas. ...

Estoy tratando de decodificar la salida JSON de un programa Java (jackson) y tengo algunos problemas. ...

Ahora mismo tenemos un trabajo de Hadoop en Java que está trabajando con algunos binarios de C ++. Escribimos archivos en NFS y C ++ y Java los lee y esa es nuestra forma de comunicación, lo que nos impide escalar. Estoy investigando Proto Buff, Thrift y Avro para alejarme de la cuestión de NFS. Este enfoque sería ...

El siguiente código simplemente escribe datos en formato avro y lee y muestra lo mismo del archivo avro escrito también. Estaba probando el ejemplo de la guía definitiva de Hadoop. Pude ejecutar esta primera vez. Entonces recibí el siguiente error. Funcionó por primera vez. Así que estoy ...

En este video (a las 29:00), Eric Evans de Rackspace le dice a la audiencia que usar Thrift y Avro es una mala idea. En cambio, aboga por el uso de las bibliotecas cliente idiomáticas. ...

Todos estos proporcionan serialización binaria, marcos RPC e IDL. Me interesan las diferencias clave entre ellos y sus características (rendimiento, facilidad de uso, compatibilidad con lenguajes de programación). ...

Estoy usando Avro 1.4.0 para leer algunos datos de S3 a través de los enlaces de Python avro y la biblioteca boto S3. Cuando abro un avro.datafile.DataFileReader en el archivo como los objetos devueltos por boto, falla inmediatamente cuando intenta buscar (). Por ahora, estoy trabajando en esto leyendo los objetos S3 en ...