Preguntas con respuestas sobre "hadoop"

después de haber ejecutado con éxito el ejemplo de recuento de palabras predeterminado en Hadoop, creé un nuevo archivo java copiando el contenido del ejemplo de recuento de palabras. Modifiqué un poco el código. Ahora quiero compilar el nuevo archivo java, crear un archivo *.jar. No tengo eclipse, ya que esto parece ser un dolor de cabeza. Entonces ...

Soy novato en el mundo de hadoop mapreduce framework. Yo mismo leí muchos tutoriales y entendí el marco. He configurado con éxito una configuración de hadoop en modo pseudo distribuido. Tengo dos tareas específicas que debo realizar en Hadoop MapReduce. ...

Recibí un error cuando ejecuté el agrupamiento de kmeans por mahout en hadoop, después de verificar el registro de errores, pensé que tal vez se debía a la biblioteca nativa de hadoop, pero cuando volví a compilar hadoop por mi cuenta y luego fui a ejecutar el trabajo, siempre deseche hs_err_pid*.log, su contenido es el siguiente: strong ...

Tengo 8 computadoras esclavas y 1 computadora maestra para ejecutar Hadoop (ver 0.21)...

...

Intento instalar Hoop en ubuntu desktop 12.04. Ya instalé hadoop-1.0.2. Mi instalación sigue http://cloudera.github.com/hoop/docs/latest/ServerSetup.html...

Soy un principiante de PIG (usando pig 0.10.0) y tengo un JSON simple como el siguiente: ...

Quiero instalar Hive en mi Ubuntu. Leí este artículo, que me ayudó mucho. Hice todos los pasos excepto el paso 4. No entendí exactamente qué debería hacer en este paso. ...

Tengo una tarea para ejecutar el algoritmo de agrupación en clústeres K-Means en un servidor SAS, pero me quedé sin memoria. El conjunto de datos es de 500 G, sé que puedo muestrearlo para que quepa en la memoria, pero si quiero ejecutar el modelo en todos los datos, ¿me ayudaría Oracle R Enterprise (ORE) con mi problema? ...

Estoy leyendo bytes de un archivo usando: ...

Estoy filtrando una tabla por una lista de aproximadamente 20 ID. En este momento mi código se ve así: ...

...

Tengo problemas para configurar la marca de tiempo de la fila con la API de Java. ...

Hay datos chiflados en Hadoop, y obtengo el valor mediante el método get(key,val), pero ¿cómo puedo transferir los datos de escritura a su clase original? Mi código se pega a continuación: ...

Estoy tratando de crear una tabla en Hive con Java. Encontré ...

Mi pregunta está relacionada con la unión lateral del mapa en Hadoop. ...

Estoy tratando de obtener JobConf dentro de una clase TextInputFormat personalizada. ...

Mapreduce y cualquiera de las otras tecnologías de Hadoop (HBase, Hive, pig, etc.) se prestan bien a situaciones en las que tiene múltiples archivos de entrada y donde los datos deben compararse entre las diferentes fuentes de datos. ...

Me gustaría realizar el equivalente a "mantener todo a en A donde a.field == b.field para algunos b en B" en Apache Pig. Lo estoy implementando así, ...

Como todos los demás en el mundo, estoy siguiendo este tutorial de Hadoop. Llego al punto en el que formateo HDFS y obtengo esto: ...

¿Alguien sabe si ItemSimilarityJob y RowSimilarityJob en mahout son trabajos psedo o completamente distribuidos? Lo que quiero decir es que solo dividen la entrada en varios nodos o son implementaciones distribuidas "verdaderas" de las métricas de similitud utilizadas. ...

Uso Amazon EMR y puedo crear y ejecutar flujos de trabajo con la herramienta CLI. Los trabajos funcionan bien. Sin embargo, tengo un problema al intentar cargar datos en el HDFS de mi clúster EMR desde S3 y el sistema de archivos local del nodo de nombre. ...

Estoy tratando de ejecutar una secuencia de comandos pig que llama a una función definida por el usuario escrita en Java. Estoy tratando de probar esta secuencia de comandos con un archivo muy pequeño de 264 bytes. Termino recibiendo errores de espacio de montón de Java y el trabajo falla. He intentado ejecutar el trabajo con la opción -Xms1024M, se ejecuta para los archivos más pequeños...

¿Cuál es la forma más eficiente de obtener la salida de Elastic Map Reduce en SimpleDB? ...

Queremos garantizar que el proceso del consumidor lea los datos creados por el productor una vez que el productor haya terminado de escribir en el archivo en HDFS. El siguiente es un enfoque utilizado en una aplicación, que estamos tratando de mejorar. ...

...

Estoy usando Cloudera Sqoop para obtener datos de la base de datos de Oracle en HDFS. Todo va bien excepto por algunos caracteres como ® y © que se están convirtiendo a ®Â© en HDFS. (Sin embargo, en Oracle los datos se almacenan sin ningún problema). ¿Hay alguna manera de que pueda almacenar estos caracteres en HDFS...

¿Es posible actualizar la colección existente de MongoDB con nuevos datos? Estoy usando el trabajo de hadoop para leer datos de escritura en Mongo. El escenario requerido es: - ...

He hecho todo el trabajo que requiere Hadoop, pero parece que algo anda mal, por ejemplo: ...

Quiero averiguar las direcciones IP de los nodos esclavos donde actualmente se está ejecutando o está a punto de ejecutarse el trabajo de reducción de mapas para un trabajo determinado. ...