UnicodeDecodeError al leer un archivo CSV en Pandas con Python

read_csv toma un encoding Opción para tratar archivos en diferentes formatos. Yo uso principalmente read_csv('file', encoding = "ISO-8859-1"), o alternativamente encoding = "utf-8" para leer, y en general utf-8 en to_csv.

También puede utilizar uno de varios alias opciones como 'latin' or 'cp1252' (Windows) en lugar de 'ISO-8859-1' (consulta: documentos de Python, también para muchas otras codificaciones que puede encontrar).

Ver documentación relevante de Pandas, ejemplos de documentos de python en archivos csv, y muchas preguntas relacionadas aquí en SO. Un buen recurso de fondo es Lo que todo desarrollador debe saber sobre Unicode y conjuntos de caracteres.

Para detectar la codificación (suponiendo que el archivo contiene caracteres que no son ascii), puede usar enca (consulta: página man) o file -i (linux) o file -I (osx) (ver página man).

La más simple de todas las soluciones:

import pandas as pd
df = pd.read_csv('file_name.csv', engine='python')

Solución alternativa:

Texto sublime:

• Abra el archivo csv en Editor de texto sublime or Código VS.
• Guarde el archivo en formato utf-8.
• En sublime, haga clic en Archivo -> Guardar con codificación -> UTF-8

Código VS:

En la barra inferior de VSCode, verá la etiqueta UTF-8. Pinchalo. Se abre una ventana emergente. Haga clic en Guardar con codificación. Ahora puede elegir una nueva codificación para ese archivo.

Entonces, podrías leer tu archivo como de costumbre:

import pandas as pd
data = pd.read_csv('file_name.csv', encoding='utf-8')

y los otros tipos de codificación diferentes son:

encoding = "cp1252"
encoding = "ISO-8859-1"

Pandas permite especificar la codificación, pero no permite ignorar los errores para no reemplazar automáticamente los bytes ofensivos. entonces no hay una talla para todos pero de diferentes maneras dependiendo del caso de uso real.

1. Conoce la codificación y no hay ningún error de codificación en el archivo. Genial: solo tienes que especificar la codificación:

   file_encoding = 'cp1252'        # set file_encoding to the file encoding (utf8, latin1, etc.)
   pd.read_csv(input_file_and_path, ..., encoding=file_encoding)
   

2. No desea molestarse con la codificación de preguntas, y solo desea que se cargue ese maldito archivo, sin importar si algunos campos de texto contienen basura. Ok, solo tienes que usar Latin1 codificación porque acepta cualquier byte posible como entrada (y lo convierte al carácter Unicode del mismo código):

   pd.read_csv(input_file_and_path, ..., encoding='latin1')
   

3. Sabe que la mayor parte del archivo está escrito con una codificación específica, pero también contiene errores de codificación. Un ejemplo del mundo real es un archivo UTF8 que ha sido editado con un editor que no es utf8 y que contiene algunas líneas con una codificación diferente. Pandas no prevé un procesamiento de errores especial, pero Python open función tiene (asumiendo Python3), y read_csv acepta un archivo como objeto. Los parámetros de errores típicos que se utilizan aquí son 'ignore' que simplemente suprime los bytes ofensivos o (en mi humilde opinión, mejor) 'backslashreplace' que reemplaza los bytes ofensivos por la secuencia de escape con barra invertida de Python:

   file_encoding = 'utf8'        # set file_encoding to the file encoding (utf8, latin1, etc.)
   input_fd = open(input_file_and_path, encoding=file_encoding, errors = 'backslashreplace')
   pd.read_csv(input_fd, ...)
   

with open('filename.csv') as f:
   print(f)

después de ejecutar este código, encontrará la codificación de 'filename.csv' y luego ejecute el código de la siguiente manera

data=pd.read_csv('filename.csv', encoding="encoding as you found earlier"

ahí tienes

Este es un enfoque de guión más general para la pregunta indicada.

import pandas as pd

encoding_list = ['ascii', 'big5', 'big5hkscs', 'cp037', 'cp273', 'cp424', 'cp437', 'cp500', 'cp720', 'cp737'
                 , 'cp775', 'cp850', 'cp852', 'cp855', 'cp856', 'cp857', 'cp858', 'cp860', 'cp861', 'cp862'
                 , 'cp863', 'cp864', 'cp865', 'cp866', 'cp869', 'cp874', 'cp875', 'cp932', 'cp949', 'cp950'
                 , 'cp1006', 'cp1026', 'cp1125', 'cp1140', 'cp1250', 'cp1251', 'cp1252', 'cp1253', 'cp1254'
                 , 'cp1255', 'cp1256', 'cp1257', 'cp1258', 'euc_jp', 'euc_jis_2004', 'euc_jisx0213', 'euc_kr'
                 , 'gb2312', 'gbk', 'gb18030', 'hz', 'iso2022_jp', 'iso2022_jp_1', 'iso2022_jp_2'
                 , 'iso2022_jp_2004', 'iso2022_jp_3', 'iso2022_jp_ext', 'iso2022_kr', 'latin_1', 'iso8859_2'
                 , 'iso8859_3', 'iso8859_4', 'iso8859_5', 'iso8859_6', 'iso8859_7', 'iso8859_8', 'iso8859_9'
                 , 'iso8859_10', 'iso8859_11', 'iso8859_13', 'iso8859_14', 'iso8859_15', 'iso8859_16', 'johab'
                 , 'koi8_r', 'koi8_t', 'koi8_u', 'kz1048', 'mac_cyrillic', 'mac_greek', 'mac_iceland', 'mac_latin2'
                 , 'mac_roman', 'mac_turkish', 'ptcp154', 'shift_jis', 'shift_jis_2004', 'shift_jisx0213', 'utf_32'
                 , 'utf_32_be', 'utf_32_le', 'utf_16', 'utf_16_be', 'utf_16_le', 'utf_7', 'utf_8', 'utf_8_sig']

for encoding in encoding_list:
    worked = True
    try:
        df = pd.read_csv(path, encoding=encoding, nrows=5)
    except:
        worked = False
    if worked:
        print(encoding, ':\n', df.head())

Uno comienza con todas las codificaciones estándar disponibles para la versión de python (en este caso 3.7 Codificaciones estándar de Python 3.7). Aquí se proporciona una lista de python utilizable de las codificaciones estándar para las diferentes versiones de python: Respuesta útil de desbordamiento de pila

Probar cada codificación en una pequeña parte de los datos; solo imprimiendo la codificación de trabajo. La salida es directamente obvia. Esta salida también aborda el problema de que una codificación como 'latin1' que se ejecuta con algún error, no necesariamente produce el resultado deseado.

En caso de la pregunta, probaría este enfoque específico para problemas CSV y luego tal vez intente usar la codificación de trabajo encontrada para todos los demás.

Por favor intente agregar

import pandas as pd
df = pd.read_csv('file.csv', encoding='unicode_escape')

Esto ayudará. Trabajó para mi. Además, asegúrese de estar usando el delimitador y los nombres de columna correctos.

Puede comenzar cargando solo 1000 filas para cargar el archivo rápidamente.

Prueba a cambiar la codificación. En mi caso, encoding = "utf-16" trabajado.

df = pd.read_csv("file.csv",encoding='utf-16')

En mi caso, un archivo tiene USC-2 LE BOM codificación, según Notepad++. Es encoding="utf_16_le" para Python.

Espero que ayude a encontrar una respuesta un poco más rápido para alguien.

Intente especificar el motor = 'python'. Funcionó para mí, pero todavía estoy tratando de averiguar por qué.

df = pd.read_csv(input_file_path,...engine='python')

En mi caso esto funcionó para python 2.7:

data = read_csv(filename, encoding = "ISO-8859-1", dtype={'name_of_colum': unicode}, low_memory=False) 

Y para python 3, solo:

data = read_csv(filename, encoding = "ISO-8859-1", low_memory=False) 

Luché con esto por un tiempo y pensé en publicar esta pregunta ya que es el primer resultado de búsqueda. Agregando el encoding="iso-8859-1" etiqueta a los pandas read_csv no funcionó, ni ninguna otra codificación, siguió dando un UnicodeDecodeError.

Si está pasando un identificador de archivo a pd.read_csv(), necesitas poner el encoding atributo en el archivo abierto, no en read_csv. Obvio en retrospectiva, pero un error sutil para rastrear.

Estoy publicando una respuesta para proporcionar una solución actualizada y una explicación de por qué puede ocurrir este problema. Digamos que está obteniendo estos datos de una base de datos o un libro de Excel. Si tiene caracteres especiales como La Cañada Flintridge city, bueno, a menos que esté exportando los datos usando UTF-8 codificación, vas a introducir errores. La Cañada Flintridge city se convertirá La Ca\xf1ada Flintridge city. Si estas usando pandas.read_csv sin ningún ajuste a los parámetros predeterminados, obtendrá el siguiente error

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xf1 in position 5: invalid continuation byte

Afortunadamente, hay algunas soluciones.

Opción 1, arregla la exportación. Asegúrese de usar UTF-8 codificación

Opción 2, si solucionar el problema de exportación no está disponible para usted y necesita usar pandas.read_csv, asegúrese de incluir los siguientes parámetros, engine='python'. Por defecto, pandas usa engine='C' lo cual es excelente para leer archivos grandes y limpios, pero fallará si surge algo inesperado. En mi experiencia, establecer encoding='utf-8' nunca ha arreglado esto UnicodeDecodeError. Además, no es necesario utilizar errors_bad_lines, sin embargo, esa sigue siendo una opción si REALMENTE necesitan.

pd.read_csv(<your file>, engine='python')

Opción 3 La solución es mi solución preferida personalmente. Lea el archivo usando Vanilla Python.

import pandas as pd

data = []

with open(<your file>, "rb") as myfile:
    # read the header seperately
    # decode it as 'utf-8', remove any special characters, and split it on the comma (or deliminator)
    header = myfile.readline().decode('utf-8').replace('\r\n', '').split(',')
    # read the rest of the data
    for line in myfile:
        row = line.decode('utf-8', errors='ignore').replace('\r\n', '').split(',')
        data.append(row)

# save the data as a dataframe
df = pd.DataFrame(data=data, columns = header)

Espero que esto ayude a las personas que se encuentran con este problema por primera vez.

Otro problema importante al que me enfrenté y que resultó en el mismo error fue:

_values = pd.read_csv("C:\Users\Mujeeb\Desktop\file.xlxs")

^Esta línea resultó en el mismo error porque estoy leyendo un archivo de Excel usando read_csv() método. Usar read_excel() para leer .xlxs

Puedes probar esto.

import csv
import pandas as pd
df = pd.read_csv(filepath,encoding='unicode_escape')

Tengo problemas para abrir un archivo CSV en chino simplificado descargado de un banco en línea, lo he intentado latin1, Yo he tratado iso-8859-1, Yo he tratado cp1252, todo fue en vano.

Pero pd.read_csv("",encoding ='gbk') simplemente hace el trabajo.

Siempre puede intentar detectar primero la codificación del archivo, con chardet or cchardet or charset-normalizer:

from pathlib import Path
import chardet

filename = "file_name.csv"
detected = chardet.detect(Path(filename).read_bytes())
# detected is something like {'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

encoding = detected.get("encoding")
assert encoding, "Unable to detect encoding, is it a binary file?"

df = pd.read_csv(filename, encoding=encoding)

Esta respuesta parece ser el comodín para los problemas de codificación de CSV. Si tiene un problema de codificación extraño con su encabezado como este:

>>> f = open(filename,"r")
>>> reader = DictReader(f)
>>> next(reader)
OrderedDict([('\ufeffid', '1'), ... ])

Luego, tiene un carácter de marca de orden de bytes (BOM) al comienzo de su archivo CSV. Esta respuesta aborda el problema:

Python read csv - BOM incrustado en la primera clave

La solución es cargar el CSV con encoding="utf-8-sig":

>>> f = open(filename,"r", encoding="utf-8-sig")
>>> reader = DictReader(f)
>>> next(reader)
OrderedDict([('id', '1'), ... ])

Ojalá esto ayude a alguien.

Estoy publicando una actualización de este viejo hilo. Encontré una solución que funcionó, pero requiere abrir cada archivo. Abrí mi archivo csv en LibreOffice, elegí Guardar como> editar configuración de filtro. En el menú desplegable, elegí la codificación UTF8. Luego agregué encoding="utf-8-sig" En el correo electrónico “Su Cuenta de Usuario en su Nuevo Sistema XNUMXCX”. data = pd.read_csv(r'C:\fullpathtofile\filename.csv', sep = ',', encoding="utf-8-sig").

Espero que esto ayude a alguien.

Estoy usando Jupyter-notebook. Y en mi caso, estaba mostrando el archivo en el formato incorrecto. La opción de 'codificación' no funcionaba. Así que guardo el csv en formato utf-8 y funciona.

Prueba esto:

import pandas as pd
with open('filename.csv') as f:
    data = pd.read_csv(f)

Parece que se encargará de la codificación sin expresarla explícitamente a través de un argumento

Verifique la codificación antes de pasar a pandas. Te retrasará, pero...

with open(path, 'r') as f:
    encoding = f.encoding 

df = pd.read_csv(path,sep=sep, encoding=encoding)

En Python 3.7

A veces, el problema es solo con el archivo .csv. El archivo puede estar dañado. Cuando se enfrenta a este problema. 'Guardar como' el archivo como csv nuevamente.

0. Open the xls/csv file
1. Go to -> files 
2. Click -> Save As 
3. Write the file name 
4. Choose 'file type' as -> CSV [very important]
5. Click -> Ok 

En mi caso, no pude superar este problema utilizando ningún método proporcionado anteriormente. Cambiar el tipo de codificador a utf-8, utf-16, iso-8859-1, o cualquier otro tipo de alguna manera no funcionó.

Pero en lugar de usar pd.read_csv(filename, delimiter=';'), Solía;

pd.read_csv(open(filename, 'r'), delimiter=';')

y las cosas parecen funcionar bien.

Puedes probar con:

df = pd.read_csv('./file_name.csv', encoding='gbk')

Pandas no reemplaza automáticamente los bytes ofensivos cambiando el estilo de codificación. En mi caso, cambiando el parámetro de codificación de encoding = "utf-8" a encoding = "utf-16" resolvió el problema