CSV-Dateien in Python lesen

In diesem Tutorial lernen wir anhand von Beispielen, CSV-Dateien mit verschiedenen Formaten in Python zu lesen.

csvFür diese Aufgabe verwenden wir ausschließlich das in Python integrierte Modul. Aber zuerst müssen wir das Modul importieren als:

 import csv

Wir haben bereits die Grundlagen der Verwendung des csvModuls zum Lesen und Schreiben in CSV-Dateien behandelt. Wenn Sie keine Ahnung haben, wie Sie das csvModul verwenden sollen, lesen Sie unser Tutorial zu Python CSV: Lesen und Schreiben von CSV-Dateien

Grundlegende Verwendung von csv.reader ()

Schauen wir uns ein grundlegendes Beispiel für die csv.reader()Aktualisierung Ihres vorhandenen Wissens an.

Beispiel 1: Lesen Sie CSV-Dateien mit csv.reader ()

Angenommen, wir haben eine CSV-Datei mit den folgenden Einträgen:

 SN, Name, Beitrag 1, Linus Torvalds, Linux-Kernel 2, Tim Berners-Lee, World Wide Web 3, Guido van Rossum, Python-Programmierung

Wir können den Inhalt der Datei mit dem folgenden Programm lesen:

 import csv with open('innovators.csv', 'r') as file: reader = csv.reader(file) for row in reader: print(row)

Ausgabe 

 ('SN', 'Name', 'Beitrag') ('1', 'Linus Torvalds', 'Linux Kernel') ('2', 'Tim Berners-Lee', 'World Wide Web') ('3') , 'Guido van Rossum', 'Python-Programmierung')

Hier haben wir die Datei innovators.csv im Lesemodus mit der open()Funktion geöffnet .

Weitere Informationen zum Öffnen von Dateien in Python finden Sie unter: Eingabe / Ausgabe von Python-Dateien

Dann csv.reader()wird das zum Lesen der Datei verwendet, die ein iterierbares readerObjekt zurückgibt .

Das readerObjekt wird dann mithilfe einer forSchleife iteriert , um den Inhalt jeder Zeile zu drucken.

Nun werden wir uns CSV-Dateien mit verschiedenen Formaten ansehen. Wir werden dann lernen, wie man die csv.reader()Funktion zum Lesen anpasst.

CSV-Dateien mit benutzerdefinierten Trennzeichen

Standardmäßig wird ein Komma als Trennzeichen in einer CSV-Datei verwendet. Einige CSV-Dateien können jedoch andere Trennzeichen als Komma verwenden. Nur wenige beliebte sind |und .

Angenommen, die Datei innovators.csv in Beispiel 1 verwendet die Registerkarte als Trennzeichen. Um die Datei zu lesen, können wir delimiterder csv.reader()Funktion einen zusätzlichen Parameter übergeben .

Nehmen wir ein Beispiel.

Beispiel 2: CSV-Datei mit Tabulatortrennzeichen lesen

 import csv with open('innovators.csv', 'r') as file: reader = csv.reader(file, delimiter = ' ') for row in reader: print(row)

Ausgabe 

 ('SN', 'Name', 'Beitrag') ('1', 'Linus Torvalds', 'Linux Kernel') ('2', 'Tim Berners-Lee', 'World Wide Web') ('3') , 'Guido van Rossum', 'Python-Programmierung')

Wie wir sehen können, delimiter = ' 'hilft der optionale Parameter dabei , das readerObjekt anzugeben, aus dem die CSV-Datei, aus der wir lesen, Tabulatoren als Trennzeichen hat.

CSV-Dateien mit Anfangszeichen

Einige CSV-Dateien können nach einem Trennzeichen ein Leerzeichen enthalten. Wenn wir csv.reader()diese CSV-Dateien mit der Standardfunktion lesen, erhalten wir auch Leerzeichen in der Ausgabe.

Um diese Anfangsräume zu entfernen, müssen wir einen zusätzlichen Parameter namens übergeben skipinitialspace. Schauen wir uns ein Beispiel an:

Beispiel 3: Lesen Sie CSV-Dateien mit Anfangszeichen

Angenommen, wir haben eine CSV-Datei namens people.csv mit folgendem Inhalt:

 SN, Name, Stadt 1, John, Washington 2, Eric, Los Angeles 3, Brad, Texas

Wir können die CSV-Datei wie folgt lesen:

 import csv with open('people.csv', 'r') as csvfile: reader = csv.reader(csvfile, skipinitialspace=True) for row in reader: print(row)

Ausgabe 

 ('SN', 'Name', 'Stadt') ('1', 'John', 'Washington') ('2', 'Eric', 'Los Angeles') ('3', 'Brad', ' Texas')

Das Programm ähnelt anderen Beispielen, verfügt jedoch über einen zusätzlichen skipinitialspaceParameter, der auf True gesetzt ist.

Dadurch kann das readerObjekt erkennen, dass die Einträge ein anfängliches Leerzeichen haben. Infolgedessen werden die anfänglichen Leerzeichen entfernt, die nach einem Trennzeichen vorhanden waren.

CSV-Dateien mit Anführungszeichen

Einige CSV-Dateien können Anführungszeichen um jeden oder einige der Einträge enthalten.

Nehmen wir als Beispiel quote.csv mit den folgenden Einträgen:

 "SN", "Name", "Zitate" 1, Buddha, "Was wir zu werden glauben" 2, Mark Twain, "Bereue niemals etwas, das dich zum Lächeln gebracht hat" 3, Oscar Wilde, "Sei du selbst, alle anderen sind bereits vergeben"

Die Verwendung csv.reader()im Minimalmodus führt zur Ausgabe mit Anführungszeichen.

Um sie zu entfernen, müssen wir einen anderen optionalen Parameter namens verwenden quoting.

Schauen wir uns ein Beispiel an, wie man das obige Programm liest.

Beispiel 4: Lesen Sie CSV-Dateien mit Anführungszeichen

 import csv with open('person1.csv', 'r') as file: reader = csv.reader(file, quoting=csv.QUOTE_ALL, skipinitialspace=True) for row in reader: print(row)

Ausgabe 

 ('SN', 'Name', 'Quotes') ('1', 'Buddha', 'What we think we become') ('2', 'Mark Twain', 'Never regret anything that made you smile') ('3', 'Oscar Wilde', 'Be yourself everyone else is already taken')

As you can see, we have passed csv.QUOTE_ALL to the quoting parameter. It is a constant defined by the csv module.

csv.QUOTE_ALL specifies the reader object that all the values in the CSV file are present inside quotation marks.

There are 3 other predefined constants you can pass to the quoting parameter:

  • csv.QUOTE_MINIMAL - Specifies reader object that CSV file has quotes around those entries which contain special characters such as delimiter, quotechar or any of the characters in lineterminator.
  • csv.QUOTE_NONNUMERIC - Specifies the reader object that the CSV file has quotes around the non-numeric entries.
  • csv.QUOTE_NONE - Specifies the reader object that none of the entries have quotes around them.

Dialects in CSV module

Notice in Example 4 that we have passed multiple parameters (quoting and skipinitialspace) to the csv.reader() function.

This practice is acceptable when dealing with one or two files. But it will make the code more redundant and ugly once we start working with multiple CSV files with similar formats.

As a solution to this, the csv module offers dialect as an optional parameter.

Dialect helps in grouping together many specific formatting patterns like delimiter, skipinitialspace, quoting, escapechar into a single dialect name.

It can then be passed as a parameter to multiple writer or reader instances.

Example 5: Read CSV files using dialect

Suppose we have a CSV file (office.csv) with the following content:

 "ID"| "Name"| "Email" "A878"| "Alfonso K. Hamby"| "[email protected]" "F854"| "Susanne Briard"| "[email protected]" "E833"| "Katja Mauer"| "[email protected]"

The CSV file has initial spaces, quotes around each entry, and uses a | delimiter.

Instead of passing three individual formatting patterns, let's look at how to use dialects to read this file.

 import csv csv.register_dialect('myDialect', delimiter='|', skipinitialspace=True, quoting=csv.QUOTE_ALL) with open('office.csv', 'r') as csvfile: reader = csv.reader(csvfile, dialect='myDialect') for row in reader: print(row)

Output 

 ('ID', 'Name', 'Email') ("A878", 'Alfonso K. Hamby', '[email protected]') ("F854", 'Susanne Briard', '[email protected]') ("E833", 'Katja Mauer', '[email protected]')

From this example, we can see that the csv.register_dialect() function is used to define a custom dialect. It has the following syntax:

 csv.register_dialect(name(, dialect(, **fmtparams)))

The custom dialect requires a name in the form of a string. Other specifications can be done either by passing a sub-class of Dialect class, or by individual formatting patterns as shown in the example.

While creating the reader object, we pass dialect='myDialect' to specify that the reader instance must use that particular dialect.

The advantage of using dialect is that it makes the program more modular. Notice that we can reuse 'myDialect' to open other files without having to re-specify the CSV format.

Read CSV files with csv.DictReader()

The objects of a csv.DictReader() class can be used to read a CSV file as a dictionary.

Example 6: Python csv.DictReader()

Suppose we have a CSV file (people.csv) with the following entries:

Name Age Profession
Jack 23 Doctor
Miller 22 Engineer

Let's see how csv.DictReader() can be used.

 import csv with open("people.csv", 'r') as file: csv_file = csv.DictReader(file) for row in csv_file: print(dict(row))

Output 

 ('Name': 'Jack', ' Age': ' 23', ' Profession': ' Doctor') ('Name': 'Miller', ' Age': ' 22', ' Profession': ' Engineer')

As we can see, the entries of the first row are the dictionary keys. And, the entries in the other rows are the dictionary values.

Here, csv_file is a csv.DictReader() object. The object can be iterated over using a for loop. The csv.DictReader() returned an OrderedDict type for each row. That's why we used dict() to convert each row to a dictionary.

Notice that we have explicitly used the dict() method to create dictionaries inside the for loop.

 print(dict(row))

Note: Starting from Python 3.8, csv.DictReader() returns a dictionary for each row, and we do not need to use dict() explicitly.

The full syntax of the csv.DictReader() class is:

 csv.DictReader(file, fieldnames=None, restkey=None, restval=None, dialect='excel', *args, **kwds)

To learn more about it in detail, visit: Python csv.DictReader() class

Using csv.Sniffer class

The Sniffer class is used to deduce the format of a CSV file.

The Sniffer class offers two methods:

  • sniff(sample, delimiters=None) - This function analyses a given sample of the CSV text and returns a Dialect subclass that contains all the parameters deduced.

An optional delimiters parameter can be passed as a string containing possible valid delimiter characters.

  • has_header(sample) - This function returns True or False based on analyzing whether the sample CSV has the first row as column headers.

Let's look at an example of using these functions:

Example 7: Using csv.Sniffer() to deduce the dialect of CSV files

Suppose we have a CSV file (office.csv) with the following content:

 "ID"| "Name"| "Email" A878| "Alfonso K. Hamby"| "[email protected]" F854| "Susanne Briard"| "[email protected]" E833| "Katja Mauer"| "[email protected]"

Let's look at how we can deduce the format of this file using csv.Sniffer() class:

 import csv with open('office.csv', 'r') as csvfile: sample = csvfile.read(64) has_header = csv.Sniffer().has_header(sample) print(has_header) deduced_dialect = csv.Sniffer().sniff(sample) with open('office.csv', 'r') as csvfile: reader = csv.reader(csvfile, deduced_dialect) for row in reader: print(row)

Output 

 True ('ID', 'Name', 'Email') ('A878', 'Alfonso K. Hamby', '[email protected]') ('F854', 'Susanne Briard', '[email protected]') ('E833', 'Katja Mauer', '[email protected]')

As you can see, we read only 64 characters of office.csv and stored it in the sample variable.

This sample was then passed as a parameter to the Sniffer().has_header() function. It deduced that the first row must have column headers. Thus, it returned True which was then printed out.

In ähnlicher Weise wurde auch die Probe an die Sniffer().sniff()Funktion übergeben. Alle abgeleiteten Parameter wurden als DialectUnterklasse zurückgegeben, die dann in der Variablen deduced_dialect gespeichert wurde.

Später haben wir die CSV-Datei erneut geöffnet und die deduced_dialectVariable als Parameter an übergeben csv.reader().

Es war richtig vorherzusagen können delimiter, quotingund skipinitialspaceParameter in der office.csv Datei , ohne dass wir erwähnen sie ausdrücklich.

Hinweis: Das CSV-Modul kann auch für andere Dateierweiterungen (z. B. .txt ) verwendet werden, sofern deren Inhalt ordnungsgemäß strukturiert ist.

Empfohlene Lektüre: Schreiben Sie in CSV-Dateien in Python

Interessante Beiträge...