Python kullanarak metin dosyalarıyla çalışmanın en kolay yolları, adım adım

Burada düzenli ifade size yalnızca bir karakter dizisini değil, yapılandırılmış metni değiştirme olanağı verir.

Kelimeleri, satırları ve harfleri sayın
Diyelim ki bir metin dosyanız var ve satır sayısı, kelime sayısı ve kelime tekrar sayısı gibi bazı temel ölçütlere ihtiyacınız var. Bu bilgiler metin analizi, raporlama ve veri işleme için faydalı olabilir. Python bunu kolaylaştırır. Sayma için döngüler kullanabilirsiniz.

line_count = 0
char_count = 0

ile açık(“notlar.txt”, "R") as f:
için hat in f:
satır_sayısı += 1
karakter_sayısı += len(astar)

baskı(“Çizgiler:”(satır_sayısı)
baskı(“Karakterler:”, karakter_sayısı)

Bu basit döngü, büyük dosyalarda bile işe yarar. Her seferinde bir satır okuyun, sayın ve uzunluğu boyunca toplam karakter sayısını takip edin. Kelime saymak için:

word_count = 0

with open("notes.txt", "r") as f:
    for line in f:
        words = line.split()
        word_count += len(words)

print("Words:", word_count)

Her bir satırı .split() kullanarak bölmek, basit kelime tabanlı ölçümler yaparken ideal olan bir kelime listesi sağlar.

Daha gelişmiş kelime analizi için modülü kullanabilirsiniz collections , bunun gibi:

from collections import Counter

counter = Counter()

with open("notes.txt", "r") as f:
    for line in f:
        counter.update(line.split())

print(counter.most_common(5))

En yaygın kelimeleri bulmanız gerekiyorsa, "Sayaç" aracı çok kullanışlıdır. Öğeleri sizin için sayar ve hatta .most_common() fonksiyonunu kullanarak en yaygın kelimeleri (N) bile söyleyebilir.

Dosyaları böl ve birleştir

Metin dosyaları çok büyük olabilir. Milyonlarca satır içeren veri kümeleriyle veya tek seferde işlenmesi zor olan büyük boyutlu dışa aktarımlarla çalıştığınızı düşünün. Bazen bir dosyayı daha küçük parçalara bölmeniz, bazen de birden fazla dosyayı tek, anlaşılır ve birleşik bir çıktıda birleştirmeniz gerekir. Python her iki görevi de kolaylıkla halleder.

Bir dosyayı bölmenin bir yolu, belirli sayıda satırı alıp bunları yeni dosyalara yazmaktır. İşte nasıl yapılacağı:

chunk_size = 10
file_number = 1
current_lines = []

with open("bigdata.txt", "r") as f:
    for i, line in enumerate(f, start=1):
        current_lines.append(line)

        if i % chunk_size == 0:
            output_name = f"chunk_{file_number}.txt"
            with open(output_name, "w") as out:
                out.writelines(current_lines)
            current_lines = []
            file_number += 1

# write any remaining lines
if current_lines:
    output_name = f"chunk_{file_number}.txt"
    with open(output_name, "w") as out:
        out.writelines(current_lines)

Birden fazla dosyayı tek bir modülde birleştirmek için Python'un glob modülü kullanışlıdır.

import glob

with open("merged_output.txt", "w") as outfile:
    for filename in glob.glob("logs/log*"):
        with open(filename, "r") as infile:
            outfile.write(infile.read())