encoder and compare
This commit is contained in:
66
main.py
66
main.py
@@ -26,12 +26,78 @@ def Q_statistik():
|
|||||||
return freq, prob, info_content, entropy
|
return freq, prob, info_content, entropy
|
||||||
|
|
||||||
|
|
||||||
|
def fano_encoder(probabilities):
|
||||||
|
# Key = probability im Dictionary
|
||||||
|
sorted_probs = sorted(probabilities.items(), key=lambda x: x[1], reverse=True)
|
||||||
|
|
||||||
|
def fano_recursive(symbols):
|
||||||
|
if len(symbols) == 1: # Keine neuen Teilmengen möglich
|
||||||
|
return {symbols[0][0]: ""}
|
||||||
|
|
||||||
|
total = sum([symbol[1] for symbol in symbols])
|
||||||
|
acc = 0
|
||||||
|
split_index = 0
|
||||||
|
for i in range(len(symbols)):
|
||||||
|
acc += symbols[i][1]
|
||||||
|
if acc >= total / 2:
|
||||||
|
split_index = i
|
||||||
|
break
|
||||||
|
|
||||||
|
left_symbols = symbols[:split_index + 1]
|
||||||
|
right_symbols = symbols[split_index + 1:]
|
||||||
|
|
||||||
|
left_codes = fano_recursive(left_symbols)
|
||||||
|
right_codes = fano_recursive(right_symbols)
|
||||||
|
|
||||||
|
for key in left_codes:
|
||||||
|
left_codes[key] = '0' + left_codes[key]
|
||||||
|
for key in right_codes:
|
||||||
|
right_codes[key] = '1' + right_codes[key]
|
||||||
|
|
||||||
|
left_codes.update(right_codes)
|
||||||
|
return left_codes
|
||||||
|
|
||||||
|
return fano_recursive(sorted_probs)
|
||||||
|
|
||||||
|
|
||||||
|
def Q_Fanoencoder(input_path='Text.txt', output_path='EncodedText.txt'):
|
||||||
|
_, probabilities, _, _ = Q_statistik()
|
||||||
|
fano_codes = fano_encoder(probabilities)
|
||||||
|
|
||||||
|
with open(input_path, 'r', encoding='utf-8') as file:
|
||||||
|
text = file.read()
|
||||||
|
|
||||||
|
encoded_text = ''.join([fano_codes[char] for char in text])
|
||||||
|
|
||||||
|
with open(output_path, 'w', encoding='utf-8') as file:
|
||||||
|
file.write(encoded_text)
|
||||||
|
|
||||||
|
return text, encoded_text, fano_codes
|
||||||
|
|
||||||
|
|
||||||
|
def calculate_compression_rate(original_text, encoded_text, fano_codes):
|
||||||
|
original_length_bits = len(original_text) * 8
|
||||||
|
encoded_length_bits = len(encoded_text)
|
||||||
|
code_table_bits = sum([len(code) for code in fano_codes.values()]) * 8 + len(fano_codes) * 8
|
||||||
|
total_encoded_bits = encoded_length_bits + code_table_bits
|
||||||
|
compression_rate = (original_length_bits - total_encoded_bits) / original_length_bits * 100
|
||||||
|
|
||||||
|
return original_length_bits, total_encoded_bits, compression_rate
|
||||||
|
|
||||||
|
|
||||||
def main():
|
def main():
|
||||||
frequencies, probabilities, information_content, entropy = Q_statistik()
|
frequencies, probabilities, information_content, entropy = Q_statistik()
|
||||||
print("Häufigkeiten:", frequencies)
|
print("Häufigkeiten:", frequencies)
|
||||||
print("Wahrscheinlichkeiten:", probabilities)
|
print("Wahrscheinlichkeiten:", probabilities)
|
||||||
print("Informationsgehalt:", information_content)
|
print("Informationsgehalt:", information_content)
|
||||||
print("Entropie:", entropy)
|
print("Entropie:", entropy)
|
||||||
|
original_text, encoded_text, fano_codes = Q_Fanoencoder()
|
||||||
|
original_length_bits, total_encoded_bits, compression_rate = (
|
||||||
|
calculate_compression_rate(original_text, encoded_text, fano_codes)
|
||||||
|
)
|
||||||
|
print(f"Originale Länge in Bits: {original_length_bits}")
|
||||||
|
print(f"Gesamte codierte Länge in Bits (inkl. Codetabelle): {total_encoded_bits}")
|
||||||
|
print(f"Kompressionsrate: {compression_rate:.2f}%")
|
||||||
|
|
||||||
|
|
||||||
if __name__ == '__main__':
|
if __name__ == '__main__':
|
||||||
|
|||||||
11
text.txt
11
text.txt
@@ -1,10 +1,11 @@
|
|||||||
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua.
|
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet.
|
||||||
At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet.
|
|
||||||
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua.
|
|
||||||
At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua.
|
|
||||||
At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet.
|
|
||||||
Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi. Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat.
|
Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi. Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat.
|
||||||
|
|
||||||
Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat. Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi.
|
Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat. Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis at vero eros et accumsan et iusto odio dignissim qui blandit praesent luptatum zzril delenit augue duis dolore te feugait nulla facilisi.
|
||||||
|
|
||||||
Nam liber tempor cum soluta nobis eleifend option congue nihil imperdiet doming id quod mazim placerat facer possim assum. Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat. Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat.
|
Nam liber tempor cum soluta nobis eleifend option congue nihil imperdiet doming id quod mazim placerat facer possim assum. Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreet dolore magna aliquam erat volutpat. Ut wisi enim ad minim veniam, quis nostrud exerci tation ullamcorper suscipit lobortis nisl ut aliquip ex ea commodo consequat.
|
||||||
|
|
||||||
Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis.
|
Duis autem vel eum iriure dolor in hendrerit in vulputate velit esse molestie consequat, vel illum dolore eu feugiat nulla facilisis.
|
||||||
|
|
||||||
At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, At accusam aliquyam diam diam dolore dolores duo eirmod eos erat, et nonumy sed tempor et et invidunt justo labore Stet clita ea et gubergren, kasd magna no rebum. sanctus sea sed takimata ut vero voluptua. est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur
|
At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, At accusam aliquyam diam diam dolore dolores duo eirmod eos erat, et nonumy sed tempor et et invidunt justo labore Stet clita ea et gubergren, kasd magna no rebum. sanctus sea sed takimata ut vero voluptua. est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur
|
||||||
Reference in New Issue
Block a user