kolmogorov

La Complexit� de Kolmogorov (2)

Sun, 20 May 2007 20:05:00 GMT

Cette complexit� de Kolmogorov a un impact certain au niveau de la compression. Effectivement, suivant une description, on peut r�duire de mani�re significative les informations. La complexit� d'une chaine n'est pas calculable, on l'a vu. Mais on peut calculer une valeur approch�e sup�rieure de la complexit� de cette chaine : il suffit de compresser la chaine suivant un algorithme, de coder la fonction de d�compression, et de concatener la chaine de bits correspondant�� cette fonction au reste de la chaine, et la longueur totale est notre valeur approch�e. � Donc, on dit qu'une chaine s est compressible par n si K(s) <= | s | - n, sinon on dit qu'elle est incompressible par n. Une chaine incompressible par 1 est une chaine incompressible (tout court). On dit qu'une chaine est complexe quand sa valeur de complexit� n'est pas de beaucoup inf�rieure � sa valeur. Les chaines complexes ne sont donc pas compressibles en g�n�ral, ce qui explique pourquoi il n'existe toujours pas d'algorithme de compression qui s'applique uniform�ment � toutes les chaines et qui compresse sans pertes. On sait qu'une chaine est complexe si elle ne peut pas etre d�crite d'une mani�re significativement compress�e. Mais, il se trouve qu'on ne peut pas prouver qu'une chaine est complexe au dela d'une certaine longueur de chaine. C'est le th�or�me de l'incompletude de Chaitin-Kolmogorov : Il existe une constante C (qui ne d�pend que du langage de description choisi) telle qu'il n'existe pas de chaine s pour laquelle on peut prouver que�K(s) >= C

La Complexit� de Kolmogorov (1)

Sun, 20 May 2007 19:53:00 GMT

En g�n�ral, la description d'une chaine est un programme dont la sortie est la chaine en question. La longueur de cette description est celle du programme comprenant la fonction principale ainsi que toutes les sous fonctions appell�es. La longueur de chaque variable est celle du nombre de bits qui sont necessaires � la repr�sentation de cette variable. Donc la complexit� de Kolmogorov n'est pas calculable par ordinateur, �tant donn� que le programme permettant de la calculer rentre dans le calcul de la complexit�. La complexit� K d'une chaine s d�pend du langage de description L choisi. Pour un langage L donn�, il peut y avoir plusieurs descriptions de s, not�es di(s) La meilleure description de s, not�e d(s), est celle dont la longueur est la plus courte. La taille de cette description est la valeur de complexist� de Kolmogorov de s : K(s) = |d(s)|. Si K1 et K2 sont les valeurs de complexit� de la chaine s suivant les langages L1 et L2, alors, pour tout s, | K1(s) - K2(s) | <= cste. La complexit� d'une chaine ne d�passe pas ou peu la longueur de la chaine : Pour tout s, K(s) <= | s | + cste. (suite ...)

Introduction

Sun, 20 May 2007 19:43:00 GMT

(Article par Franck Dory, Vincent Gautier, Maxime Arnstamm) Andrei Kolmogorov (1903 - 1987) �tait un enseignant chercheur en math�matiques, connu mondialement. Il est un des fondateurs de la th�orie de la complexit� algorithmique. Son principal travail dans ce domaine pr�cis portait sur la complexit�d'une chaine (de bits ou de caract�res), ce qui permettait de caract�riser le�nombre de calculs qu'aurait � faire un syst�me pour g�rer cette chaine. La complexit� d'une chaine selon Kolmogorov est la longueur de la description�la plus courte de la chaine suivant un language donn�. L'exemple le plus parlant consiste � d�finir les deux chaines de bits suivantes : 1. 01010101010101010101010101010101 2. 01011101011010010101010111110110 Dans cet exemple, la chaine 1 peut �tre d�crite comme 16 fois "01" alors que la chaine 2 n'a pas de meilleur descripteur qu'elle m�me. (suite ...)