Подсчет энтропии источника информации., С\С++ Опции

[Altair]

(из лекции)
Энтропия это величина, вычисляемая по формуле:


где P(xi) - вероятность появления символа xi в сообщении,
ni - число символов в сообщении объемом n.

Вопрос первый.
Я верно все записал, т.е. энтропия так считается ? Второй вопрос, пишу программу для подсчета :

#include <stdio.h>
#include <string.h>
#include <math.h>

double get_count (char x[], char c){
	int i; 
	double res=0;
	for (i=0; i<=strlen(x); i++) if (x[i]==c) res+=1;
	return res;
}

double prob (char x[], char c){
	return get_count(x,c) / strlen(x);
}


double coeff_entropy (char x[]) {
	int i;
	double res=0;
	for (i=0; i<=strlen(x); i++) {
		res+= prob(x,x[i]) * log2(prob(x,x[i]));
	}
	res=res*(-1);
	return res;
}

int main () {
	char s[80];
	printf("Entropy\n Enter text...\n");
	scanf("%s",&s);
	printf("Entropy [s] = %f", coeff_entropy(s));
	return 0;
}

выдается какой-то бред.
Для сообщения
1111111111111211111111
выдается энтропия 1.750737
а для 1234567890 -
3.654121
мне кажется результат не верен.
т.к. вторая строка гораздо больше уменьашет степень неопределенности...
где я ошибся ?

[Altair]

Итак.
Общее определение понятия истояника информации понятно, но есть еще и физическая интерпретация, понятия энтропия.
Энтропия показывает сколько нужно потратить минимально бит, для кодирования информации в сообщении.

Вот пример подсчета энтропии для строки символов:


Вот окончательный вариант, правильной программы (написал только что, на основе программы volvo и моей старой)

#include <stdio.h>
#include <string.h>
#include <math.h>

int alf [256];

void init (){
	for (int i=0; i<=255; i++) alf[i]=0;
}

double entropy (char *p) {
	for (char *c=p, init(); *c!=0; c++) alf[*c] +=1;
	double res=0, len=strlen(p);
	for (int i=0; i<=255; i++) if (alf[i]!=0) res += ((double)alf[i] / len ) * log2((double)alf[i]/len);
	return (-res);
}

int main () {
	char s[80];
	printf(" Enter message...\n");
	scanf("%s",&s);
	printf("Entropy H(x) = %f bit/symbol\nInfo I=n*H(x) = %d",entropy(s),(int)entropy(s)*strlen(s));
	return 0;
}

тестирование, подтверждает пример:

Enter message...
ctyl._ccc.__ttttt...__yy._lll.
Entropy H(x) = 2.526027 bit/symbol

Компилятор MinGW, а вот функция

#define LOG2TO10 0.30102999566398119521373889472449
// Ну нету у меня в Turbo C этой функции, а MinGW в лом запускать smile.gif
double log2(double x)
{
return log(x) / LOG2TO10;
}

видимо неверна, если с помощтю нее вычислять получается...

Enter message...
ctyl._ccc.__ttttt...__yy._lll.
Entropy H(x) = 5.816391 bit/symbol

, что неверно.

Но вобщем вопрос решен.