IPB
ЛогинПароль:

> Внимание!

1. Пользуйтесь тегами кода. - [code] ... [/code]
2. Точно указывайте язык, название и версию компилятора (интерпретатора).
3. Название темы должно быть информативным. В описании темы указываем язык!!!

> Подсчет энтропии источника информации., С\С++
Altair
сообщение 19.02.2006 20:20
Сообщение #1


Ищущий истину
******

Группа: Модераторы
Сообщений: 4 824
Пол: Мужской
Реальное имя: Олег

Репутация: -  45  +


(из лекции)
Энтропия это величина, вычисляемая по формуле:
Прикрепленное изображение

где P(xi) - вероятность появления символа xi в сообщении,
ni - число символов в сообщении объемом n.

Вопрос первый.
Я верно все записал, т.е. энтропия так считается ? Второй вопрос, пишу программу для подсчета :

#include <stdio.h>
#include <string.h>
#include <math.h>

double get_count (char x[], char c){
int i;
double res=0;
for (i=0; i<=strlen(x); i++) if (x[i]==c) res+=1;
return res;
}

double prob (char x[], char c){
return get_count(x,c) / strlen(x);
}


double coeff_entropy (char x[]) {
int i;
double res=0;
for (i=0; i<=strlen(x); i++) {
res+= prob(x,x[i]) * log2(prob(x,x[i]));
}
res=res*(-1);
return res;
}

int main () {
char s[80];
printf("Entropy\n Enter text...\n");
scanf("%s",&s);
printf("Entropy [s] = %f", coeff_entropy(s));
return 0;
}

выдается какой-то бред.
Для сообщения
1111111111111211111111
выдается энтропия 1.750737
а для 1234567890 -
3.654121
мне кажется результат не верен.
т.к. вторая строка гораздо больше уменьашет степень неопределенности...
где я ошибся ?


--------------------
Помогая друг другу, мы справимся с любыми трудностями!
"Не опускать крылья!" (С)
 Оффлайн  Профиль  PM 
 К началу страницы 
+ Ответить 
 
 Ответить  Открыть новую тему 
Ответов
volvo
сообщение 19.02.2006 21:00
Сообщение #2


Гость






Хм... Я бы делал вот так (я например так понимаю приведенную тобой формулу):

#include <stdio.h>
#include <string.h>
#include <math.h>

#define LOG2TO10 0.30102999566398119521373889472449
// Ну нету у меня в Turbo C этой функции, а MinGW в лом запускать : )
double log2(double x)
{
return log(x) / LOG2TO10;
}

int p_count[256];

void set_p(char *s) {

for(int i = 0; i < 256; ++i) p_count[i] = 0;

for(char *p = s; *p; p++)
p_count[*p] += 1;
}

double coeff_entropy (char *s) {

double res = 0.0;
for(int i = 0; i < 256; ++i)
if(p_count[i]) {
double T = ((double)p_count[i] / strlen(s));
res += (T * log2(T));
}
return (- res);
}

int main () {
char s[80];
printf("Entropy\n Enter text...\n");
scanf("%s",&s);

set_p(s);
printf("Entropy [s] = %f", coeff_entropy(s));
return 0;
}
 К началу страницы 
+ Ответить 

Сообщений в этой теме


 Ответить  Открыть новую тему 
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 



- Текстовая версия 23.06.2025 0:02
Хостинг предоставлен компанией "Веб Сервис Центр" при поддержке компании "ДокЛаб"