Ентропія – це міра безладу або невизначеності, а мета моделей машинного навчання та фахівців із Data Science загалом полягає в тому, щоб цю невизначеність зменшити.May 15, 2020
Ентропію можна інтерпретувати як міру невизначеності (невпорядкованості) або складності певної системи, наприклад, будь-якого досліду (випробування), що може мати різні результати, а отже, і кількість інформації. Таким чином, іншою інтерпретацією ентропії є інформаційна ємність системи.
Крос – ентропія вимірює середнє число біт, необхідне для кодування даних, отриманих із джерела, що використовує розподіл P, якщо використовувана схема кодування базується на заданому розподілі ймовірностей Q.
Крос – ентропія (Перехресна ентропія) – це Функція втрат (Loss Function), яку можна використовувати для кількісного оцінювання різниці між двома Розподілами ймовірностей (Probability Distribution).