Факторный анализ - это один из способов снижения размерности, то есть выделения во всей совокупности признаков тех, которые действительно влияют на изменение зависимой переменной. Или группировки сходно влияющих на изменение зависимой переменной признаков. Или группировки просто сходно изменяющихся признаков. Предполагается, что наблюдаемые переменные являются лишь линейной комбинацией неких ненаблюдаемых факторов. Некоторые из этих факторов являются общими для нескольких переменных, некоторые характерно проявляют себя только в одной. Те, что проявляют себя только в одной, очевидно, ортогональны друг другу и не вносят вклад в ковариацию переменных, а общие - как раз и вносят эту ковариацию. Задачей факторного анализа является как раз восстановление исходной факторной структуры исходя из наблюдаемой структуры ковариации переменных, несмотря на случайные ошибки ковариации, неизбежно возникающие в процессе снятия наблюдения.
Коэффициент взаимосвязи между некоторой переменной и общим фактором, выражающий меру влияния фактора на признак, называется факторной нагрузкой (Factor load) данной переменной по данному общему фактору. Значение (мера проявления) фактора у отдельного объекта называется факторным весом объекта по данному фактору.
Процесс факторного анализа состоит из трех больших этапов:
1. Подготовки ковариационной матрицы (Иногда вместо нее используется корреляционная матрица);
2. Выделения первоначальных ортогональных векторов (основной этап);
3. Вращение с целью получения окончательного решения.
Есть пять человек разных национальностей, которые проживают в 5 домах. Каждый дом имеет свой цвет, отличный от цвета других домов. Каждый из этих людей курит и предпочитает определенный сорт сигарет. У каждого из этих людей есть по одному домашнему животному. Каждый из этих людей пьет свой любимый вид напитка.