Projeções

Produto interno e comprimento

Para quaisquer u, v, w ∈ ℝⁿ e quaisquer λ, μ ∈ ℝ, valem:

1. u^Tv = v^Tu (simetria);
2. (λu + μw)^Tv = λ(u^Tv) + μ(w^Tv) (linearidade);
3. v^Tv ≥ 0, e v^Tv = 0 se, e somente se, v = 0.

Da simetria e da linearidade, (λv)^T(λv) = λ²v^Tv; logo ‖λv‖ = |λ| ‖v‖ para todo λ ∈ ℝ. Em particular, para v ≠ 0, o vetor v/‖v‖ é unitário.

Vetores ortogonais e ângulo

De fato, pela simetria e pela linearidade, ‖u + v‖² = (u + v)^T(u + v) = ‖u‖² + 2u^Tv + ‖v‖², e essa soma é igual a ‖u‖² + ‖v‖² se, e somente se, u^Tv = 0.

Para u ≠ 0 e v ≠ 0, a desigualdade de Cauchy-Schwarz, |u^Tv| ≤ ‖u‖ ‖v‖, demonstrada na guia Projeção sobre uma reta, garante que o quociente u^Tv / (‖u‖ ‖v‖) está entre −1 e 1. O ângulo entre u e v é o único θ, com 0° ≤ θ ≤ 180°, tal que

Pela definição, dois vetores não nulos são ortogonais se, e somente se, cos θ = 0, isto é, θ = 90°. Se u^Tv > 0, o ângulo é agudo, e se u^Tv < 0, ele é obtuso. Em ℝ² e em ℝ³, θ é o ângulo da geometria: basta comparar a lei dos cossenos com a igualdade ‖u − v‖² = ‖u‖² + ‖v‖² − 2u^Tv, que é a conta acima com −v no lugar de v.

Em sistemas de busca, uma consulta e um documento podem ser representados por vetores de contagens: fixada uma lista de palavras, a coordenada i de cada vetor é o número de vezes que a palavra i da lista aparece no texto. O cosseno do ângulo entre os dois vetores é usado como medida da semelhança entre os textos. Ele não muda quando um dos vetores é multiplicado por um escalar positivo: um documento formado por duas cópias de um texto tem o vetor de contagens multiplicado por 2 e o mesmo cosseno.

Na bancada: no modo Projeção sobre uma reta, a leitura abaixo do quadro Projeção sobre a reta gerada por a mostra, para os vetores a e b desenhados no quadro, os produtos internos a^Tb e a^Ta e o ângulo θ entre a e b. No painel Exemplos, escolha Consulta e documento, Ângulo obtuso e b ortogonal a a.

Subespaços ortogonais e complemento ortogonal

V^⊥ é um subespaço de ℝⁿ. Ele contém o vetor nulo, pois v^T0 = 0 para todo v ∈ V. Se u, w ∈ V^⊥ e λ ∈ ℝ, então, para todo v ∈ V, v^T(u + w) = v^Tu + v^Tw = 0 e v^T(λu) = λv^Tu = 0. Logo u + w e λu pertencem a V^⊥.

Se V é o espaço gerado por v₁, …, v_ℓ, basta testar esses vetores: w ∈ V^⊥ se, e somente se, v₁^Tw = ⋯ = v_ℓ^Tw = 0. De fato, se w ∈ V^⊥, então v_j^Tw = 0 para cada j, pois cada v_j pertence a V. Reciprocamente, se esses produtos internos são nulos, todo v ∈ V se escreve como v = λ₁v₁ + ⋯ + λ_ℓv_ℓ e satisfaz v^Tw = λ₁v₁^Tw + ⋯ + λ_ℓv_ℓ^Tw = 0.

Dois subespaços ortogonais só têm o vetor nulo em comum: se v pertence aos dois, então v^Tv = 0, e logo v = 0.

Os subespaços fundamentais

Por quê. Para x ∈ ℝⁿ, a coordenada i de Ax é o produto interno de x com o vetor de ℝⁿ formado pelas entradas da linha i de A. Logo Ax = 0 se, e somente se, x é ortogonal a todas as linhas de A, que geram C(A^T). Pelo que vimos acima, isso equivale a x ∈ C(A^T)^⊥. A segunda igualdade é a primeira aplicada a A^T, cujas linhas são as colunas de A.

Se A tem posto r, as dimensões somam n e m: dim C(A^T) + dim N(A) = r + (n − r) = n e dim C(A) + dim N(A^T) = r + (m − r) = m. Na guia Projeção sobre um subespaço, o teorema reaparece assim: se as colunas de A são LI, cada b ∈ ℝ^m é a soma b = p + e da sua projeção p sobre C(A), que pertence a C(A), com o erro e = b − p, que pertence a N(A^T).

Na bancada: no modo Projeção sobre uma reta, o quadro A matriz P aplicada ao plano mostra a matriz de projeção P sobre a reta gerada pelo vetor a, definida na guia Projeção sobre uma reta. Ele desenha a reta C(P), que é a reta gerada por a, e a reta tracejada N(P). Como P é simétrica, C(P^T) = C(P), e o teorema diz que N(P) é o complemento ortogonal da reta gerada por a: arraste a e veja as duas retas continuarem ortogonais. No modo Projeção sobre um plano, em que A é a matriz de colunas a₁ e a₂, o vetor b do exemplo b = (−2, −2, 2)^T pertence a N(A^T), e a projeção de b é o vetor nulo.

A fórmula da projeção

Por quê. A demonstração tem três passos.

1. Para cada λ ∈ ℝ, a^T(b − λa) = a^Tb − λa^Ta. Como a ≠ 0, temos a^Ta > 0, e essa expressão se anula somente para λ = a^Tb / a^Ta = x̂. Logo p = x̂a é o único vetor da reta com erro ortogonal a a.
2. Para todo λ ∈ ℝ, vale b − λa = e + (x̂ − λ)a, e os vetores e e (x̂ − λ)a são ortogonais, pois a^Te = 0. Pelo teorema de Pitágoras, ‖b − λa‖² = ‖e‖² + (x̂ − λ)²‖a‖², que é maior que ‖e‖² sempre que λ ≠ x̂.
3. Com λ = 0, a igualdade do passo 2 fica ‖b‖² = ‖e‖² + x̂²‖a‖², e x̂²‖a‖² = (a^Tb)²/‖a‖². Como ‖e‖² ≥ 0, vale (a^Tb)² ≤ ‖a‖²‖b‖², isto é, |a^Tb| ≤ ‖a‖ ‖b‖. Essa é a desigualdade de Cauchy-Schwarz. Ela também vale com a = 0, pois então os dois lados são nulos.

A matriz de projeção sobre uma reta

Como x̂ é um escalar, p = x̂a = a(a^Tb)/(a^Ta) = (aa^T/a^Ta)b. Assim, p = Pb para todo b ∈ ℝⁿ, com a matriz n × n

que se chama matriz de projeção sobre a reta gerada por a. Ela é simétrica, pois (aa^T)^T = aa^T. A coluna j de aa^T é o produto da coordenada j de a pelo vetor a, e pelo menos uma coordenada de a não é nula. Logo o espaço das colunas C(P) é a reta gerada por a, e P tem posto 1. Além disso, P² = a(a^Ta)a^T/(a^Ta)² = P: como Pb já pertence à reta, a projeção de Pb é o próprio Pb. Por fim, Pb = 0 se, e somente se, a^Tb = 0; logo o espaço nulo N(P) é o complemento ortogonal da reta gerada por a.

Na bancada: no modo Projeção sobre uma reta, arraste a e b no quadro Projeção sobre a reta gerada por a. Marque Palpite λa sobre a reta no painel O que mostrar e arraste o ponto preto, que marca a ponta do palpite λa, um múltiplo de a: a distância ‖b − λa‖, na leitura abaixo do quadro, é mínima quando o segmento tracejado até b fica ortogonal à reta. O quadro A matriz P aplicada ao plano mostra P, P² e a imagem por P da figura de uma casa.

As equações normais

Por quê. A demonstração tem três passos.

1. A matriz A^TA, de tamanho n × n, é invertível. Se A^TAx = 0, então ‖Ax‖² = x^TA^TAx = 0, logo Ax = 0 e, como as colunas de A são LI, x = 0. Assim, a única solução de A^TAx = 0 é x = 0, e a matriz quadrada A^TA é invertível. Em particular, as equações normais têm uma única solução x̂.
2. Como x̂ resolve as equações normais, A^T(b − Ax̂) = 0, isto é, a₁^Te = ⋯ = a_n^Te = 0. O erro e é ortogonal a cada coluna de A e, portanto, a C(A), pela guia Subespaços ortogonais. Logo e ∈ N(A^T) = C(A)^⊥. Reciprocamente, se b − Ax é ortogonal a C(A), então A^T(b − Ax) = 0, e x resolve as equações normais.
3. Para todo x ∈ ℝⁿ, vale b − Ax = e + A(x̂ − x), e o vetor A(x̂ − x) pertence a C(A); logo é ortogonal a e. Pelo teorema de Pitágoras, ‖b − Ax‖² = ‖e‖² + ‖A(x̂ − x)‖². Se x ≠ x̂, então A(x̂ − x) ≠ 0, porque as colunas de A são LI, e ‖b − Ax‖² > ‖e‖².

A matriz de projeção

Como A^TA é invertível, x̂ = (A^TA)⁻¹A^Tb, e a projeção é p = Ax̂ = A(A^TA)⁻¹A^Tb. Assim, p = Pb para todo b ∈ ℝ^m, com a matriz m × m

que se chama matriz de projeção sobre C(A). Quando A tem uma única coluna a, a matriz A^TA = a^Ta é 1 × 1, isto é, um escalar, e P é a matriz aa^T/a^Ta da guia Projeção sobre uma reta. A matriz P satisfaz

De fato, P² = A(A^TA)⁻¹(A^TA)(A^TA)⁻¹A^T = P. Como A^TA é simétrica, ((A^TA)⁻¹)^T = ((A^TA)^T)⁻¹ = (A^TA)⁻¹, e logo P^T = A((A^TA)⁻¹)^TA^T = P. Com a identidade I de tamanho m × m, o erro é e = b − Pb = (I − P)b.

Não se pode simplificar P para I escrevendo (A^TA)⁻¹ = A⁻¹(A^T)⁻¹: essa igualdade só faz sentido quando A é quadrada e invertível. Nesse caso, C(A) = ℝ^m e, de fato, P = I. Quando A tem menos colunas do que linhas, C(A) não é ℝ^m, e P ≠ I.

Na bancada: no modo Projeção sobre um plano, o quadro Projeção sobre o plano C(A) desenha as colunas a₁ e a₂ de A, o plano C(A), o vetor b, a projeção p e o erro e, e o quadro Vista de perfil mostra o plano de lado. O quadro Equações normais mostra A^TA, A^Tb, x̂ e P em frações exatas. Nos exemplos Colunas quase paralelas e Colunas paralelas, do painel Exemplos, veja o que acontece quando o ângulo entre as colunas é pequeno e quando as colunas são LD.

Solução de mínimos quadrados

É o teorema da guia Projeção sobre um subespaço: o conjunto dos vetores Ax, com x ∈ ℝⁿ, é C(A), e minimizar ‖b − Ax‖ é encontrar o vetor de C(A) mais próximo de b. Se b ∈ C(A), as soluções de mínimos quadrados são as soluções de Ax = b, e e = 0.

Quando as colunas de A são LD, a projeção p de b sobre C(A) ainda existe: basta aplicar o teorema à matriz formada pelas colunas pivô de A, que são LI e geram C(A). Mas A^TA não é invertível, pois A^TAx = 0 para todo x ∈ N(A), e N(A) tem vetores não nulos. As soluções das equações normais são exatamente os vetores x̂ com Ax̂ = p, pois a equação A^T(b − Ax̂) = 0 diz que b − Ax̂ é ortogonal a C(A). Elas são infinitas e diferem entre si por vetores de N(A).

A reta de mínimos quadrados

Dados m pontos (t₁, y₁), …, (t_m, y_m), procuramos uma reta não vertical, que se escreve y = C + Dt, com coeficientes C e D. Exigir que ela passe por todos os pontos dá o sistema C + Dt_i = y_i, para i = 1, …, m. Esse sistema é Ax = b, com a matriz A de colunas (1, …, 1)^T e (t₁, …, t_m)^T, o vetor das incógnitas x = (C, D)^T e b = (y₁, …, y_m)^T. Com mais de dois pontos, em geral, ele não tem solução.

O erro vertical do ponto i é a diferença entre o valor medido y_i e o valor da reta no mesmo t_i; ele se escreve e_i = y_i − (C + Dt_i). A soma dos quadrados dos erros verticais se escreve E(C, D):

A reta de mínimos quadrados é a que torna E(C, D) mínima. Os erros são verticais porque a reta prevê y a partir de t. A distância perpendicular de um ponto à reta não entra na conta.

As colunas de A são LI se, e somente se, os t_i não são todos iguais. De fato, se todos os t_i são iguais a um mesmo valor t₀, a segunda coluna é t₀ vezes a primeira. Reciprocamente, se λ(1, …, 1)^T + μ(t₁, …, t_m)^T = 0 com λ e μ não ambos nulos, então μ ≠ 0, pois μ = 0 daria λ = 0. Logo todos os t_i valem −λ/μ.

Para escrever as equações normais, usamos as somas Σt_i = t₁ + ⋯ + t_m, Σt_i² = t₁² + ⋯ + t_m², Σy_i = y₁ + ⋯ + y_m e Σt_iy_i = t₁y₁ + ⋯ + t_my_m. Com elas, as equações normais A^TAx̂ = A^Tb, de incógnita x̂ = (C, D)^T, ficam

Quando os t_i não são todos iguais, esse sistema tem uma única solução. As duas equações são as condições ∂E/∂C = 0 e ∂E/∂D = 0 do Cálculo: ∂E/∂C = −2(e₁ + ⋯ + e_m) e ∂E/∂D = −2(t₁e₁ + ⋯ + t_me_m), e igualar essas derivadas a zero dá as duas linhas do sistema.

Na bancada: no modo Mínimos quadrados, arraste os pontos e as duas alças pretas da sua reta no quadro Pontos e retas; cada quadrado desenhado tem área igual ao quadrado de um erro vertical. O quadro Curvas de nível de E(C, D) representa cada reta por um ponto (C, D), e o quadro Soma dos quadrados e equações normais resolve as equações normais em frações exatas. Com três pontos, o botão Ver b em ℝ³, no painel Pontos (t, y), leva o problema ao modo Projeção sobre um plano.

Polinômios de grau no máximo k

Um polinômio de grau no máximo k na variável t se escreve q(t) = x₀ + x₁t + ⋯ + x_kt^k. Para ajustá-lo a m medições (t₁, y₁), …, (t_m, y_m), o sistema Ax = b tem a matriz A de linhas (1, t_i, t_i², …, t_i^k), o vetor das incógnitas x = (x₀, …, x_k)^T e b = (y₁, …, y_m)^T. A coordenada i de Ax é q(t_i). Com k = 1, é o sistema da reta de mínimos quadrados, com x₀ = C e x₁ = D.

Por quê. São três afirmações.

1. Colunas LI: se Ax = 0, o polinômio q de coeficientes x se anula nos m valores distintos t_i. Um polinômio não nulo de grau no máximo k tem no máximo k raízes, e k < m. Logo q é o polinômio nulo, e x = 0.
2. O erro não aumenta: a matriz do grau k + 1 é a do grau k com mais uma coluna, (t₁^k+1, …, t_m^k+1)^T. Logo o espaço das colunas do grau k + 1 contém o do grau k. A projeção p obtida com grau k pertence, então, ao subespaço maior, e o vetor desse subespaço mais próximo de b está a uma distância de b menor ou igual a ‖b − p‖.
3. Erro nulo: com k + 1 = m, a matriz A é quadrada e tem colunas LI; logo é invertível, C(A) = ℝ^m e p = b. O polinômio passa por todas as medições.

Um erro pequeno nas medições do ajuste não garante que o polinômio fique perto da função que gerou as medições. Suponha que cada medição seja o valor dessa função somado a um ruído, um valor aleatório. Com k perto de m − 1, o polinômio passa perto de cada medição, ruído incluído, e costuma oscilar entre medições vizinhas. Então o erro em medições novas, que não foram usadas no ajuste, pode ser bem maior que o erro nas medições do ajuste. Esse fenômeno se chama sobreajuste.

O traço de uma matriz quadrada é a soma das entradas da diagonal. O traço da matriz de projeção P = A(A^TA)⁻¹A^T, da guia Projeção sobre um subespaço, é k + 1, a dimensão de C(A). De fato, para quaisquer matrizes X e Y tais que X tem tantas linhas quanto Y tem colunas e tantas colunas quanto Y tem linhas, vale traço(XY) = traço(YX). Com X = A e Y = (A^TA)⁻¹A^T, temos traço P = traço((A^TA)⁻¹A^TA) = traço I = k + 1, pois aqui I é a identidade (k + 1) × (k + 1).

Na bancada: na parte Em dimensão n, escolha o programa e o número m de medições no painel Medições e o grau no controle Grau k do polinômio, ou clique numa barra do quadro Erro em função do grau k. O quadro A matriz de projeção P mostra P como mapa de cores, com o traço na leitura abaixo dele, e o quadro O erro e = b − p mostra o erro de cada medição.