O Método dos Mínimos Quadrados (MMQ), ou Mínimos Quadrados Ordinários (MQO) ou OLS (do inglês Ordinary Least Squares) é uma técnica de otimização matemática que procura encontrar o melhor ajuste para um conjunto de dados tentando minimizar a soma dos quadrados das diferenças entre o valor estimado e os dados observados (tais diferenças são chamadas resíduos).
É a forma de estimação mais amplamente utilizada na Geodésia e também na econometria. Consiste em um estimador que minimiza a soma dos quadrados dos resíduos da regressão, de forma a maximizar o grau de ajuste do modelo aos dados observados.
Um requisito para o método dos mínimos quadrados é que o fator imprevisível (erro) seja distribuído aleatoriamente e essa distribuição seja normal. O Teorema Gauss-Markov garante (embora indiretamente) que o estimador de mínimos quadrados é o estimador não-enviesado de mínima variância linear na variável resposta.
Outro requisito é que o modelo é linear nos parâmetros, ou seja, as variáveis apresentam uma relação linear entre si. Caso contrário, deveria ser usado um modelo de regressão não-linear ou linearizar o modelo por meio da aproximação até a primeira ordem do uso da Série de Taylor.
Credita-se Carl Friedrich Gauss como o desenvolvedor das bases fundamentais do método dos mínimos quadrados, em 1795, quando Gauss tinha apenas dezoito anos. Entretanto, Adrien-Marie Legendre foi o primeiro a publicar o método em 1805, em seu Nouvelles méthodes pour la détermination des orbites des comètes. Gauss publicou suas conclusões apenas em 1809.
História
Fundação O método dos mínimos quadrados mostrou -se dos campos da astronomia e geodésia , à medida que cientistas e matemáticos procuravam proporcionar soluções para os desafios de navegar nos oceanos da Terra durante a Era da Exploração . A descrição precisa do comportamento dos corpos celestes era a chave para permitir que os navios navegassem em mar aberto, onde os marinheiros não podiam mais depender de avistamentos em terra para navegação.
O método foi o culminar de vários avanços ocorridos ao longo do século XVIII:
· A combinação de diferentes observações como sendo a melhor estimativa do valor verdadeiro; os erros diminuem com a agregação em vez de aumentar, talvez expressos pela primeira vez por Roger Cotes em 1722.
· A combinação de diferentes observações feitas nas mesmas condições, ao contrário de simplesmente tentar o melhor para observar e registrar uma única observação com precisão. A abordagem era conhecida como método das médias. Esta abordagem foi usada notavelmente por Tobias Mayer enquanto estudava as librações da lua em 1750, e por Pierre-Simon Laplace em seu trabalho para explicar as diferenças no movimento de Júpiter e Saturno em 1788.
· A combinação de diferentes observações feitas em diferentes condições. O método veio a ser conhecido como o método do menor desvio absoluto. Foi notadamente realizado por Roger Joseph Boscovich em seu trabalho sobre a forma da Terra em 1757 e por Pierre-Simon Laplace para o mesmo problema em 1799.
· O desenvolvimento de um critério que pode ser avaliado para determinar quando a solução com o erro mínimo foi alcançada. Laplace tentou especificar uma forma matemática da densidade de probabilidade dos erros e definir um método de estimativa que minimiza o erro de estimativa. Para este propósito, Laplace usou uma distribuição exponencial bilateral simétrica que agora chamamos de distribuição de Laplace para modelar a distribuição do erro, e usou a soma dos desvios absolutos como erro de estimativa. Ele achava que essas eram as suposições mais simples que poderia fazer e esperava obter a média aritmética como a melhor estimativa. Em vez disso, seu estimador foi a mediana posterior.
O método A primeira exposição clara e concisa do método dos mínimos quadrados foi publicada por Legendre em 1805. A técnica é descrita como um procedimento algébrico para ajustar equações lineares aos dados e Legendre demonstra o novo método analisando os mesmos dados que Laplace para a forma da terra. O valor do método dos mínimos quadrados de Legendre foi imediatamente reconhecido pelos principais astrônomos e geodesistas da época. [ citação necessária ]
Em 1809, Carl Friedrich Gauss publicou seu método de cálculo das órbitas dos corpos celestes. Naquela obra, ele afirmou ter possuído o método dos mínimos quadrados desde 1795. Isso naturalmente levou a uma disputa de prioridade com Legendre. No entanto, para crédito de Gauss, ele foi além de Legendre e conseguiu conectar o método dos mínimos quadrados aos princípios da probabilidade e à distribuição normal . Ele conseguiu completar o programa de Laplace de especificar uma forma matemática da densidade de probabilidade para as observações, dependendo de um número finito de parâmetros desconhecidos, e definir um método de estimativa que minimiza o erro de estimativa. Gauss mostrou que a média aritméticaé de fato a melhor estimativa do parâmetro de localização, alterando a densidade de probabilidade e o método de estimativa. Ele então mudou o problema perguntando que forma a densidade deveria ter e que método de estimativa deveria ser usado para obter a média aritmética como estimativa do parâmetro de localização. Nessa tentativa, ele inventou a distribuição normal.
Uma das primeiras demonstrações da força do método de Gauss veio quando ele foi usado para prever a localização futura do recém-descoberto asteróide Ceres . Em 1 de janeiro de 1801, o astrônomo italiano Giuseppe Piazzi descobriu Ceres e foi capaz de rastrear seu caminho por 40 dias antes que se perdesse no brilho do sol. Com base nesses dados, os astrônomos desejavam determinar a localização de Ceres depois que ela emergiu atrás do sol, sem resolver as complicadas equações não lineares de Kepler do movimento planetário. As únicas previsões que permitiram com sucesso ao astrônomo húngaro Franz Xaver von Zach realocar Ceres foram aquelas realizadas por Gauss, de 24 anos, usando análise de mínimos quadrados.
Em 1810, depois de ler o trabalho de Gauss, Laplace, depois de provar o teorema do limite central , usou-o para dar uma grande amostra de justificação para o método dos mínimos quadrados e da distribuição normal. Em 1822, Gauss foi capaz de afirmar que a abordagem de mínimos quadrados para análise de regressão é ótima no sentido de que em um modelo linear onde os erros têm uma média de zero, não são correlacionados e têm variâncias iguais, o melhor estimador linear imparcial de os coeficientes é o estimador de mínimos quadrados. Este resultado é conhecido como teorema de Gauss-Markov .
O conceito da análise de mínimos quadrados também foi formulada de forma independente pelo americano Robert Adrain em 1808. Nos dois séculos posteriores, os pesquisadores da teoria dos erros e da estatística encontraram muitas maneiras diferentes de implementar os mínimos quadrado
Demonstração do Problema miniaturadaimagem|251x251px|Gráfico 1 - Os resíduos são plotados em relação aos valores de . As flutuações aleatórias sobre indicam que o modelo linear é apropriado.
O objetivo desse método consiste em ajustar os parâmetros de uma função modelo para que ela se ajuste melhor à um conjunto de dados. Um conjunto de dados simples consiste em n pontos (pares ordenados) , i = 1, ..., n, onde é uma variável independente e é uma variável dependente cujo valor é encontrado por observação.
A função modelo tem fórmula , onde m parâmetros ajustáveis são mantidos no vetor β. O objetivo é encontrar os valores dos parâmentros para o modelo que "melhor" se ajusta aos dados.
O ajuste do modelo é feito por seu resíduo, definido como a diferênça entre o valor real da variável dependente e o valor predito pelo modelo:
miniaturadaimagem|251x251px|Gráfico 2 - Os resíduos são plotados em relação aos valores de . A forma parabólica das flutuações sobre indicam que o modelo parabólico é apropriado.
O método dos quadrados mínimos, então, encontra os valores dos parâmentros ideiais, minimizando a soma , dos quadrados residuais:
Um exemplo de modelo em duas dimensões é o da linha reta. Denotando a intercepção em y como e a inclinação como , a função do modelo é dada por:
Pode ocorrer de um conjunto de dados possuir mais de uma variável independente. Por exemplo, ao ajustar um plano a um conjunto de medidas de alturas, o plano é função de duas variáveis independentes, e , digamos. No caso mais geral, pode haver uma ou mais variáveis independentes e uma ou mais variáveis dependentes em cada par ordenado.
No Gráfico 1 está representado um gráfico residual ilustrando flutuações aleatóreas sobre , indicando que o modelo linear é apopriado, onde é uma variável independente e aleatória.
Se os pontos residuais tivessem algum tipo de forma e não estivessem flutuando aleatoriamente, um modelo linear não seria apropriado. Por exemplo, se o gráfico residual tivesse uma forma parabólica, conforme visto no Gráfico 2, um modelo parabólico seria mais apropriado para o conjunto.
Os resíduos para um modelo parabólico podem ser calculados pela fórmula
Regressão simples Queremos estimar valores de determinada variável . Para isso, consideramos os valores de outra variável que acreditamos ter poder de explicação sobre conforme a fórmula:
onde: : Parâmetro do modelo chamado de constante (porque não depende de ). : Parâmetro do modelo chamado de coeficiente da variável . : Erro - representa a variação de que não é explicada pelo modelo.
Também temos uma base de dados com valores observados de e de . Perceba que, usando a base de dados, e são vetores, ou seja, representam uma lista de valores, um para cada observação da base de dados. O método dos mínimos quadrados ajuda a encontrar as estimativas de e . Como o nome diz, serão somente estimativas desses parâmetros, porque o valor real dos parâmetros são desconhecidos. Portanto, ao fazer a estimativa, mudamos a notação de algumas variáveis:
Deste modo, ao estimar o modelo usando a base de dados, estamos estimando, na verdade:
onde indica cada uma das observações da base de dados e passa a ser chamado de resíduo, ao invés de erro. Em alguns livros, a notação para as estimativas dos parâmetros é um pouco diferente. Ao invés de substituir a letra, apenas adiciona-se o símbolo chapéu ().
O método dos mínimos quadrados minimiza a soma dos quadrado dos resíduos, ou seja, minimiza .
A ideia por trás dessa técnica é que, minimizando a soma do quadrado dos resíduos, encontraremos e que trarão a menor diferença entre a previsão de e o realmente observado.
Substituindo por , temos:
A minimização se dá ao derivar em relação a e utilizando a regra da cadeia e então igualar a zero:
Distribuindo e dividindo a primeira expressão por temos:
onde é a média amostral de e é a média amostral de .
Substituindo esse resultado na segunda expressão temos:
Alguns livros também usam uma fórmula diferente que gera o mesmo resultado:
Primeiro exemplo de regressão simples borda|direita|407px
Considere a seguinte base de dados:
Consumo Renda 1 122 139 2 114 126 3 86 90 4 134 144 5 146 163 6 107 136 7 68 61 8 117 62 9 71 4110 98 120
Aplicando as fórmulas acima, chega-se em:
portanto,
Interpretação: Tirando a parte do Consumo que não é influenciada pela Renda, o incremento de $ 1 na Renda causa um incremento esperado de $ 0,4954 no Consumo.
Segundo exemplo de regressão simples Considere os seguintes dados experimentais de 5 amostras de tensão e corrente em um indutor de indutância L desconhecida: AmostraTensão (V)Corrente (A)170,229,4290,115,93131,720,744159,1426,515186,1327,4 Deseja-se ajustar os dados a um modelo linear da forma:
onde:
representa o coeficiente angular da reta (indutância); representa o intercepto.
Cálculo pelo método dos mínimos quadrados A equação geral da regressão linear simples é:
Identificando:
O coeficiente angular é dado por:
Cálculo dos termos auxiliares Calculam-se as seguintes grandezas: