A origem do pensamento matemático jaz nos conceitos de número, magnitude e forma. Estudos modernos da cognição animal mostraram que tais conceitos não são unicamente humanos. Eles teriam sido parte da vida cotidiana de sociedades de indivíduos caçadores-coletores. Ademais, que o conceito de número tenha se desenvolvido paulatinamente ao longo do tempo, isto fica evidente com o fato de que algumas línguas atuais preservam a distinção entre "um", "dois" e "muitos", mas não em relação a números maiores do que dois.

O objeto matemático reconhecido como possivelmente o mais antigo é o osso de Lebombo, descoberto nos montes Libombos, na Suazilândia, e datado de aproximadamente 35000 anos a.C. Tal osso consiste em 29 entalhes feitos em uma fíbula (ou perônio) de um babuíno. Também foram descobertos artefatos pré-históricos na África e na França, datados de entre 35000 e 20000 anos atrás, os quais sugerem tentativas arcaicas de quantificação do tempo. No livro How Mathematics Happened: The First 50,000 Years (sem versão em português), por exemplo, Peter Rudman argumenta que o desenvolvimento do conceito de números primos apenas pôde ter surgido depois do conceito de divisão, a qual é por ele datada de após 10000 a.C., sendo que os números primos provavelmente não eram entendidos até em torno de 500 a.C. Ele também escreve que "não foi feita nenhuma tentativa de explicar por que razão uma talha de alguma coisa deve apresentar múltiplos de dois, números primos entre 10 e 20 e alguns números que são quase múltiplos de 10."

O osso de Ishango, descoberto perto das cabeceiras do rio Nilo, pode possuir algo como 20000 anos de existência e consiste em uma série de talhas marcadas em três colunas ao longo do comprimento do osso. As interpretações mais habituais a respeito de tal osso dizem que ele mostra ou a mais antiga demonstração conhecida de sequências de números primos ou então um calendário lunar de seis meses. Há também egípcios do período pré-dinástico do quinto milênio a.C. que representaram pictoricamente as figuras geométricas. Além disso, reivindica-se que os monumentos megalíticos presentes na Inglaterra e na Escócia, datados do terceiro milênio a.C., incorporam em suas formas ideias tais como a de círculo, a de elipse e os triplos pitagóricos.