Il n'y a pas de définition unique et cohérente des systèmes complexes. Aussi, pour en présenter les principales propriétés, je vais partir d'un sous-ensemble de systèmes complexes, les systèmes dynamiques non-linéaires (SDNL) bien caractérisés et étudiés, à la fois par des mathématiciens et des physiciens. Ils en ont dégagé un certain nombre de propriétés caractéristiques qui se retrouvent dans les systèmes complexes en général (1).
Système signifie qu'on s'intéresse à une collection d'objets en interactions, prise dans son ensemble, à ses caractéristiques globales et à la nature des interactions entre ses composantes. En tant que tel, le système va donc aussi dépendre du point de vue qui pousse à regrouper telles ou telles composantes. Le système solaire comprend le Soleil et les planètes, mais la Terre est elle-même un système, ou un ensemble de systèmes. La démarche consiste d'abord à faire le relevé des objets du système et de leurs interactions, sous forme d'une carte, comme la carte routière reliant les villes d'une région, ou la carte du ciel, ou le graphe des régulations géniques (2). Le terme structure a parfois été utilisé en ce sens (3).
(1) Cf introduction dans SEL00 : Lucien Sève, Janine Guespin-Michel, Roland Charlionet, Philippe Gascuel, François Gaudin, José Gayoso, Camille Ripoll, Émergence, complexité et dialectique, Odile Jacob, 2005, ISBN : 978-2-738116-26-0
(2) Cette démarche, dont l'exhaustivité est généralement impossible, n'est pas simple et nous y reviendrons dans le chapitre Le complexe comme mode de pensée
(3) Par exemple par dans l'introduction de PIJ00 : Jean Piaget, Le structuralisme, PUF, 1968, ISBN : 978-2-13-073493-2 pour la ré-édition 2016.
L'étude des systèmes dynamiques a en revanche pour objet de décrire les changements dans le temps et l'espace (transformations) de l'état des systèmes en fonction des causes de ces changements dans la mesure où ces causes sont justement les interactions entre les objets du système (causes internes). C'est là qu'interviennent les mathématiques lorsque l'évolution de systèmes dynamiques en fonction du temps peut être modélisée par des systèmes d'équations différentielles ordinaires. Le comportement de chaque variable du système est défini par sa tendance à tout moment (augmenter, diminuer, rester stable), en fonction de l'influence des autres variables du système. On résout mathématiquement un système dynamique si l'on peut retracer l'évolution de chaque variable en fonction du temps (ce qui s'appelle intégrer les équations différentielles). Très souvent, le système évolue au cours du temps vers sa solution, où les valeurs des variables ne changent plus. Cela peut signifier que le système a atteint un équilibre et ne bouge plus (comme le pendule arrivé en bout de course), mais cela signifie le plus souvent que toutes les transformations se compensent comme la célèbre baignoire qui se remplit à la même vitesse qu'elle se vide et dont le volume d'eau reste constant. On parle alors d'état stationnaire. Celui-ci peut être stable, comme dans le cas de la baignoire, ou instable comme le crayon que l'on pose sur sa pointe. On distingue les dynamiques linéaires, connues et étudiées depuis longtemps, et les dynamiques non-linéaires qui appartiennent aux systèmes complexes.