Protéiforme, se ramifiant en d'innombrables sous-genres, le roman est un genre littéraire particulièrement difficile à cerner. Toutefois, des constantes semblent se dégager, qui constituent les conventions romanesques : selon la définition du Petit Robert, le roman est une « œuvre d'imagination en prose, assez longue, qui présente et fait vivre dans un milieu des personnages donnés comme réels, fait connaître leur psychologie, leur destin, leurs aventures ». Lorsque l'on ouvre un roman, on s'attend à y retrouver ces éléments : c'est ce que l'on appelle l'horizon d'attente du lecteur. Or, certains romanciers du xx^e siècle ont pris le parti, dans leurs œuvres, de rompre avec les conventions romanesques, de déconstruire le genre. En quoi consiste cette « crise du roman » ?

L'histoire littéraire est jalonnée de textes qui, bien avant la crise du xx^e siècle, ont mis en cause le roman. Voici par exemple l'incipit du roman de Diderot, Jacques le fataliste (1796) : « Comment s'étaient-ils rencontrés ? Par hasard, comme tout le monde. Comment s'appelaient-ils ? Que vous importe ? D'où venaient-ils ? Du lieu de plus prochain. Où allaient-ils ? Est-ce que l'on sait où l'on va ? Que disaient-ils ? Le maître ne disait rien ; et Jacques disait que son capitaine disait que tout ce qui nous arrive de bien et de mal ici-bas était écrit là-haut. »

Dans cet extrait comme dans l'ensemble du roman, Diderot joue avec les conventions romanesques : il mime les questions traditionnelles du lecteur et refuse délibérément d'y répondre. Le narrateur de ce roman est omniscient (comme c'est souvent le cas), mais au lieu de tout dire des personnages, de leur passé et de leurs sentiments, il joue justement de son omniscience pour dérouter le lecteur.

De même, Furetière, en 1666, révolutionne dans le Roman bourgeois les conventions romanesques de son époque, d'une part en prenant pour personnages principaux de simples bourgeois (et non des aristocrates comme il était d'usage), d'autre part en construisant son récit de façon décousue, interrompant sans cesse la narration par des anecdotes, des commentaires, des fragments de discours, etc. Dans l'extrait suivant, il évoque avec humour la tradition des romans précieux qui veut que l'on rapporte en détail les paroles d'un amant venu enlever sa belle (ici, Javotte) : « Je ne tiens pas nécessaire de vous rapporter ici par le menu tous les sentiments passionnés qu'il étala et toutes les raisons qu'il allégua pour l'y faire résoudre, non plus que les honnêtes résistances qu'y fit Javotte, et les combats de l'amour et de l'honneur qui se firent dans son esprit : car vous n'êtes guère versés dans la lecture des romans, ou vous devez savoir vingt ou trente de ces entretiens par coeur, pour peu que vous ayez de la mémoire. Ils sont si communs que j'ai vu des gens qui, pour marquer l'endroit où ils en étaient d'une histoire, disaient 'J'en suis au huitième enlèvement', au lieu de dire : 'J'en suis au huitième tome.' ».

De nombreux grands romans du xx^e siècle témoignent de recherches formelles et thématiques qui mettent en cause le genre : Ulysse de James Joyce (1922), À la recherche du temps perdu de Marcel Proust (1913-1927), Voyage au bout de la nuit de Céline (1932), l'Homme sans qualités de Robert Musil (1930-1952), l'Étranger d'Albert Camus (1942).

Toutes ses œuvres, chacune à leur façon, mettent en cause les grands traits du genre romanesque : la psychologie des personnages, la notion de héros, la narration linéaire, etc. Chez Musil ou Céline, par exemple, le héros n'est plus cet être hors du commun, choisi par le destin, ou dont les épreuves forgent le caractère. Il est sans consistance, sans histoire (« sans qualités »), et sa vie n'est constituée que de fragments dissociés, privés de sens.

Au début des années 1950, un petit groupe d'écrivains français remet en cause de façon plus radicale les principes qui fondent le roman réaliste traditionnel. Ils se nomment Nathalie Sarraute, Alain Robbe-Grillet, Claude Simon, Michel Butor, Marguerite Duras, etc. Ils appartiennent à la mouvance du « Nouveau Roman » qui constitue peut-être la plus grande crise que le roman ait connue.

Pour ces romanciers, le monde moderne a fait entrer la littérature dans « l'Ère du soupçon » (selon le titre d'un recueil de Sarraute) : on ne peut plus croire aux histoires trop simples qu'on nous raconte et ce « soupçon » s'applique d'abord aux personnages. Ainsi, par exemple, dans cet extrait du Planétarium (Sarraute, 1959), Tante Berthe se plaint à son frère Pierre de la méchanceté de son fils Alain, puis observe sa réaction : « Il se renverse en arrière... 'Ah, sacré Alain va, qu'est-ce qu'il a encore fait ?' Elle sait, elle reconnaît aussitôt ce qu'il regarde en lui-même avec ce sourire intérieur, le film qu'il est en train de projeter pour lui tout seul sur son écran intérieur : [...] lui devenu tout vieux et pauvre, debout dans la foule, là, au bord de la chaussée, serrant contre lui, car il fait froid, son pardessus râpé, et attendant pour voir le beau cavalier (elle sentait à ce moment quelle volupté il éprouvait à voir dans les yeux de l'enfant, sous les larmes de tendresse, de déchirante tendresse, briller des éclairs d'orgueil), le conquérant intrépide, dur et fort, traînant tous les cœurs après soi..., etc. »

Ce texte montre comment le personnage de Berthe est happé par l'univers intérieur de l'autre, et comment l'écriture romanesque est elle-même entraînée par la force du « tropisme » : on passe de l'intérieur de Berthe à l'intérieur de Pierre, lui-même fasciné par Alain ; les propos que Berthe se tient à elle-même sont écrasés par un magma de citations et de clichés ; le « moi » n'existe plus en lui-même. Du coup, il devient impossible d'articuler, comme le faisait Balzac, les histoires à la volonté d'un personnage placé au centre de l'aventure.

L'histoire et l'espace subissent le même traitement. Les temps se mélangent, l'imaginaire prend le pas sur la réalité, la réalité elle-même se transforme dans d'interminables descriptions.

Le Nouveau Roman, sans parvenir à supplanter le roman traditionnel, propose ainsi à des lecteurs curieux des narrations insolites où la force du langage et de l'imaginaire perturbent nos repères et modifient notre vision du monde.

Autre mise en cause du roman, l'OuLiPo (OUvroir de LIttérature POtentielle) est un mouvement créé en 1960 par Raymond Queneau et François Le Lionnais. Leur objectif est d'explorer méthodiquement les potentialités de la langue française et de la littérature. L'une de leurs méthodes consiste ainsi à se donner des contraintes formelles très fortes, comme par exemple rédiger un récit complet sans utiliser la lettre e (c'est le cas dans la Disparition de Georges Perec). De même, Queneau construit le roman les Fleurs bleues sur un schéma mathématique : divisé en quatre séquences par bonds de 175 ans, le roman s'achève en 1964 qui est le moment de l'écriture. L'auteur est alors contraint par son propre schéma à prendre en compte les événements qui se sont produits en 1264, 1439, 1614, 1789 et 1964. Tel est l'un des principes de l'OuLiPo : c'est la forme choisie qui construit le récit.

« Le nouveau roman met en cause, en effet, avec une virulence quasiment croissante au fil des livres, un phénomène d'envergure, franchement ou insidieusement actif dans la plupart des institutions humaines, et peut-être l'objet d'une manière de tabou : le RÉCIT. » (Jean Ricardou, le Nouveau Roman.)