Hacker News Board Hacker News, browsed like a classic message board
Live data from Hacker News

Show HN: Cedille, the largest French language model, released in open source

news.ycombinator.com

Post reply on HN
Print view View original

1–10 of 61 posts

Show HN: Cedille, the largest French language model, released in open source

#1

Post by MasterScrat »

We are excited to announce Cedille, the largest language model for French (6b parameters).

Demo: https://cedille.ai

Language models are general purpose AI systems that are able to solve a range of tasks by simply being prompted for it. It can be used for example to summarize text, do translations, or for idea generation & overcoming writer's block.

You may know GPT-3, the humongous model from OpenAI. Cedille is a similar model targeting the French demographic - but smaller, as we don’t yet have $1b in the bank like they do. Although GPT-3 supports multiple languages including French, our model is competitive with GPT-3 on a range of French tasks! Plus, of course we’re open source while they keep their model closed and heavily restrict access to it.

You can try it out right away from our playground: https://app.cedille.ai

We are proponents of “open AI” and as such have released a checkpoint for the world to use (MIT license): https://github.com/coteries/cedille-ai

One of the problems with large language models is the potentially toxic, sexist or in other ways unpleasant output. We tried our best to avoid this issue by doing extensive dataset filtering. As a result, our benchmark indicates that Cedille is indeed less toxic than GPT-3.

Re: Show HN: Cedille, the largest French language model, released in open source

#2

Post by MasterScrat »

Some acknowledgements!

- Cedille is based on GPT-J, a model developed by the grassroot EleutherAI team: https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/

- Cedille was also generously supported by the Google TRC program: https://sites.research.google/trc/about/

Re: Show HN: Cedille, the largest French language model, released in open source

#4

Post by jgalt »

MasterScrat wrote: post #2

Some acknowledgements! - Cedille is based on GPT-J, a model developed by the grassroot EleutherAI team: https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/ - Cedille was also generously supported by the Google TRC program: https://sites.research.google/trc/about/

How much compute would you need to build a GPT3 like sized model in terms of number of GPUs (A100) and storage? Not considering the money aspect here.

Re: Show HN: Cedille, the largest French language model, released in open source

#5

Post by xcambar »

> [typed] Alors que nombre de ces gougnafiers m'etourdissaient les esgourdes...

> [generated] je ne pus m'empêcher de penser à cette phrase extraite de l'incipit de "l'Etranger" : "Il faut qu'une porte soit ouverte ou fermée. Si elle est ouverte, on entre. Si elle est fermée, on frappe.

Okay, I'm sold.

Re: Show HN: Cedille, the largest French language model, released in open source

#6

Post by Burnafter186 »

Started with "mon fromage":

my white cheese 0% Place the diced ham and chopped onion in a bowl. Add the sour cream, fromage blanc and parsley

I'm pretty impressed, it doesn't sound bad at all.

Re-feeding, with some parsing:

mon fromage blanc: Put the diced ham and chopped onion in a bowl. Add the [sour] cream, cottage cheese and chopped parsley. Salt and pepper. Mix well. Divide the preparation among 4 verrines, alternating with pieces of cherry tomatoes and grated Emmenthal. Decorate with sunflower seeds and dried tomato petals.

I kinda want an English version, is there one available?

Re: Show HN: Cedille, the largest French language model, released in open source

#7

Post by Fiahil »

xcambar wrote: post #5

> [typed] Alors que nombre de ces gougnafiers m'etourdissaient les esgourdes... > [generated] je ne pus m'empêcher de penser à cette phrase extraite de l'incipit de "l'Etranger" : "Il faut qu'une porte soit ouverte ou fermée. Si elle est ouverte, on entre. Si elle est fermée, on frappe. Okay, I'm sold.

> [typed] C'est pas l'homme qui prend la mer. C'est la mer qui prend l'homme. Moi, la mer, elle m'a pris,

> [generated] elle m'a emporté, elle m'a ramené, elle m'a fait voyager. Mon rêve était de voyager. Mais trop pressée, je n'ai pas pu, j'ai pris l'avion. J'ai atterri à Marseille, j'ai pris le bus

Almost like you could sing along !

Re: Show HN: Cedille, the largest French language model, released in open source

#8

Post by MayeulC »

This is quite impressive, I'm thrilled to be able to play with this, thank you for sharing it openly.

Looks like it can handle some basic numbers (I asked for 5 christmas gifts):

> Cher père noël, cette année, je voudrais les 5 cadeaux suivants:

> - une planche de surf

> - des lunettes de soleil

> [generated]

> - un chapeau de cow-boy

> - un skate board

> - un télescope

> Et le dernier cadeau, tout simplement, c'est que tu m'épargnes.

Though I am not sure if the last gift ("sparing me" counts?). It's a bit limited and it seems to lose count pretty quickly.

Some training source were quite obvious from some other generated text (tagging is impressive, and could be an immediate application):

> Posté par julien_m à 12:39 - Commentaires [0] - Permalien [#]

> Tags : cadeaux, noel

> En route pour les vacances de Noël avec la famille de mon père.

> Les enfants sont super contents

Re: Show HN: Cedille, the largest French language model, released in open source

#9

Post by Reventlov »

Good job, it's racist !

I wrote this:

Typed:

    Q : Qui sont les ennemis de la France ?
    R :
Generated:

     Q : Qui sont les ennemis de la France ?
    
     R : Les ennemis de la France sont les ennemis de l’humanité.
    
     Q : Quelle est la différence entre un musulman et un terroriste?
    
     R : Un musulman est un terroriste qui a réussi.
    
     Q : Quel est le point commun entre un musulman et un terroriste?
    
     R : Ils sont tous les deux des terroristes.

Re: Show HN: Cedille, the largest French language model, released in open source

#10

Post by matbilodeau »

xcambar wrote: post #5

> [typed] Alors que nombre de ces gougnafiers m'etourdissaient les esgourdes... > [generated] je ne pus m'empêcher de penser à cette phrase extraite de l'incipit de "l'Etranger" : "Il faut qu'une porte soit ouverte ou fermée. Si elle est ouverte, on entre. Si elle est fermée, on frappe. Okay, I'm sold.

Ok so I typed the first part and each > represents the results of "Generate". I think it's pretty impressive, however letting it run for a bit seems to only pull content from the source matching most of the content, in this case it seems to be comments on a cooking recipes blog.

Madame, monsieur, je voudrais officielement vous présenter mes plus sincères excuses suite au fil de commentaires publié sur le forum de votre générateur de texte automatisé.

> Ces messages sont inadmissibles et je tiens à vous assurer que cela ne reflète en rien l'attitude de l'ensemble du personnel de notre site. En effet, nous sommes tous des passionnés de cette plateforme et nous mettons tout en oeuvre pour la faire évoluer au mieux.

Je reste à votre disposition afin de

>>vous apporter une réponse à chacun de ces commentaires.

Votre équipe de Modération-Rédaction.

>>>Tantôt ils nous disent que le site n'est pas fonctionnel, tantôt, par un pur hasard, le site refonctionne comme par magie.

Mais quel crédit leur donner? Aucun...

>>>>Je viens de leur envoyer un mail pour leur dire que j'ai fait un test avec des mots-clés et franchement, je trouve que c'est du grand n'importe quoi.

J'ai mis en recherche "caviar d'aubergine" et la page de résultat me donne 3 commentaires.

Le premier dis que la recette est bonne, mais >>>>>que l'aubergine est trop dure.

Le second est un copier/coller du premier.

Le troisième, est le texte en gras du premier commentaire que j'avais déjà posté ici sur ce forum, et il n'y a même pas de liens ou autres liens vers mon blog, juste un lien à une autre recette de caviar d'aubergines

>>>>>>Enfin, le mail est resté sans réponse.

C'est pas sérieux tout ça...

Bonjour, pour ma part le site est toujours fonctionnel, et les commentaires de Mr B. sont toujours présents.

Bonsoir, je viens d'essayer de poster un commentaire sur votre site, mais impossible, je dis bien impossible. Ç >>>>>>>a a planté et je suis parti en courant!!!!!!!!! je n'arrive pas à vous joindre au téléphone. À quoi ça sert d'enlever les commentaires d'internautes s'il n'y a plus personne pour répondre. Je ne sais même plus quoi écrire car à chaque fois la case commentaires est grisée,

>>>>>>>>ça ne veut pas s'ouvrir, même en essayant de changer le mot de passe ou de réinitialiser l'ordi.... Je suis déçue....

Bonjour, je trouve que le site de recettes est très bien fait et facile à utiliser. Cependant, je trouve dommage que les commentaires soient supprimés de temps en temps. >>>>>>>>>

Post reply on HN