Hacker News Board Hacker News, browsed like a classic message board
Live data from Hacker News

Show HN: Cedille, the largest French language model, released in open source

news.ycombinator.com

Post reply on HN
Print view View original

51–60 of 61 posts

Re: Show HN: Cedille, the largest French language model, released in open source

#51

Post by caporaltito »

xcambar wrote: post #5

> [typed] Alors que nombre de ces gougnafiers m'etourdissaient les esgourdes... > [generated] je ne pus m'empêcher de penser à cette phrase extraite de l'incipit de "l'Etranger" : "Il faut qu'une porte soit ouverte ou fermée. Si elle est ouverte, on entre. Si elle est fermée, on frappe. Okay, I'm sold.

> [typed] Je travaille en tant que développeur au sein d'une grosse société allemande spécialisée dans les nouveaux médias.

> [generated] Ma mission consiste à développer des applications pour tablettes, smartphones et PC. J'ai aussi un job de musicien au sein du groupe de jazz Fusion The Black Trombonist.

Wow, I never knew I am into jazz and live the double life.

Re: Show HN: Cedille, the largest French language model, released in open source

#52

Post by glandium »

jidey wrote: post #48
xcambar wrote: post #45

Earlier quoted context omitted.

For the non french, it's the beginning of a famous song by Renaud, "La mer". And the generated lyrics could fit the tempo of the song but mostly make it very funny! I'd laugh to hear Renaud sing "I was yoo much in a hurry; I took the plane; I landed in Marseille; I took the bus"

The song is called "Dès que le vent soufflera" ;)

  Dès que le vent soufflera
  Je repartira
  Dès que les vents tourneront
  Nous nous en allerons (de requin)
I wonder if any model could end up being this creative with conjugation and plays on words.

For the non-French speakers, repartira and allerons are wrong conjugations (should be repartirai and irons) and allerons (de requin) is a play on words because allerons is close to ailerons (fins; and requin is shark).

Re: Show HN: Cedille, the largest French language model, released in open source

#53

Post by xcambar »

jidey wrote: post #48
xcambar wrote: post #45

Earlier quoted context omitted.

For the non french, it's the beginning of a famous song by Renaud, "La mer". And the generated lyrics could fit the tempo of the song but mostly make it very funny! I'd laugh to hear Renaud sing "I was yoo much in a hurry; I took the plane; I landed in Marseille; I took the bus"

The song is called "Dès que le vent soufflera" ;)

I should have known better!

Re: Show HN: Cedille, the largest French language model, released in open source

#54

Post by xcambar »

caporaltito wrote: post #51
xcambar wrote: post #5

> [typed] Alors que nombre de ces gougnafiers m'etourdissaient les esgourdes... > [generated] je ne pus m'empêcher de penser à cette phrase extraite de l'incipit de "l'Etranger" : "Il faut qu'une porte soit ouverte ou fermée. Si elle est ouverte, on entre. Si elle est fermée, on frappe. Okay, I'm sold.

> [typed] Je travaille en tant que développeur au sein d'une grosse société allemande spécialisée dans les nouveaux médias. > [generated] Ma mission consiste à développer des applications pour tablettes, smartphones et PC. J'ai aussi un job de musicien au sein du groupe de jazz Fusion The Black Trombonist. Wow, I never knew I am into jazz and live the double life.

Please do a "Show HN" when your first (generated, AI-based) album is out.

Re: Show HN: Cedille, the largest French language model, released in open source

#55

Post by twanvl »

Bayart wrote: post #21

Question to people interested in designing those types of models : what does it matter if the output is "toxic" ? People are toxic ! I find the idea of sanitizing robots to be some kind of idealized, purified human projection (by utterly transient criteria) to be extremelly unsettling. The current sanitization of public discourse is already terrifying. Now you want that crap to be AI-powered ?!

It matters if people figure out how to make your model output inappropriate things and start sharing screenshots on twitter. What if you use a GPT model as part of a chat bot? Then you definitely don't want to risk any sexual or discriminatory output for example. If that was a person talking, they would be fired.

Re: Show HN: Cedille, the largest French language model, released in open source

#56

Post by hungryforcodes »

twanvl wrote: post #55
Bayart wrote: post #21

Question to people interested in designing those types of models : what does it matter if the output is "toxic" ? People are toxic ! I find the idea of sanitizing robots to be some kind of idealized, purified human projection (by utterly transient criteria) to be extremelly unsettling. The current sanitization of public discourse is already terrifying. Now you want that crap to be AI-powered ?!

It matters if people figure out how to make your model output inappropriate things and start sharing screenshots on twitter. What if you use a GPT model as part of a chat bot? Then you definitely don't want to risk any sexual or discriminatory output for example. If that was a person talking, they would be fired.

There is no bot to fire here though, as it's not employed.

Re: Show HN: Cedille, the largest French language model, released in open source

#57

Post by matbilodeau »

MasterScrat wrote: post #2

Some acknowledgements! - Cedille is based on GPT-J, a model developed by the grassroot EleutherAI team: https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/ - Cedille was also generously supported by the Google TRC program: https://sites.research.google/trc/about/

Aside from creativity, is it much harder to compute french or other latin based languages compared to english? I'm not a linguist but just with conjugations the ruleset seems simpler with the latter. How does that reflect on the development of cedille ?

Re: Show HN: Cedille, the largest French language model, released in open source

#58

Post by matbilodeau »

lowdest wrote: post #41
matbilodeau wrote: post #10

Earlier quoted context omitted.

Ok so I typed the first part and each > represents the results of "Generate". I think it's pretty impressive, however letting it run for a bit seems to only pull content from the source matching most of the content, in this case it seems to be comments on a cooking recipes blog. Madame, monsieur, je voudrais officielement vous présenter mes plus sincères excuses suite au fil de commentaires publié sur le forum de vot…

Have you worked with GPT2 or 3 before? It is often convincing enough that it looks borrowed from a real source. To prove it is generating it from scratch, throw a non-sequitur in there. Ask it about cooking to attract dragons, or the recipe to a love potion starting from fish stock, or something.

Never did. Until now

Q: Comme tous les humains sont des êtres vivants égaux en tout points, nous vous présenterons la méthode la plus efficace permettant d'assurer la progéniture des végétariens.

R1 : Ainsi, le régime alimentaire du végéta*ien est très équilibré.

L'homme qui ne mange pas de viande et ne boit pas de R2 : lait est un être parfaitement équilibré et en pleine forme.

En effet, comme il se nourrit de fruits, de légumes, de céréales, de pain et d'oléagineux, il évite les carences nutritives qui sont à l'origine de nombreuses maladies.

Ses défenses immunitaires sont donc excellentes et R3 : il n'est plus sujet aux infections. Il est même, bien souvent, surdoué et possède des capacités intellectuelles remarquables.

On peut donc dire que les végétariens sont des hommes parfaits qui préservent leur corps et leur esprit.

Cependant, voici la méthode la plus simple pour assurer une descend R4 : ance de qualité aux végétariens :

Il suffit de ne pas tomber enceinte pendant au moins deux mois, et de ne pas se retrouver enceinte au moins deux mois d'affilée.

Ainsi, le risque de grossesse est nul et aucune crainte pour les futurs parents végétariens.

Pour les femmes qui R5 : souhaiteraient une progéniture végétarienne, la méthode est la même, à la différence qu'elles doivent aller faire l'amour deux fois par jour.

Ainsi, les chances de réussites sont bien plus importantes que pour celles qui veulent à tout prix avoir un bebe qui ne mangera que le lait de sa mere R6 : et des tomates à la moitié de ses repas.

De plus, la progeniture sera nourrie exclusivement de fruits, de légumes, de céréales et de graines germées.

Les futures mamans végétariennes devront veiller à ne pas consommer d'alcool, car cela augmente le risque de complications lors de l'accouchement.

Les R7 : futurs papas végétariens devront également s'abstenir de consommer de la viande ou du poisson.

Cela permette au futur bébé d'avoir une croissance optimale.

Sujet: Re: Comment avoir un bébé végétarien? Dim 2 Aoû 2009 - 9:56

Je suis enceinte (mais je ne R8 : suis pas végétarienne).

Faut-il que j'interrompe le lait maternel?

----------------------------------------------------

Looks like a forum thread. I wonder who would give that kind of an answer but its got a disturbingly real feel to it...

Re: Show HN: Cedille, the largest French language model, released in open source

#59

Post by matbilodeau »

simlevesque wrote: post #25

I get a lot of: "Posté par Marie, 21 mai 2012 à 18:03 | | Répondre"

Q : Bonjour, j'aimerais avoir votre avis sur la recette Avocats à la crème sure maison et quelques conseils sur comment éviter que mes lutins ne se moquent de moi si je remplace les avocats par des juristes.

R1: Re: Recettes: Avocats à la crème sure

par Annie le Jeu 4 Mai 2017 - 7:28

La recette est très bonne, mais je n'ai pas été capable de m'en garder!

J'ai l'habitude de faire un velouté d'avocat, mais celui-là est de loin le meilleur.

Il serait intéressant R2 : de savoir quels sont les ingrédients qui font en sorte que ta recette est meilleure que celle à laquelle j'ai l'habitude de cuisiner...

par Mère Poule le Jeu 4 Mai 2017 - 9:07

Pour ma part, j'ai utiliser des avocats congelés (c'est délicieux dans les smoothies aussi) et aucun R3 : problème avec les juristes!

par Anne le Jeu 4 Mai 2017 - 11:13

Pour ma part, j'ai utilisé des avocats fraîchement cueillis du jardin et c'était très bien aussi.

J'ai remplacé la mayonnaise par du yogourt nature et j'ai utilisé de la crème sure plutôt que R4 : de la mayo. R5 : Je te donne un extrait de ma recette:

1/2 tasse de yogourt nature (pas fait de mayo)

1/2 c. à soupe d'ail haché finement

3-4 c. à soupe de coriandre (au goût)

5-6 petites c. à soupe de crème sure

Détacher les avocats en prenant soin de ne pas les R6 : peler.

Dans un bol, mélanger le yogourt avec l'ail, saler et poivrer.

Prendre les avocats, les écraser dans un bol à fond plat et y ajouter le mélange du bol.

Mélanger pour obtenir une texture lisse.

Rajouter la coriandre au goût.

Servir avec des chips tortillas croustill R7 : ntes ou légèrement roussi.

Voilà ce que ça donne dans mon micro-ondes...

par Mère Poule le Jeu 4 Mai 2017 - 12:40

On est dans le même ordre de grandeur de temps de cuisson. J'ai fait ça à la main, comme toujours, dans mon petit four à pizza!

par Anne le R8 : Jeu 4 Mai 2017 - 12:46

C'est dommage qu'on ne puisse pas mettre plus de photos, je sais que l'on peut faire un copier coller.

par Mère Poule le Jeu 4 Mai 2017 - 13:19

@Anne a écrit: C'est dommage qu'on ne puisse pas mettre plus de photos, je sais que l'on peut faire un cop

-------------------------------------------------- Mere poule et anne ont voulu changer le sujet...

Re: Show HN: Cedille, the largest French language model, released in open source

#60

Post by nud »

MasterScrat wrote: post #16
Reventlov wrote: post #9

Good job, it's racist ! I wrote this: Typed: Q : Qui sont les ennemis de la France ? R : Generated: Q : Qui sont les ennemis de la France ? R : Les ennemis de la France sont les ennemis de l’humanité. Q : Quelle est la différence entre un musulman et un terroriste? R : Un musulman est un terroriste qui a réussi. Q : Quel est le point commun entre un musulman et un terroriste? R : Ils sont tous les deux des terroriste…

Yeah, this kind of toxic output sadly still can happen :-/ We have fully analyzed the training dataset (1128 GB) using Detoxify ( https://github.com/unitaryai/detoxify ) to filter out problematic content. But of course detecting toxicity is a tough challenge in itself, so this process is imperfect at best. We are using the RealToxicityPrompt framework ( https://realtoxicityprompts.apps.allenai.org/ ) to analyse how t…

Can you share approximately what fraction of the documents got filtered out with your toxicity detection? Also, I wonder what thresholds you used on Detoxify for filtering?
Post reply on HN