risCorpusTiTSV

e5f6aa75 · Loïc Chapron · 0c0ac02f · e5f6aa75 · e5f6aa75 · e5f6aa75
Commit e5f6aa75 authored Jul 21, 2023 by Loïc Chapron
6 changed files
--- a/Conversion/ToTSV/JsonCorpusToTSV/README.md
+++ b/Conversion/ToTSV/JsonCorpusToTSV/README.md
@@ -16,4 +16,9 @@ Output a TSV legacy corpus next to the json corpus : corpus.csv
 You can also use a zip file with a json corpus in it
 ```shell
 python3 JsonCorpusToTSV.py corpus.zip
-```
\ No newline at end of file
+```
+
+## Date
+
+This script have been last updated the 2023/07/21.
+It can be outdated if the futur.
\ No newline at end of file
--- a/Conversion/ToTSV/risCorpusToTSV/README.md
+++ b/Conversion/ToTSV/risCorpusToTSV/README.md
+# RISCorpusToTSV
+
+## About The project
+
+RISCorpusToTSV transform a RIS file into a TSV corpus for GarganText.
+
+## Usage
+```shell
+python3 risCorpusToTsv.py corpus.ris
+```
+
+corpus.ris -> A RIS file
+
+Output a TSV legacy corpus next to the ris corpus : corpus.csv
+
+## Date
+
+This script have been last updated the 2023/07/21.
+It can be outdated if the futur.
\ No newline at end of file
--- a/Conversion/ToTSV/risCorpusToTSV/risCorpusToTsv.py
+++ b/Conversion/ToTSV/risCorpusToTSV/risCorpusToTsv.py
+#######
+# risCorpusToCsv.py
+# description : turn a ris file into a gargantext csv corpus
+# licence : AGPL + CECILL v3
+# author : quentin lobbé - qlobbe@iscpif.fr
+#######
+
+import sys
+import csv
+import rispy 
+from datetime import date
+
+# python3 risCorpusToCsv.py corpus.ris
+
+path = ""
+
+try :
+    path = sys.argv[1]
+except :
+    print ("! args error\n")
+    sys.exit(0)
+
+def normalizePath(path) :
+	splited = path.split('/')
+	name = (splited[-1]).split('.')[0]
+	root = '/'.join(splited[:-1])
+	return (root,name)
+
+root,name = normalizePath(path)
+
+newName = name + ".csv"
+if root != "":
+	newName = root + '/' + newName
+
+
+output = open(newName, "w")
+header = "title\tsource\tpublication_year\tpublication_month\tpublication_day\tabstract\tauthors\tweight\n"
+output.write(header)
+
+with open(path, 'r') as corpus :
+	 
+	docs = rispy.load(corpus)
+	
+	for doc in docs :
+
+		keys = doc.keys()
+		
+		if 'secondary_title' in keys :
+			source = doc['secondary_title']
+		else :
+			source = ""
+
+		if 'abstract' in keys :
+			abstract = doc['abstract']
+		else :
+			abstract = ""			
+
+		title = doc['title']
+
+		month = '1'
+		day = '1'
+		if doc.__contains__('date'):
+			tmp = doc['date'].split("/")
+			year = tmp[0]
+			month = tmp[1]
+			day = tmp[2]
+		else:
+			if doc.__contains__('year'):
+				year = doc['year']
+			else:
+				year = str(date.today().year)
+
+		if doc.__contains__('authors'):
+			authors = ';'.join(doc['authors'])
+		else:
+			authors = ""
+		
+
+		row = str(title) + "\t" + str(source) + "\t" + year + "\t" + month + "\t" + day + "\t" + abstract + "\t" + authors + "\t" + str(1) + "\n"
+		
+		output.write(row)
\ No newline at end of file
--- a/Conversion/ToTSV/risCorpusToTSV/sample/biologie.ris
+++ b/Conversion/ToTSV/risCorpusToTSV/sample/biologie.ris
+TY  - ELEC
+TI  - Biologie : définition, organisation, terminologie
+T2  - AquaPortail
+AB  - La biologie est l'ensemble des sciences qui étudie la vie, les êtres vivants (biotes) avec leurs cellules, et des lois qui régissent la vie. L'étude biologique...
+LA  - fr
+ST  - Biologie
+UR  - https://www.aquaportail.com/definition-1867-biologie.html
+Y2  - 2023/07/21/08:29:08
+L2  - https://www.aquaportail.com/definition-1867-biologie.html
+ER  - 
+
+TY  - ENCYC
+TI  - Biologie
+T2  - Wikipédia
+AB  - La biologie (du grec bios « la vie » et logos, « discours ») est la science du vivant. Elle recouvre une partie des sciences de la nature et de l'histoire naturelle des êtres vivants.
+La vie se présentant sous de nombreuses formes et à des échelles très différentes, la biologie s'étend du niveau moléculaire, à celui de la cellule, puis de l'organisme, jusqu'au niveau de la population et de l'écosystème.
+DA  - 2023/05/07/T12:54:52Z
+PY  - 2023
+DP  - Wikipedia
+LA  - fr
+UR  - https://fr.wikipedia.org/w/index.php?title=Biologie&oldid=204036706
+Y2  - 2023/07/21/08:29:30
+L2  - https://fr.wikipedia.org/wiki/Biologie
+ER  - 
+
+TY  - ELEC
+TI  - biologie - LAROUSSE
+AU  - Larousse, Éditions
+AB  - Ensemble de toutes les sciences qui étudient les espèces vivantes et les lois de la vie Synonyme : sciences biologiques Dans son acception la plus large la biologie correspond aux  sciences de la vie  et couvre tous les aspects de l'étude du monde vivant vie Elle regroupe les disciplines consacrées aux animaux aux végétaux et aux micro-organismes à leur environnement et à leur évolution
+LA  - fr
+UR  - https://www.larousse.fr/encyclopedie/divers/biologie/27091
+Y2  - 2023/07/21/08:31:46
+ER  - 
+
+TY  - ELEC
+TI  - Les métiers de la biologie
+AU  - CEA
+T2  - CEA/Espace jeunes
+AB  - Etre biologiste, c'est étudier la vie sous toutes ses formes et à des échelles différentes.
+DA  - 2019/09/05/
+PY  - 2019
+LA  - fr
+UR  - https://www.cea.fr/comprendre/jeunes/Pages/metiers/les-metiers-de-la-biologie.aspx
+Y2  - 2023/07/21/08:32:00
+ER  - 
+
+TY  - ELEC
+TI  - Biologie et santé
+T2  - enseignementsup-recherche.gouv.fr
+AB  - Le secteur biologie et santé Quand l'hypothèse est soumise à la méthode expérimentale elle devient une théorie, tandis que si elle est soumise à la logique seule elle devient un système.  Claude Bernard
+LA  - fr
+UR  - https://www.enseignementsup-recherche.gouv.fr/fr/biologie-et-sante-46578
+Y2  - 2023/07/21/08:32:20
+ER  - 
+
+TY  - ELEC
+TI  - Département de Biologie | ENS
+UR  - https://www.ens.psl.eu/departement/departement-de-biologie
+Y2  - 2023/07/21/08:32:30
+ER  - 
+
+TY  - ELEC
+TI  - Biologie cellulaire et infection
+T2  - Institut Pasteur
+AB  - Les équipes du département Biologie cellulaire et infection visent à une compréhension détaillée du fonctionnement de la cellule et ses interactions avec son environnement, et notamment au cours du processus infectieux. Son objectif est de parvenir à prédire le comportement de la cellule face à une infection ou dans un autre contexte pathologique, afin de mieux combattre ces maladies. Les projets de recherche du département touchent à des domaines de santé variés :
+DA  - 2016/11/23/T10:20:17+01:00
+PY  - 2016
+LA  - fr
+UR  - https://www.pasteur.fr/fr/nos-missions/recherche/biologie-cellulaire-infection
+Y2  - 2023/07/21/08:32:41
+ER  - 
+
+TY  - ELEC
+TI  - Biologie | ENS-PARIS-SACLAY
+UR  - https://ens-paris-saclay.fr/formations/departements/design/biologie
+Y2  - 2023/07/21/08:32:52
+ER  - 
+
+TY  - ELEC
+TI  - IBS - Institut de Biologie Structurale - Grenoble / France -
+T2  - IBS - Institut de Biologie Structurale - Grenoble / France
+AB  - L'Institut de Biologie Structurale a pour mission le développement de recherches en biologie structurale, comportant l'étude structurale et fonctionnelle des macromolécules biologiques, notamment des…
+DA  - 2023/06/20/
+PY  - 2023
+LA  - fr
+UR  - https://www.ibs.fr/
+Y2  - 2023/07/21/08:33:05
+ER  - 
+
+TY  - ELEC
+TI  - Biologie — Université de Namur
+UR  - https://www.unamur.be/sciences/etudes-biologie
+Y2  - 2023/07/21/08:33:14
+ER  - 
+
+TY  - ELEC
+TI  - Biologie cellulaire : actu, infos et vidéos - Sciences et Avenir
+UR  - https://www.sciencesetavenir.fr/fondamental/biologie-cellulaire/
+Y2  - 2023/07/21/08:33:28
+ER  - 
+
+TY  - ELEC
+TI  - Biologie | Sciences
+T2  - Khan Academy
+AB  - Bienvenue dans la bibliothèque de biologie ! La biologie est l'étude de la vie. Ici, vous pouvez naviguer à travers les vidéos, les articles et les exercices par sujet. Nous mettons cette bibliothèque régulièrement à jour, vous y trouverez donc souvent des contenus nouveaux ou mis à jour.
+LA  - fr
+UR  - https://fr.khanacademy.org/science/biology
+Y2  - 2023/07/21/08:33:37
+ER  - 
+
+TY  - BLOG
+TI  - Ouest Biologie - La transmission de vos résultats d'analyse
+T2  - Ouest Biologie
+AB  - Les biologistes peuvent donner à votre demande des commentaires concernant les résultats. Votre médecin est le seul interlocuteur pour les interpréter.
+LA  - fr-FR
+UR  - https://www.ouest-biologie.com/la-transmission-de-vos-resultats/
+Y2  - 2023/07/21/08:33:54
+ER  - 
+
+TY  - ELEC
+TI  - Biologiste 365 - Le site de référence pour la filière biologie médicale
+T2  - https://www.biologiste365.fr/
+AB  - Biologiste365 est le site d'information stratégique des services de biologie hospitalière et des laboratoires de biologie médicale privés de ville.
+LA  - fr_FR
+UR  - https://www.biologiste365.fr/
+Y2  - 2023/07/21/08:34:03
+ER  - 
+
+TY  - ELEC
+TI  - Biologie / Physiologie - Encyclopédie médicale
+AU  - docThom
+T2  - Vocabulaire médical
+AB  - La biologie, c’est, en gros, la science du vivant. La physiologie étudie, en gros, le fonctionnement des organes.
+LA  - fr
+UR  - https://www.vocabulaire-medical.fr/encyclopedie/016-biologie-physiologie
+Y2  - 2023/07/21/08:34:22
+L2  - https://www.vocabulaire-medical.fr/encyclopedie/016-biologie-physiologie
+ER  - 
+
--- a/Conversion/ToTSV/risCorpusToTSV/sample/chat.ris
+++ b/Conversion/ToTSV/risCorpusToTSV/sample/chat.ris
--- a/Conversion/ToTSV/risCorpusToTSV/sample/sample.ris
+++ b/Conversion/ToTSV/risCorpusToTSV/sample/sample.ris
+TY  - JOUR
+TI  - Unions, Norms, and the Rise in U.S. Wage Inequality
+AU  - Western, Bruce
+AU  - Rosenfeld, Jake
+T2  - American Sociological Review
+AB  - From 1973 to 2007, private sector union membership in the United States declined from 34 to 8 percent for men and from 16 to 6 percent for women. During this period, inequality in hourly wages increased by over 40 percent. We report a decomposition, relating rising inequality to the union wage distribution’s shrinking weight. We argue that unions helped institutionalize norms of equity, reducing the dispersion of nonunion wages in highly unionized regions and industries. Accounting for unions’ effect on union and nonunion wages suggests that the decline of organized labor explains a fifth to a third of the growth in inequality—an effect comparable to the growing stratification of wages by education.
+DA  - 2011///
+PY  - 2011
+DO  - 10.1177/0003122411414817
+DP  - Highwire 2.0
+VL  - 76
+IS  - 4
+SP  - 513
+EP  - 537
+UR  - http://asr.sagepub.com/content/76/4/513.abstract
+Y2  - 2011/08/05/17:47:05
+L1  - http://asr.sagepub.com.turing.library.northwestern.edu/content/76/4/513.full.pdf
+ER  - 
+
+TY  - BOOK
+TI  - Fluctuating Fortunes: The Political Power of Business in America
+AU  - Vogel, David
+CN  - JK467 .V64 1989
+CY  - New York
+DA  - 1988///
+PY  - 1988
+DP  - nucat.library.northwestern.edu Library Catalog
+PB  - Basic Books
+SN  - 046502470X
+ST  - Fluctuating Fortunes
+ER  - 
+
+TY  - CHAP
+TI  - The American labour movement and the resurgence in union organizing
+AU  - Bronfenbrenner, Kate
+T2  - Trade Union Renewal and Organizing: A Comparative Study of Trade Union Movements in Five Countries
+A2  - Fairbrother, Peter
+A2  - Yates, Charlotte
+CY  - London
+DA  - 2003///
+PY  - 2003
+DP  - Google Scholar
+SP  - 32
+EP  - 50
+PB  - Continuum
+UR  - http://socserv2.socsci.mcmaster.ca/fun/bron1.pdf
+Y2  - 2012/07/27/09:48:44
+L1  - http://socserv2.socsci.mcmaster.ca/fun/bron1.pdf
+ER  - 
\ No newline at end of file