Aquests conjunts de dades s'apliquen a la recerca d'aprenentatge automàtic (ML) i s'han citat en revistes acadèmiques revisades per parells. Els conjunts de dades són una part integral del camp de l'aprenentatge automàtic. Els avenços importants en aquest camp poden resultar dels avenços en algorismes d'aprenentatge (com ara aprenentatge profund), maquinari informàtic i, de manera menys intuïtiva, la disponibilitat de conjunts de dades d'entrenament d'alta qualitat. Els conjunts de dades d'entrenament etiquetats d'alta qualitat per als algorismes d'aprenentatge automàtic supervisat i semisupervisat solen ser difícils i costosos de produir a causa de la gran quantitat de temps necessària per etiquetar les dades. Tot i que no cal etiquetar-los, els conjunts de dades d'alta qualitat per a l'aprenentatge no supervisat també poden ser difícils i costosos de produir.
Moltes organitzacions, inclosos els governs, publiquen i comparteixen els seus conjunts de dades. Els conjunts de dades es classifiquen, segons les llicències, en Dades obertes i Dades no obertes. Els conjunts de dades de diversos organismes governamentals es presenten a Llista de llocs de dades de govern oberts. Els conjunts de dades es porten a portals de dades obertes. Estan disponibles per cercar, dipositar i accedir a través d'interfícies com Open API. Els conjunts de dades estan disponibles com a diversos tipus i subtipus ordenats.
Llista d'ordenació utilitzada per a conjunts de dades TipusSubtipusCategoria específicaFinances, Economia, Comerç, Social, Salut, Acadèmia, Esports, Alimentació, Agricultura , Viatges, Geoespacial, Polític, Consumidor, Transport, Logística, Mediambiental, Immobiliària, Legal, Entreteniment, Energia, HostaleriaÀmbitUnió Supranacional, Nacional, Subnacional, Municipi, Urbana, RuralLlenguatgeXinès mandarí, espanyol, anglès, àrab, hindi, bengalíTipusTabular, Gràfic, Text, Imatge, So, VídeoÚsFormació, validació i provaFitxer-FormatsCSV, JSON, XML, KML, GeoJSON, Shapefile, GMLLlicènciesCreative-Commons, GPL, Altres llicències de dades no obertesÚltima actualitzacióÚltima hora, darrer dia, darrera setmana, darrer mes, darrer anyMida de l'arxiuMínim, màxim, rangEstatVerificat, en preparació, desactivat (o obsolet)Nombre de registres100, 1000, 10000, 100000, milionsNombre de variablesMenys de 10, 10, 100, 1000, 10000ServeisIndividual, Agregació El portal de dades es classifica en funció del seu tipus de llicència. Els portals de dades basats en llicències de codi obert es coneixen com a portals de dades obertes que són utilitzats per moltes organitzacions governamentals i institucions acadèmiques.
Llista de portals de dades obertes Portal-NomllicènciaLlistat d'Instal·lacions del PortalUsos típicsXarxa d'arxius de coneixement integral (CKAN)AGPLhttps://ckan.github.io/ckan-instances/ https://github.com/sebneu/ckan_instances/blob/master/instances.csvRepositori de dades per a organitzacions governamentals o sense ànim de lucre, Data Management Solution for Research InstitutesDKANGPLhttps://getdkan.org/community Repositori de dades per a organitzacions governamentals o sense ànim de lucre, Data Management Solution for Research InstitutesDataverseApachehttps://dataverse.org/installations https://dataverse.org/metricsSolució de gestió de dades per a instituts de recercaDSpaceBSDhttps://registry.lyrasis.org/Solució de gestió de dades per a instituts de recercaOpenMLBSDhttps://www.openml.org/search?type=data&sort=runs&status=activeSolució de gestió de dades per compartir conjunts de dades, algorismes i resultats d'experiments mitjançant API.
Llista de portals aptes per a múltiples tipus d'aplicacions El portal de dades de vegades enumera una gran varietat de subtipus de conjunts de dades relacionats amb moltes aplicacions d'aprenentatge automàtic. Torrents Acadèmicshttps://academictorrents.comConjunts de dades d'Amazonhttps://registry.opendata.aws/Col·lecció de conjunts de dades públics impressionanthttps://github.com/awesomedata/awesome-public-datasetsdades.mónhttps://data.world/datasets/machine-learningDatahub: conjunts de dades bàsicshttps://datahub.io/docs/core-dataDataONEhttps://www.dataone.org/DataPortalshttps://dataportals.org/Datasetlist.comhttps://www.datasetlist.comGlobal Open Data Index – Open Knowledge Foundationhttps://index.okfn.org/ Cerca de conjunt de dades de Googlehttps://datasetsearch.research.google.cat/Cara abraçadahttps://huggingface.co/docs/datasets/Intercanvi d'actius de dades d'IBMhttps://developer.ibm.com/exchanges/data/Jupyter – Dades del tutorialhttps://jupyter-tutorial.readthedocs.io/en/latest/data-processing/opendata.htmlKagglehttps://www.kaggle.com/datasetsConjunts de dades d'aprenentatge automàtichttps://macgence.com/data-sets-and-cataloges/Principals ciutats intel·ligents amb dades oberteshttps://rlist.io/l/major-smart-cities-with-open-data-portals Conjunts de dades de Microsofthttps://msropendata.com/datasetsInici de dades oberteshttps://opendatainception.io/Opendatasofthttps://data.opendatasoft.com/explore/dataset/open-data-sources%40public/table/?sort=code_enOpenDOARhttps://v2.sherpa.ac.uk/opendoar/ OpenMLhttps://www.openml.org/search?type=dataPapers amb codihttps://paperswithcode.com/datasetsPunts de referència d'aprenentatge automàtic de Pennhttps://github.com/EpistasisLab/pmlb/tree/master/datasetsAPI públiqueshttps://github.com/public-apis/public-apisRegistre de dipòsits d'accés oberthttp://roar.eprints.org/Registre de Repositoris de Dades de Recercahttps://www.re3data.org/Repositori d'aprenentatge automàtic de la UCIhttp://mlr.cs.umass.edu/ml/ Conjunt de dades de parlahttps://www.shaip.com/offerings/speech-data-catalog/Descobriment de dades visualshttps://visualdata.io/discovery
Referències
Categoria:Aprenentatge automàtic