CommonCrawl (Pagerank + Harmonic Centrality)
Данные по домену/поддомену из ссылочных данных CommonCrawl.org. По каждому году-сезону есть PR (отмасштабированный до некрасивой единицы,типа 00003233e7) и Harmonic Centrality (какая-то хрень на омериканском, "менее подверженная ссылочному спаму", сами прочитаете). Из интересного то, что какой-то чувак из примеров применения посчитал, что HC и PR коррелируют всего на 0,004, и это прекрасно.
Занимает это всё овердохрена места, поэтому может исчезнуть при бесполезности.
Данные о позиции по пузомеркам имеют стрёмный смысл, т.к. при одинаковых значениях место выдаётся по алфавиту. Учёные вроде, а ведут себя как пидагасы :(
Почитать, когда Солнце столкнётся с Луной: https://webgraph.di.unimi.it/docs/it/unimi/dsi/webgraph/algo/HyperBall.html
Какой-то грандиозный чувак, в общем https://dsiutils.di.unimi.it/docs/
https://neo4j.com/docs/graph-data-science/current/algorithms/harmonic-centrality/
Состояние импорта
| db | state |
|---|---|
| 1717_05_mjj_domain | wait |
| 1717_05_mjj_host | wait |
| 1717_08_aso_domain | wait |
| 1717_08_aso_host | wait |
| 1718_11_ndj_domain | done |
| 1718_11_ndj_host | import |
| 1818_01_j___domain | done |
| 1818_01_j___host | import |
| 1818_02_fma_domain | done |
| 1818_02_fma_host | wait |
| 1818_05_mjj_domain | done |
| 1818_05_mjj_host | import |
| 1818_08_aso_domain | done |
| 1818_08_aso_host | import |
| 1819_11_ndj_domain | done |
| 1819_11_ndj_host | import |
| 1919_02_fma_domain | done |
| 1919_02_fma_host | import |
| 1919_05_mjj_domain | done |
| 1919_05_mjj_host | import |
| 1919_08_aso_domain | done |
| 1919_08_aso_host | import |
| 1920_11_ndj_domain | done |
| 1920_11_ndj_host | import |
| 2020_02_fmm_domain | done |
| 2020_02_fmm_host | import |
| 2020_07_jas_domain | done |
| 2020_07_jas_host | import |
| 2021_10_onj_domain | done |
| 2021_10_onj_host | import |
| 2121_02_fam_domain | done |
| 2121_02_fam_host | import |
| 2121_06_jjs_domain | done |
| 2121_06_jjs_host | import |
| 2122_10_onj_domain | done |
| 2122_10_onj_host | import |
| 2222_05_mja_domain | done |
| 2222_05_mja_host | import |
| 2223_09_snj_domain | done |
| 2223_09_snj_host | import |
| 2323_03_mmo_domain | done |
| 2323_03_mmo_host | import |
| 2323_05_msn_domain | done |
| 2323_05_msn_host | import |
| 2324_09_snf_domain | done |
| 2324_09_snf_host | import |
| 2324_11_nfa_domain | done |
| 2324_11_nfa_host | import |
| 2424_02_fam_domain | done |
| 2424_02_fam_host | import |
| 2424_04_amj_domain | done |
| 2424_04_amj_host | import |
| 2424_05_mjj_domain | done |
| 2424_05_mjj_host | import |
| 2424_06_jja_domain | done |
| 2424_06_jja_host | import |
| 2424_07_jas_domain | done |
| 2424_07_jas_host | import |
| 2424_08_aso_domain | done |
| 2424_08_aso_host | import |
