Бенчмарки для сравнения языков программирования

2024-11-26 16:03
vak: (Default)
[personal profile] vak
github.com/bddicken/languages

На настоящий момент сравниваются языки Kotlin, C, Go, Rust, Node, Bun, Deno, PyPy, Java, Ruby, PHP, R, Python, Dart. Жаль нету Swift и Perl.

Два теста:
  • loops
  • fibonacci
Предлагается добавлять новые тесты и языки.
Tags:
Flat | Top-Level Comments Only

Date: 2024-11-27 01:14 (UTC)
vak: (Default)
From: [personal profile] vak
Запускаю тесты loops. Странным образом проваливаются Rust и Go. Неожиданно шустро работают Java, PyPy и Kotlin.
1.56s   1.56s   1.55s       C
1.74s   1.70s   1.72s       Java
1.74s   1.74s   1.72s       PyPy
1.84s   1.77s   1.76s       Kotlin
4.02s   3.97s   3.98s       Dart
4.63s   4.63s   4.62s       Rust
5.04s   3.20s   3.18s       Node
5.19s   2.98s   2.94s       Deno
6.17s   6.18s   6.14s       Go
20.75s  18.90s  18.93s      PHP
55.30s  51.38s  51.44s      Ruby
157.61s 169.42s 175.29s     Python

Date: 2024-11-27 03:20 (UTC)
juan_gandhi: (Default)
From: [personal profile] juan_gandhi
С jvm неудивительно. Как-то ставили опыт, игру "жизнь" гоняли на нейтив скале и на джейвиэмной. Сначала джейвиэмная тормозила, но потом как ломанулась, и уделала сильно.

Date: 2024-11-27 05:17 (UTC)
archaicos: Шарж (Default)
From: [personal profile] archaicos
Там в ржавчине включена проверка переполнений? Может, её отключить надо?

Date: 2024-11-27 07:56 (UTC)
vak: (Default)
From: [personal profile] vak
Разве только переделать на unsigned integer.

Date: 2024-11-27 01:16 (UTC)
vak: (Default)
From: [personal profile] vak
Теперь замерим fibonacci. Rust неплох, Go похуже. Снова радуют Java и Kotlin.
0.46s   0.42s   0.43s       C
0.47s   0.37s   0.37s       Rust
0.63s   0.63s   0.63s       Go
0.76s   0.74s   0.73s       Java
0.77s   0.75s   0.74s       Kotlin
0.83s   0.83s   0.83s       Dart
2.04s   1.88s   1.89s       Node
2.34s   2.20s   2.20s       Deno
3.56s   3.48s   3.52s       PyPy
13.81s  13.80s  13.81s      Ruby
14.03s  13.22s  13.28s      PHP
22.96s  22.86s  22.87s      Python

Date: 2024-11-27 01:57 (UTC)
ircicq: (Default)
From: [personal profile] ircicq
Fibonacci на Си почему-то написан через рекурсию, хотя проще и быстрее циклом.

Date: 2024-11-27 02:01 (UTC)
vak: (Default)
From: [personal profile] vak
Смысл протестировать скорость рекурсии, как я понимаю.

Date: 2024-11-27 02:05 (UTC)
ircicq: (Default)
From: [personal profile] ircicq
Лучше бы выбрали Функцию, не реализуемую кроме как рекурсией,
например https://en.wikipedia.org/wiki/Ackermann_function
Edited Date: 2024-11-27 02:05 (UTC)

Date: 2024-11-27 02:08 (UTC)
vak: (Default)
From: [personal profile] vak
Так предложи.

Date: 2024-12-01 21:36 (UTC)
juan_gandhi: (Default)
From: [personal profile] juan_gandhi
Можно же добавить тест-кейс, и послать им пулреквест.

Date: 2024-11-27 03:21 (UTC)
juan_gandhi: (Default)
From: [personal profile] juan_gandhi
Фибоначчи проще через формулу.

Date: 2024-11-27 22:00 (UTC)
From: [personal profile] sassa_nf
OpenJDK 11
Benchmark           (size)  Mode  Cnt       Score      Error  Units
Fibo.FiboRecursive      40  avgt   25  922753.617 ± 2747.036  us/op

0.9s, basically.


OpenJDK 17
Benchmark           (size)  Mode  Cnt        Score      Error  Units
Fibo.FiboRecursive      40  avgt   25  1032010.482 ± 8309.430  us/op

1s, basically.


OracleJDK 23
Benchmark           (size)  Mode  Cnt        Score      Error  Units
Fibo.FiboRecursive      40  avgt   25  1082715.628 ± 6358.441  us/op


I would expect your numbers to be dominated by JVM startup. Are you on SSD?

At the same time, fibonacci using GCC is 0.38s, and using clang is 0.56s, so it's not just a slow computer.
Edited Date: 2024-11-27 22:02 (UTC)

Date: 2024-11-28 09:50 (UTC)
From: [personal profile] sassa_nf
Actually, no, the effect is coming from other parameters of the system, not startup specifically.

Date: 2024-11-27 03:19 (UTC)
juan_gandhi: (Default)
From: [personal profile] juan_gandhi
О блин, надо ж ещё инсталлер сделать. brew install rust; brew install kotlin; brew install go; brew install dart etc.
Посмотрим.

Date: 2024-11-27 07:54 (UTC)
vak: (Default)
From: [personal profile] vak
Там дофига установить надо, да.

Date: 2024-12-01 21:37 (UTC)
juan_gandhi: (Default)
From: [personal profile] juan_gandhi
Послал им, setup.sh.

Date: 2024-11-27 03:36 (UTC)
x86128: (Default)
From: [personal profile] x86128
по сутi сравнивают компиляторы на предмет глубины оптимизаций

Date: 2024-11-27 07:46 (UTC)
vak: (Default)
From: [personal profile] vak
И виртуальные машины на предмет тяжеловесности. Но простому программисту без разницы, что там внутри. Если тормозит - значит тормозит.

Date: 2024-11-28 09:53 (UTC)
From: [personal profile] sassa_nf
Та по суті нічого такого вони не порівнюють. Для джави є jmh, і всі мікробенчмарки треба робити через нього, щоб не робити базових помилок, типу як прогріти, як виключити GC, і т.п.

Date: 2024-11-27 06:41 (UTC)
From: [personal profile] sassa_nf
Java requires a warm-up.

Date: 2024-12-01 21:35 (UTC)
juan_gandhi: (Default)
From: [personal profile] juan_gandhi
Классная вещь. Свифт уже добавили. Я тоже пулреквест послал; вот моя версия, со скалой-3.

Date: 2024-12-02 22:02 (UTC)
vak: (Default)
From: [personal profile] vak
Хорошая коллекция разнообразных языков получается. Уже появились несколько для меня неизвестных: Crystal, Haxe, Inko, Odin.
Flat | Top-Level Comments Only
OSZAR »