vak: (Default)
Serge Vakulenko ([personal profile] vak) wrote2024-11-26 04:03 pm
  • Add Memory
  • Share This Entry
Entry tags:

Бенчмарки для сравнения языков программирования

github.com/bddicken/languages

На настоящий момент сравниваются языки Kotlin, C, Go, Rust, Node, Bun, Deno, PyPy, Java, Ruby, PHP, R, Python, Dart. Жаль нету Swift и Perl.

Два теста:
  • loops
  • fibonacci
Предлагается добавлять новые тесты и языки.
Flat | Top-Level Comments Only
vak: (Default)

[personal profile] vak 2024-11-27 01:14 am (UTC)(link)
Запускаю тесты loops. Странным образом проваливаются Rust и Go. Неожиданно шустро работают Java, PyPy и Kotlin.
1.56s   1.56s   1.55s       C
1.74s   1.70s   1.72s       Java
1.74s   1.74s   1.72s       PyPy
1.84s   1.77s   1.76s       Kotlin
4.02s   3.97s   3.98s       Dart
4.63s   4.63s   4.62s       Rust
5.04s   3.20s   3.18s       Node
5.19s   2.98s   2.94s       Deno
6.17s   6.18s   6.14s       Go
20.75s  18.90s  18.93s      PHP
55.30s  51.38s  51.44s      Ruby
157.61s 169.42s 175.29s     Python
juan_gandhi: (Default)

[personal profile] juan_gandhi 2024-11-27 03:20 am (UTC)(link)
С jvm неудивительно. Как-то ставили опыт, игру "жизнь" гоняли на нейтив скале и на джейвиэмной. Сначала джейвиэмная тормозила, но потом как ломанулась, и уделала сильно.
archaicos: Шарж (Default)

[personal profile] archaicos 2024-11-27 05:17 am (UTC)(link)
Там в ржавчине включена проверка переполнений? Может, её отключить надо?
vak: (Default)

[personal profile] vak 2024-11-27 07:56 am (UTC)(link)
Разве только переделать на unsigned integer.
vak: (Default)

[personal profile] vak 2024-11-27 01:16 am (UTC)(link)
Теперь замерим fibonacci. Rust неплох, Go похуже. Снова радуют Java и Kotlin.
0.46s   0.42s   0.43s       C
0.47s   0.37s   0.37s       Rust
0.63s   0.63s   0.63s       Go
0.76s   0.74s   0.73s       Java
0.77s   0.75s   0.74s       Kotlin
0.83s   0.83s   0.83s       Dart
2.04s   1.88s   1.89s       Node
2.34s   2.20s   2.20s       Deno
3.56s   3.48s   3.52s       PyPy
13.81s  13.80s  13.81s      Ruby
14.03s  13.22s  13.28s      PHP
22.96s  22.86s  22.87s      Python
ircicq: (Default)

[personal profile] ircicq 2024-11-27 01:57 am (UTC)(link)
Fibonacci на Си почему-то написан через рекурсию, хотя проще и быстрее циклом.
vak: (Default)

[personal profile] vak 2024-11-27 02:01 am (UTC)(link)
Смысл протестировать скорость рекурсии, как я понимаю.
ircicq: (Default)

[personal profile] ircicq 2024-11-27 02:05 am (UTC)(link)
Лучше бы выбрали Функцию, не реализуемую кроме как рекурсией,
например https://en.wikipedia.org/wiki/Ackermann_function
Edited 2024-11-27 02:05 (UTC)
vak: (Default)

[personal profile] vak 2024-11-27 02:08 am (UTC)(link)
Так предложи.
juan_gandhi: (Default)

[personal profile] juan_gandhi 2024-12-01 09:36 pm (UTC)(link)
Можно же добавить тест-кейс, и послать им пулреквест.
juan_gandhi: (Default)

[personal profile] juan_gandhi 2024-11-27 03:21 am (UTC)(link)
Фибоначчи проще через формулу.

[personal profile] sassa_nf 2024-11-27 10:00 pm (UTC)(link)
OpenJDK 11
Benchmark           (size)  Mode  Cnt       Score      Error  Units
Fibo.FiboRecursive      40  avgt   25  922753.617 ± 2747.036  us/op

0.9s, basically.


OpenJDK 17
Benchmark           (size)  Mode  Cnt        Score      Error  Units
Fibo.FiboRecursive      40  avgt   25  1032010.482 ± 8309.430  us/op

1s, basically.


OracleJDK 23
Benchmark           (size)  Mode  Cnt        Score      Error  Units
Fibo.FiboRecursive      40  avgt   25  1082715.628 ± 6358.441  us/op


I would expect your numbers to be dominated by JVM startup. Are you on SSD?

At the same time, fibonacci using GCC is 0.38s, and using clang is 0.56s, so it's not just a slow computer.
Edited 2024-11-27 22:02 (UTC)

[personal profile] sassa_nf 2024-11-28 09:50 am (UTC)(link)
Actually, no, the effect is coming from other parameters of the system, not startup specifically.
juan_gandhi: (Default)

[personal profile] juan_gandhi 2024-11-27 03:19 am (UTC)(link)
О блин, надо ж ещё инсталлер сделать. brew install rust; brew install kotlin; brew install go; brew install dart etc.
Посмотрим.
vak: (Default)

[personal profile] vak 2024-11-27 07:54 am (UTC)(link)
Там дофига установить надо, да.
juan_gandhi: (Default)

[personal profile] juan_gandhi 2024-12-01 09:37 pm (UTC)(link)
Послал им, setup.sh.
x86128: (Default)

[personal profile] x86128 2024-11-27 03:36 am (UTC)(link)
по сутi сравнивают компиляторы на предмет глубины оптимизаций
vak: (Default)

[personal profile] vak 2024-11-27 07:46 am (UTC)(link)
И виртуальные машины на предмет тяжеловесности. Но простому программисту без разницы, что там внутри. Если тормозит - значит тормозит.

[personal profile] sassa_nf 2024-11-28 09:53 am (UTC)(link)
Та по суті нічого такого вони не порівнюють. Для джави є jmh, і всі мікробенчмарки треба робити через нього, щоб не робити базових помилок, типу як прогріти, як виключити GC, і т.п.

[personal profile] sassa_nf 2024-11-27 06:41 am (UTC)(link)
Java requires a warm-up.
juan_gandhi: (Default)

[personal profile] juan_gandhi 2024-12-01 09:35 pm (UTC)(link)
Классная вещь. Свифт уже добавили. Я тоже пулреквест послал; вот моя версия, со скалой-3.
vak: (Default)

[personal profile] vak 2024-12-02 10:02 pm (UTC)(link)
Хорошая коллекция разнообразных языков получается. Уже появились несколько для меня неизвестных: Crystal, Haxe, Inko, Odin.
Flat | Top-Level Comments Only