Notes de version
# Notes de version
Fin de vie de Python2 et RHEL 7
OpenSource Data Platform (ODP) 1.3.1.0 ne prend plus en charge Python 2 ni RedHat 7. Des builds RedHat 7 / Python 2 peuvent etre demandes aupres du support. Pour les scénarios de mise a niveau, consultez le [Guide de mise a niveau](/docs/1.3.1.0/upgrade/upgrade-introduction)
ODP 1.3 est la version majeure suivante d'ODP Stack apres 1.2. Elle apporte de nouvelles fonctionnalités, des améliorations et des corrections de bugs.
[Nouvelles fonctionnalités]
Prise en charge de JDK 8 et JDK 17
ODP 1.3 assure une compatibilité complète avec les runtimes JDK 8/17 pour tous les composants de la distribution ODP. Les composants ODP continuent d'etre compilés en JDK 8 afin de garantir la retrocompatibilité avec le runtime JDK 8.
Ambari 2.8.1.0 requiert le runtime JDK 17 et introduit une option permettant de configurer indépendamment la JDK utilise par les services Ambari et la JDK utilisée par les composants ODP.
L'option --ambari-java-home a été ajoutée à ambari-server pour définir un JAVA_HOME spécifique à Ambari, distinct de celui des composants ODP.
Pour plus de détails, consultez la documentation de configuration d'ambari-server.
La documentation de mise à niveau explique également comment paramétrer les deux JDK séparément.
Système d'exploitation additionel
Ubuntu 24.04 rejoint la liste des systèmes supportés à partir d'Ambari 2.8.1.0 et d'ODP 1.3.1.0.
Version de Python
Python 3.12 est ajouté aux versions supportées pour le serveur et l'agent Ambari.
[Modifications de comportement]
Ambari
Ambari 2.8.1.0 introduit les changements suivants :
- Le serveur et l'agent Ambari fonctionnent désormais avec Python 3 (Python 2 est retiré).
- Le serveur Ambari requiert JDK 17 ; JDK 8 n'y est plus accepté.
- Le JAVA_HOME par défaut des composants ODP reste JDK 8 mais peut être basculé sur JDK 17 si nécessaire.
- Le serveur et l'agent Ambari s'exécutent maintenant avec JDK 17.
Support d'Apache Iceberg
Iceberg arrive nativement dans Apache Hive 4.0.1 et Apache Spark 3.5.6.
Support Aarch64
Le build Aarch64 d'ODP est désormais prêt pour la production et supporté par tous les composants (initialement en tech-preview dans ODP 1.2.2.0).
Mise à niveau des versions
Mise à jour majeure des versions des composants :
- Mise a niveau d'Apache Atlas vers 2.4.0
- Mise a niveau d'Apache Flink vers 1.20.0
- Mise a niveau d'Apache Hadoop 3 vers 3.4.1
- Mise a niveau d'Apache HBase 3 vers 2.6.4
- Mise a niveau d'Apache Hive 3 vers 4.0.1
- Mise a niveau d'Apache Knox vers 2.1.0
- Mise a niveau d'Apache Livy vers 0.8.0
- Mise a niveau d'Apache Ozone vers 2.0.0
- Mise a niveau d'Apache Ranger vers 2.6.0
- Mise a niveau d'Apache Spark 3 vers 3.5.6
- Mise a niveau d'Apache Tez vers 0.10.4
- Mise a niveau d'Apache Zeppelin vers 0.10.2
- Mise a niveau d'Apache ZooKeeper vers 3.9.3
[Changelog des modifications]
Apache Ambari
| Type de ticket | Cle | Resume |
|---|---|---|
| Amelioration | AMBARI-295 | Ameliorer l'arret et le demarrage des demons YARN NM et MR JHS sur ODP 1.3 |
| Tache | AMBARI-294 | Utiliser la fonction Execute pour sauvegarder les donnees Knox au lieu des appels os |
| Tache | AMBARI-293 | Mettre a jour les service-checks YARN, MAPREDUCE et TEZ pour utiliser le dossier de config par defaut en rolling |
| Bug | AMBARI-290 | Corriger la casse des mots sur la page de configuration Hive apres la mise a jour de jQuery |
| Bug | AMBARI-289 | Corriger hive-env dans ODP Hive afin d'eviter le blocage du demarrage LLAP cause par des identifiants manquants |
| Bug | AMBARI-288 | Corriger la migration LLAP de Python 2 vers Python 3 |
| Bug | AMBARI-287 | Corriger le template ambari-env qui empechait le demarrage apres plusieurs mises a niveau |
| Bug | AMBARI-286 | Gerer l'absence de tables RCA pendant le nettoyage |
| Sous-tache | AMBARI-284 | Mettre a jour le service advisor TEZ pour supporter les runtimes JDK 11/17 |
| Tache | AMBARI-281 | Durcir la verification d'existence dans le gestionnaire apt via nom de package et sortie |
| Tache | AMBARI-280 | Ameliorer le service advisor Spark3 sur spark.yarn.historyServer.address |
| Tache | AMBARI-279 | Migrer SPARK3 de log4j vers log4j2 |
| Nouvelle fonctionnalite | AMBARI-278 | Corriger quicklinks.json et alerts.json pour SPARK3 |
| Sous-tache | AMBARI-277 | Ajouter l'attribut brut regex dans ambari-agent |
| Sous-tache | AMBARI-276 | Renommer getargspec en getfullargspec pour la compatibilite Python 3.12 |
| Tache | AMBARI-275 | Gerer l'absence de hadoop conf dir dans les paquets deb/rpm |
| Bug | AMBARI-274 | Corriger l'affichage des metriques dans les widgets HDFS, HBase, YARN, AMS |
| Sous-tache | AMBARI-273 | Refactoriser l'ecriture de hadoop-env pour ajouter odp.version et la date d'ecriture |
| Sous-tache | AMBARI-272 | Ajouter l'attribut brut dans les regex pour supprimer les avertissements de syntaxe dans ambari-common |
| Sous-tache | AMBARI-271 | Envelopper la socket en SSL pour le client ws4py |
| Bug | AMBARI-269 | Utiliser la nouvelle methode read_string au lieu de readfp pour supporter Python 3.12 |
| Nouvelle fonctionnalite | AMBARI-267 | Ajouter le support d'Ubuntu 24 |
| Nouvelle fonctionnalite | AMBARI-266 | Separer core-site de HDFS afin d'autoriser les clusters propulses par Apache Ozone |
| Amelioration | AMBARI-265 | Premiere etape d'un deploiement fonctionnel initial |
| Epic | AMBARI-264 | Mettre a jour ozone-env pour la compatibilite avec les options JVM JDK 11+ |
| Epic | AMBARI-263 | Creer une vue Ambari pour gerer et televerser les releases Helm |
| Tache | AMBARI-262 | Ajouter les nouveaux composants supportes a la mise a niveau de pile depuis ODP 1.2 |
| Bug | AMBARI-261 | Fixer la version max de RANGER_LOG4J_SUPPORT a ODP 1.2 |
| Bug | AMBARI-259 | Corriger le mapping UpgradeHistory -> entite Upgrade |
| Tache | AMBARI-258 | Ajouter les fichiers de mise a niveau de pile ODP 1.3 |
| Bug | AMBARI-257 | Mettre a jour les DTO pre-requis pour la compatibilite Jackson 2 & JDK 17 |
| Sous-tache | AMBARI-256 | Executer une mise a jour DML pour supporter la version Java d'INFRA SOLR ENV avant la mise a niveau de la pile |
| Sous-tache | AMBARI-255 | Executer une mise a jour DML pour supporter la version Java d'AMS avant la mise a niveau |
| Bug | AMBARI-254 | Corriger le lien Ranger Tagsync dans le tableau de bord apres migration JDK 11/17 |
| Bug | AMBARI-253 | Remplacer hdp.version encore present dans tez-site et mapred-site par odp.version |
| Bug | AMBARI-252 | Corriger la propriete admin_log4j non prise en compte |
| Sous-tache | AMBARI-251 | Ajouter des scripts de mise a niveau Env pour supporter JDK de 2.7.x a 2.8.1 |
| Tache | AMBARI-248 | Passer de flink-conf.yaml a config.yaml avec ODP 1.3 |
| Sous-tache | AMBARI-244 | Supporter les runtimes JDK 11/17 sur Hive |
| Sous-tache | AMBARI-243 | Supporter les runtimes JDK 11/17 sur Ambari Infra Solr |
| Sous-tache | AMBARI-242 | Supporter les runtimes JDK 11/17 sur ODP Ranger KMS |
| Sous-tache | AMBARI-241 | Supporter les runtimes JDK 11/17 sur ODP Ranger |
| Sous-tache | AMBARI-240 | Supporter les runtimes JDK 11/17 sur ODP YARN/MAPREDUCE |
| Sous-tache | AMBARI-239 | Supporter les runtimes JDK 11/17 sur ODP HDFS |
| Tache | AMBARI-235 | Supprimer la classe EventCounter des proprietes log4j a partir d'ODP 1.3 |
| Tache | AMBARI-233 | Ajouter la propriete Kerberos Janus lorsque Kerberos est active |
| Tache | AMBARI-232 | Retirer le handler JMX de la configuration XML de Ranger Solr |
| Tache | AMBARI-231 | Creer l'utilisateur Atlas si atlas_server n'existe pas |
| Bug | AMBARI-229 | Ameliorer la logique de verification des identifiants lors du controle des alias existants |
| Bug | AMBARI-228 | Corriger ClusterDAO renvoyant une collection vide apres mise a niveau JDK |
| Bug | AMBARI-226 | Corriger la commande hue setup lancee en tant qu'utilisateur hue quand Ambari tourne sans droits root |
| Bug | AMBARI-225 | Corriger l'import du service advisor Knox et l'acces errone aux proprietes dans Flink |
| Tache | AMBARI-224 | Definir ambari_java_version et l'aligner sur ambari_java_home |
| Bug | AMBARI-222 | Detecter la version Java a partir du JDK home lors de l'utilisation de --java-home |
| Bug | AMBARI-220 | Ajouter le support HBase REST et harmoniser les scripts avec HBase Thrift |
| Tache | AMBARI-219 | Remplacer log4j.properties par logback.xml |
| Bug | AMBARI-215 | Migrer la configuration log4j de Ranger vers logback |
ODP Stack
| Type de ticket | Cle | Resume |
|---|---|---|
| Bug | ODP-328 | Mettre a jour service-dep.tar.gz pour corriger le demarrage LLAP |
| Tache | ODP-327 | Mettre a jour Ozone vers 2.0.0 |
| Tache | ODP-326 | Corriger le plugin Ranger de Knox incapable de telecharger les politiques ou d'ecrire les audits depuis Knox 2.1 |
| Tache | ODP-325 | Mettre Knox a jour en 2.1.0 dans ODP 1.3 |
| Nouvelle fonctionnalite | ODP-324 | Spark : remplacer SQLContext par SparkSession dans STS |
| Nouvelle fonctionnalite | ODP-323 | Premiere version du composant KEDA dans ODP 1.3.1.0 |
| Bug | ODP-322 | Corriger la dependance Python 2 dans les paquets Debian de Spark |
| Tache | ODP-313 | Definir -Dcom.sun.xml.bind.v2.bytecode.ClassTailor.noOptimize=true dans knox-functions.sh |
| Tache | ODP-312 | Porter KNOX-2946 : la portee du chemin de cookie ne fonctionne pas avec l'URL de topologie par defaut |
| Sous-tache | ODP-311 | Supprimer l'EventCounter integre de Tez |
| Sous-tache | ODP-310 | Retirer les dependances Jersey du plugin Ranger HBase |
| Sous-tache | ODP-309 | Mettre a jour managed-schema pour correspondre a Solr 8.11.4 |
| Sous-tache | ODP-308 | Appliquer le patch RANGER-4821 |
| Tache | ODP-307 | Mettre Ranger a jour en 2.6.0 dans ODP 1.3 |
| Bug | ODP-306 | Activer le hook ATS sur Hive 4 |
| Sous-tache | ODP-303 | Mettre a jour la construction des symlinks Kafka sur Guava et Protobuf shades par Hadoop |
| Bug | ODP-302 | Ajouter une option JAVA_HOME dans Knox pour supporter JDK 8 sur les CLI et au demarrage des services |
| Sous-tache | ODP-300 | Ajouter la librairie hadoop-shaded guava dans les libs du service Ranger (1.3.0 pour Hadoop 3.4.1) |
| Sous-tache | ODP-299 | Mettre commons-cli au niveau de Hadoop |
| Tache | ODP-297 | Exclure org.jetbrains.pty4j du plugin ranger-knox |
| Tache | ODP-296 | Creer des symlinks pour slf4j au lieu d'utiliser les jars reels |
| Tache | ODP-294 | Exclure les jars Atlas de hive-exec |
| Bug | ODP-293 | Hadoop ne compile pas sur x86_64 : mettre Protobuf a jour en 3.21.12 |
| Epic | ODP-292 | Mettre NiFi a jour en 1.28 dans ODP 1.3.1.0 |
| Sous-tache | ODP-290 | HIVE-27828 : activer l'update copy-on-write pour Iceberg sans casser les hooks Atlas |
| Bug | ODP-289 | Mettre Atlas a jour en 2.4.0 |
| Epic | ODP-287 | Mettre Apache Hive a jour en 4.0.1 |
| Sous-tache | ODP-286 | Appliquer RANGER-4952 pour supporter Hive 4.0.1 |
| Sous-tache | ODP-285 | Corriger le portage de RANGER-2324 |
| Tache | ODP-284 | Mettre Apache Ranger a jour en 2.5.0 |
| Tache | ODP-283 | Mettre Phoenix a jour en 5.2.1 et phoenix-queryserver en phoenix-db-1.2.2 |
| Tache | ODP-282 | Mettre a jour les dependances Sqoop vers ODP 1.2.2.0-138 |
| Sous-tache | ODP-281 | Adapter HIVE-27925 : unifier l'enum HiveConf ConfVars et ameliorer la lisibilite |
| Tache | ODP-280 | Retirer l'acces private sur cleanupLogs pour Spark 3 |
| Sous-tache | ODP-279 | Supprimer le test de nettoyage des logs sous Windows car cleanerLogs est prive |
| Sous-tache | ODP-278 | Adapter KAFKA-7632 : supporter les niveaux de compression (KIP-390) |
| Sous-tache | ODP-277 | Rendre disponible SPARK-47738 : mise a jour de Kafka vers 3.7.0 |
| Sous-tache | ODP-276 | Rendre disponible SPARK-47679 : utiliser HiveConf.getConfVars ou les noms directs |
| Tache | ODP-275 | Mettre Hive a jour en 4.0.1 dans ODP |
| Sous-tache | ODP-274 | Rendre disponible SPARK-46697 : supprimer la conversion des variables temporelles de config Hive |
| Bug | ODP-273 | Mettre Spark 3 a jour en 3.5.4 dans ODP 1.3.1.0 |
| Bug | ODP-272 | Porter HIVE-20065 afin de compiler Hive 3.1.3 apres la mise a jour Hadoop 3.4.1 |
| Sous-tache | ODP-270 | Mettre a jour le patch existant sur la construction Husky et le script de release |
| Amelioration | ODP-269 | Mettre Flink a jour en 1.20.0 |
| Amelioration | ODP-268 | Mettre Kafka a jour en 3.8.1 |
| Amelioration | ODP-267 | Porter HBASE-28939 : changer la version Hadoop 3 par defaut en 3.4.1 |
| Bug | ODP-266 | Porter HBASE-29021 pour corriger les problemes lies aux mises a niveau |
| Amelioration | ODP-265 | Adapter le patch existant sur HBASE-28153 |
| Epic | ODP-264 | Mettre HBase a jour en 2.6.1 dans ODP 1.3.1.0 |
| Tache | ODP-263 | Mettre Tez a jour en 0.10.4 dans ODP 1.3.1.0 |
| Amelioration | ODP-261 | Mettre a jour le code de la passerelle HTTPFS pour l'aligner sur Hadoop 3.4.x (HDFS-16129) |
| Tache | ODP-260 | Implementer WriteUnlock et ReadUnlock d'HDFS-16434 |
| Amelioration | ODP-259 | Mettre Hadoop a jour en 3.4.1 |
| Amelioration | ODP-258 | Porter HDDS-11617 pour compiler 1.4.1 avec Hadoop 3.4.1 |
| Epic | ODP-257 | Mettre Ozone a jour en 1.4.1 |
| Sous-tache | ODP-229 | Adapter la compilation Kafka pour utiliser le binaire Scala 2.13 |
| Sous-tache | ODP-223 | [LIVY] Mettre a jour les tests Scalatra en 2.7.2 pour la compatibilite Scala 2.13 |
| Sous-tache | ODP-222 | Mettre Flink a jour pour supporter Scala 2.13 |
| Sous-tache | ODP-221 | Mettre Spark 3 a jour avec le binaire Scala 2.13 |
| Sous-tache | ODP-220 | Mettre a jour la version binaire Scala de Ranger |
| Sous-tache | ODP-219 | Mettre a jour la version binaire de Hive en 2.13.11 |
| Sous-tache | ODP-217 | Mettre Livy a jour pour supporter Scala 2.13.11 (patch + build composant) |